醫學科研數據清洗怎麼做？

用 RigorMed 交付這項任務

1. 先把清理動作整理成可審閱的規則表

   以下為建議任務輸入與可請求整理產物，不是本輪實跑、客戶成果或保證完成。

   已有材料: 有權使用的公開或合成資料字典、編碼說明、確定性品質彙總與候選清理規則。

   可請求的產物／交付目標: 清理規則表、品質問題摘要與變更紀錄範本。

2. 可直接改寫的任務輸入

   逐項寫清原欄位、問題、候選規則、依據與影響；區分空白、特殊編碼與真正缺失，形成需要我確認的清理計畫，不自動填補或刪除。

3. 人工核對

   是否執行清理須另行確認；不能用模型猜測患者逐筆資料、缺失值或資料語義。

先建數據字典，再判斷什麼需要清洗

同一個空格或數字代碼，可能表示未被提問、拒答、低於檢測限，或確實漏錄。處理前先從對應版本的官方文檔確定語義。

NHANES 的 Data Documentation、Codebook 與 Frequencies 提供變量說明和頻數；仍需核對對應組件、週期及 Analytic Notes。示例字典只是字段清單，不能代替目標數據源自己的官方定義。

從原始文件到可復核數據的六步

1. 保留原始文件並寫明研究問題

   先確認數據使用條件、研究人群、主要暴露或預測變量、結局和所需週期。原始文件保持只讀；記錄來源版本、取得日期和使用範圍。不要先改表格，再反推研究定義。

2. 逐變量綁定官方字典

   為核心字段記錄類型、單位、取值、適用人群、問卷或測量方式、跳題邏輯和特殊編碼。跨文件合併前核對參與者鍵、記錄粒度、重復情況；跨週期合併前核對測量和編碼是否可比。

3. 先做質量概覽，不立刻修值

   分別統計原始行數、唯一鍵、重復記錄、各變量及關鍵人群的缺失和特殊碼、超出官方範圍的取值。異常分布只是待核對信號，不自動等於錄入錯誤；公開數據的抑制、頂端編碼或檢測限也可能是設計的一部分。

4. 凍結保守的清洗計劃

   只對有文檔依據的編碼轉換、類型解析、單位換算和預先定義的派生變量寫明確規則。規則要說明觸發條件、原值與新值、影響範圍及無法判定時如何停止；不靜默填補缺失、刪除異常行或改寫原始數據。

5. 在副本上執行並復核變化

   輸出清洗後數據、確認後的字典與變更記錄，對照轉換前後行數、唯一鍵、特殊碼和主要變量分布。每項排除和合併都應能解釋樣本流轉；檢查失敗就回到規則或來源文檔，不用人工改幾個單元格掩蓋問題。

6. 把缺失值分析決策留給方案

   按變量和人群報告缺失數量及比例，區分未詢問、拒答、測量失敗和未知原因。完整案例分析、插補或敏感性分析取決於研究設計、缺失機制假設、模型和抽樣結構，不能憑缺失率閾值自動選定；在正式分析前寫進方案，並在報告中說明實際處理。

數據進入分析前的檢查清單

只有下列問題可回答，清洗結果才有條件交給下一階段：

• 原始文件、版本、使用條件和官方字典是否可追溯？
• 核心變量的適用人群、單位、取值及特殊編碼是否逐項核對？
• 結構性未詢問、拒答、測量缺失和未知原因是否分開記錄？
• 合併鍵、記錄粒度、重復記錄和跨週期可比性是否檢查？
• 每項轉換或排除是否有規則、理由、影響行數與變更記錄？
• 清洗前後樣本流轉、關鍵變量分布與數據字典是否一致？
• 正式分析的缺失處理、抽樣設計和敏感性分析是否另有預定方案？

STROBE 報告檢查清單要求說明缺失數據的處理。清洗日誌可以證明做過什麼，但不能單獨證明研究設計、統計方法或結論正確。

常見問題