資料品質毀掉分析的 5 種常見污染

儀表板上的數字和直覺對不上時，大多數老師會先懷疑自己的判斷。可是在現場，真正的原因不是分析方法，而是輸入的資料本身已經被污染的情況多得多。「垃圾進，垃圾出」這句話，在學習資料上同樣成立。再精巧的分析，站在被污染的資料上，也只會製造出像模像樣的謊言。想要信任分析，就得先檢查資料的品質。

經常發生的五種污染

下面這五種，幾乎在所有學校的資料裡都會被發現過至少一次。

1. 重複紀錄：同一位學生把同一個活動交了兩次，或系統把同一筆日誌重複儲存的情況。參與率會悄悄被灌水。合計數比人數還多，幾乎就是重複。
2. 幽靈帳號：已經轉出的學生或測試用帳號還留在名單上，把分母撐大，讓所有比率看起來都比實際低。完成率 70%，扣掉 5 個幽靈之後其實可能是 85%。
3. 時間錯誤：伺服器時區設定錯了，接近午夜的繳交就會被記到隔天，遲交率整個被扭曲。明明是韓國的學校，伺服器卻在別的時區，就會差 9 小時。
4. 空白與 0 的混淆：把未應試當成 0 分處理，平均就垮了。沒有參加考試和拿到 0 分，意義完全不同，卻被合併成同一個數字。
5. 單位不一致：一個系統把學習時間記成分鐘，另一個系統記成秒，合併時就會出現 60 倍的誤差。

如果分析結果讓你吃驚，應該先想想：那可能不是發現了洞察，而是發現了錯誤。

分析前的 5 分鐘檢查程序

在正式進入分析之前，只要養成快速確認以下四件事的習慣，就能過濾掉大部分的污染。

• 掃過極端值：一天學習 999 分鐘、一位學生繳交作業 50 次這種不切實際的數值，幾乎永遠是錯誤。請排序之後先看頭尾兩端。
• 驗算合計：確認班級人數和資料的列數對不對得上。對不上就是重複或遺漏。
• 確認空白比率：某一欄的空白超過 30%，就不要單憑那個指標下結論。根據薄弱的結論，還不如不下。
• 親自比對樣本：挑三位學生，用眼睛核對資料與實際紀錄。就算是自動產生的數字，也要經人驗證一次才會有信任。

資料品質不是檢查一次就結束的事。每逢學期更替、工具更新，同樣的污染就會重新混進來。所以品質檢查最好放成分析前一定重複的短暫儀式。習慣之後，30 人班級的資料 3 分鐘就掃完了。麻煩的只有最初一兩次；比起拿著錯誤的數字在家長面前做出錯誤的說明，那 3 分鐘是再便宜不過的保險。

重點整理

好的分析只會從好的資料裡出來。重複、幽靈帳號、時間錯誤、空白處理、單位不一致這五項，是製造出「看起來像洞察」的錯覺最常見的犯人。分析結果和直覺對不上時，在懷疑自己的判斷之前，請先懷疑資料。5 分鐘的品質檢查，能擋下一整個學期的錯誤決策。