データ品質が分析を台無しにする、よくある5つの汚染

ダッシュボードの数字が直感と食い違うとき、ほとんどの教師はまず自分の判断を疑います。しかし現場での本当の原因は、分析の方法ではなく、入力されたデータそのものが汚染されている場合のほうがはるかに多いのです。「ごみを入れればごみが出てくる」という言葉は、学習データにもそのまま当てはまります。どれほど精緻な分析も、汚染されたデータの上ではもっともらしい嘘を生み出すだけです。分析を信頼するには、まずデータの品質を点検しなければなりません。

よく起こる五つの汚染

次の五つは、ほとんどすべての学校のデータで一度は見つかるものです。

1. 重複記録: 一人の児童生徒が同じ活動を二度提出したり、システムが同じログを重複して保存したりした場合です。参加率がいつのまにか水増しされます。合計が人数より多ければ、ほぼ重複です。
2. 幽霊アカウント: 転出した児童生徒やテスト用のアカウントが名簿に残り、分母を大きくしてすべての比率を実際より低く見せてしまいます。完了率70%が、実は幽霊5人を除けば85%だということもあり得ます。
3. 時刻の誤り: サーバーのタイムゾーン設定が誤っていると、深夜0時直前の提出が翌日として記録され、遅れの割合がまるごと歪みます。韓国の学校なのにサーバーが別のタイムゾーンであれば、9時間ずれてしまいます。
4. 空欄と0の混同: 未受験を0点として処理すれば、平均が崩れます。試験を受けなかったことと0点を取ったこととはまったく異なる意味なのに、同じ数字として一緒にされてしまいます。
5. 単位の不一致: 一方のシステムが学習時間を分で、もう一方が秒で記録していれば、結合するときに60倍の誤差が生じます。

分析の結果が驚くべきものであれば、洞察を発見したのではなく誤りを発見した可能性を、まず吟味してみるべきです。

分析前の5分点検の手順

本格的な分析に入る前に、次の四つを素早く確認する習慣だけで、大部分の汚染をふるい落とすことができます。

• 極端な値をざっと見る: 一日999分の学習、一人の児童生徒が課題を50回提出、といった非現実的な値はほとんど常に誤りです。並べ替えて、上下の端をまず見ていただきたいと思います。
• 合計の検算: 学級の人数とデータの行数が合っているかを確認します。食い違えば、重複か欠落です。
• 空欄の割合の確認: 特定の列の空欄が30%を超えれば、その指標だけで結論を出しません。根拠の乏しい結論は、出さないほうがましです。
• 標本の直接照合: 児童生徒を三人選び、データと実際の記録を目で突き合わせてみます。自動化された数字も、人が一度検証してこそ信頼が生まれます。

データの品質は、一度点検して終わりというものではありません。学期が変わり、道具が更新されるたびに、同じ汚染が新たに入り込んできます。ですから品質の点検は、分析の直前にいつも繰り返す短い儀式として置いておくほうがよいでしょう。点検に慣れてくれば、30人の学級のデータは3分もあれば見渡せます。最初の一、二度が煩わしいだけで、誤った数字をもとに保護者の前で誤った説明をしてしまう危険に比べれば、その3分はこの上なく安い保険です。

要点の整理

良い分析は良いデータからしか生まれません。重複、幽霊アカウント、時刻の誤り、空欄の処理、単位の不一致という五つは、洞察のように見える錯覚を生み出す最もありふれた犯人です。分析の結果が直感と食い違うとき、自分の判断を疑う前に、まずデータを疑っていただきたいと思います。5分の品質点検が、一学期分の誤った意思決定を防ぎます。