相関関係の落とし穴、学習データで因果を取り違えるとき

「動画をたくさん見た生徒は成績が高い。だから全員に動画の視聴を増やさせよう。」もっともらしいけれど危うい推論です。動画をたくさん見たことが成績を上げたのではなく、もともと真面目な生徒が動画もたくさん見て、成績も高かったという可能性が高いからです。二つの数字が一緒に動いたからといって、一方が他方の原因であるとは限りません。学習データの解釈において最も高くつく誤りが、まさにこの相関と因果の混同です。

因果を取り違えさせるパターン

次の三つの落とし穴には、とりわけ注意が必要です。三つとも、まっとうなデータから見当違いの結論を引き出してしまいます。

1. 隠れた第三の変数: 学習意欲や家庭環境のように、二つの指標を同時に動かしている見えない原因があります。意欲の高い生徒が動画もたくさん見て成績も上げているのなら、動画は原因ではなく、意欲がもたらしたもう一つの結果にすぎません。
2. 逆方向の因果: 矢印が私たちの考えと反対を向いていることがあります。成績が上がって自信がついた生徒が、動画をより多く見るようになったのかもしれません。原因と結果が入れ替わっているのです。
3. 標本の偏り: 動画を最後まで見た生徒だけを分析に残せば、そもそも意志の強い集団どうしを比べることになります。その差は動画ではなく、意志の差です。

データが正直に示してくれるのは「一緒に動いた」というところまでです。「だから一方が原因だ」というのはデータではなく、私たちが付け足した物語です。

因果を慎重に見きわめる方法

完璧な証明は難しいものの、次の手順で結論の信頼度を段階的に高めることができます。

• 小さな比較実験: 一つのクラスにだけ動画を追加し、条件の近い別のクラスと結果を比較します。条件を統制した比較だけが、因果に最も近づけてくれます。
• 第三の変数の点検: 第三の変数の候補をあらかじめ書き出しておき、それもデータで確認します。意欲が疑わしければ、意欲も測定します。
• 前後関係: 時間の順序を確認します。原因は必ず結果より先に起きていなければなりません。順序がひっくり返れば、因果もひっくり返ります。
• 繰り返しの検証: 一度の結果を、別の学期、別のクラスでもう一度再現してみます。一度きりの偶然は、何度も繰り返されることはありません。

現実の学校で完璧な統制実験を行うのは困難です。それでも落胆する必要はありません。要は因果を証明することではなく、因果を断定する前に一拍置く習慣です。「動画をもっと見せよう」と決める前に「もしかして別の理由はないだろうか」と一度問うだけでも、半分の誤りはふるい落とせます。データが豊かになるほど、私たちはより慎重に結論を出さなければなりません。数字が増えたからといって、因果がおのずと明らかになるわけでは決してないからです。

まとめ

学習データにおいて最もよくあり、最も高くつく誤りは、相関を因果へと性急に翻訳してしまうことです。隠れた変数、逆方向の因果、標本の偏りを疑い、可能であれば統制された比較で検証してください。「一緒に動いた」と「だから原因だ」のあいだには、慎重な検証という長い橋が架かっています。その橋を跳び越してしまえば、まっとうなデータであっても生徒を見当違いの方向へ導くことになります。