Flipsson教育科技
学习数据

相关关系的陷阱,在学习数据中错把关联当因果时

数据里一起变动,并不等于就是原因。本文讲学习分析中常犯的因果错觉与验证方法。

相关关系的陷阱,在学习数据中错把关联当因果时 缩略图

"看视频多的学生成绩高。那就让所有人都多看视频吧。"这听起来在理,却是危险的推论。因为很可能并不是多看视频抬高了成绩,而是本来就认真的学生视频看得多、成绩也高。两个数字一起变动,并不意味着其中一个是另一个的原因。学习数据解读中代价最高的失误,正是这种把相关与因果混为一谈。

让人误判因果的几种模式

下面三个陷阱尤其要当心。三者都会从毫无问题的数据里得出荒唐的结论。

  1. 隐藏的第三变量:像学习动机或家庭环境这样,存在着同时推动两个指标的看不见的原因。若动机高的学生既多看视频、成绩也提高,那么视频就不是原因,而只是动机的另一个结果。
  2. 反向因果:箭头可能和我们想的正相反。也可能是成绩提高、有了自信的学生才更多地去看视频。原因和结果颠倒了过来。
  3. 样本偏差:如果分析中只保留把视频看完的学生,那就等于只在本来意志就强的群体之间作比较。那个差异来自意志,而不是视频。

数据老实展示给我们的,到"它们一起变动过"为止。"所以其中一个是原因",不是数据,而是我们添上去的故事。

谨慎追究因果的办法

完美的证明很难,但按下面的步骤,可以一级一级提高结论的可信度。

  • 小规模对比实验:只给一个班加上视频,与条件相近的另一个班比较结果。只有控制了条件的比较,才最接近因果
  • 第三变量核查:事先把第三变量的候选写下来,连它们也一并用数据确认。若怀疑是动机,就把动机也测一测。
  • 先后关系:确认时间顺序。原因必须发生在结果之前。顺序一旦颠倒,因果也就颠倒了。
  • 重复验证:把一次的结果放到别的学期、别的班级再重现一遍。一次的偶然,不会重复很多次。

在现实的学校里,完美的控制实验很难做到。但也不必因此气馁。关键不在于证明因果,而在于养成在断定因果之前先停一拍的习惯。在决定"让学生多看视频"之前,先问一句"会不会有别的原因",光是这样就能滤掉一半的错误。数据越丰富,我们下结论就越要谨慎。因为数字变多了,因果绝不会自动变得清晰。

要点总结

学习数据中最常见也最昂贵的错误,是把相关草率地翻译成因果。请怀疑隐藏变量、反向因果与样本偏差,尽可能用受控的比较来验证。在"一起变动过"与"所以它是原因"之间,横着一座名为谨慎验证的长桥。跳过这座桥,就算数据毫无问题,也会把学生引向错误的方向。

登录后参与互动
评论 0

来发表第一条评论吧。

同一主题 · 学习数据
推荐文章