论述题 AI 评分：老师亲自验证信度的 5 个步骤

把期中考试 30 道论述题按两个班的量批下来，改到最后一份时，标准已经和一开始有了微妙的不同。上午改的答卷和下午改的答卷，尺子是不一样的；一份棘手的答卷之后来的一份普通答卷，看着还会更顺眼些。AI 评分能减轻这种 评分者内部一致性（intra-rater reliability） 的问题，但要是照单全收把分数录进去，一通家长投诉就能把它掀翻。比起引入，验证在先。请记住，没验证就引入的第一年，听得最多的一句话就是"为什么单单对我家孩子这么苛刻"的抗议。

委托评分前必须走完的 5 个步骤

在把答卷整批交给 AI 之前，按下面的顺序来做，能大幅减少事故。一步也别跳过，在第一次单元测验上认真走一遍，之后整个学期都可以复用同一套流程。

1. 选定锚定答卷：挑出 3~5 份分别对应满分、部分给分、0 分的真实学生答卷，把评分标准用句子明文写出来。这是把"这样就算满分"的脑内感觉掏出来变成文字的过程。
2. 盲评交叉评分：让老师和 AI 分别给同样的 20 份答卷评分，然后比较分差。关键是在看不到对方分数的状态下打分。
3. 分歧区间分析：只把 分差在 2 分以上的答卷 收拢起来，看看原因出在哪。多半是卡在部分给分的界线、错别字如何处理、同义词认不认这些地方。
4. 提示词校正：把"拼写错误不扣分""包含 2 个以上核心概念即认可部分给分"这类规则明确加进去。
5. 重新验证后再应用：再跑 20 份，一致率超过 90% 就应用到全部答卷上。不到 90% 就退回第 4 步。

关键是把 AI 摆在"第二评分者"的位置上，而不是第一评分者。最终责任仍然留在人这边。

现场经常被忽略的地方

• 用不同词语表达同一含义的答卷（同义词处理），AI 经常判错。比如把"光合作用"改写成"制造养分的过程"，如果不在标准表述里写明认可范围，就会被判成 0 分。
• 含有图画或图表的答卷，在转成文本的环节会丢失信息。这一类还是 由人亲自评分 更稳妥。
• 分数分布往一边扎堆，就是评分量表过松或过严的信号。平均分是 95 分或者 40 分，就得重新打磨标准的表述。
• 不能因为验证过一次就永远信任它。题型一变，信度也得从头重新积累。

要点整理

AI 论述题评分的价值不在"快"，而在 可再现的一致性。只要抓住锚定答卷、交叉评分、分歧分析这三根支柱，就既能缩短评分时间，又能反过来提高信度。别一上来就铺到全年级，建议从第一次单元测验的一个班小范围开始，先把数据攒起来。把验证流程做成一份文档，下个学期检查 30 分钟就能完事。