AI 评价
一条提示词就能让批改摇摆,批改提示词的设计原则
同一份答卷,提示词不同分数也会不同。本文讲述制作稳定批改提示词的原则。
如果你有过把同一份学生答卷批改两次却得出不同分数的经历,那么问题很可能不在答卷,而在提示词的含糊。第一次给 3 分,再跑一遍给 2 分,这就是标准在摇摆。批改提示词是评价的宪法。写得笼统,结果也会笼统。在换成更贵的模型之前,先把提示词打磨精细,这才是顺序。
摇摆的提示词与稳定的提示词
“帮我批改这份答卷”是最糟糕的指令。等于在不知道满分是什么的情况下,任由机器自己去打分。稳定的提示词会明确以下内容。
- 满分标准:把满分需要包含的内容逐项列举出来。
- 部分分规则:以算术方式定好每个要素值几分。
- 不予扣分的项:明确写出拼写、字迹、表达风格等不属于评价对象的内容。
- 输出格式:按既定的框架接收分数、依据和引用位置。
其中把部分分规则算术化尤其是一致性的关键。“大致答对就给部分分”这类表述每次都会被不同地解读。必须写成可以数得清的形式,比如“3 个核心概念中包含 2 个时得 2/3 分”。
稳定性检查流程
- 拿 5 份相同的答卷,各重复批改 3 次。
- 若同一份答卷的分数出现摇摆,就把标准的措辞写得更具体。摇摆的项目就是含糊的项目。
- 把属于临界个案的模棱两可的答卷作为示例钉进提示词里。
好的批改提示词,是靠几个“这样的答案给这个分”的示例才算完成的。示例比规则更有力。
常见的陷阱
- 过长的提示词会导致后半部分的指令被忽略。把核心规则放在前面。越重要的越先写。
- “严格地”“宽松地”这类形容词当不了标准。每个人读出的意思都不同。要换成数值。
- 给出范文是好事,但要加上“同等合理的答案也予以认可”的表述,以免只把范文固化为唯一正确答案。
- 改动提示词之后,把之前批改过的部分答卷再跑一遍,确认分数是否保持一致。
好的批改提示词的骨架
不要一开始就想写出完美的提示词,按下面的骨架逐格填写,起步会更快。框架做好一次,只换题目就能重复使用。
- 角色与情境:先写清是什么科目、几年级、这道题在评价什么。
- 满分条件:把必须全部包含才能得满分的要素列成清单。
- 部分分表:以算术方式整理满足几个要素得几分。
- 排除条件:明确写出不予扣分的内容。
- 临界示例:钉入两三份令人犹豫的答卷及其正确分数。
- 输出框架:指定按分数、依据、引用位置的顺序返回。
填满这六格,分数的稳定程度就与笼统的一行指令不可同日而语。尤其第 5 项示例左右着结果,所以请把批改过程中遇到的模棱两可的答卷不断添加为示例,把提示词养大。
要点总结
批改的一致性不是来自模型性能,而是来自提示词的精细。把满分标准拆成要素、把部分分算术化、钉入临界示例,分数就不会摇摆。稳定下来的提示词下学期可以原样复用,因此初期投入的打磨时间,会成为留存最久的资产。
登录后参与互动

来发表第一条评论吧。