Flipsson教育科技
AI 评价

一条提示词就能让批改摇摆,批改提示词的设计原则

同一份答卷,提示词不同分数也会不同。本文讲述制作稳定批改提示词的原则。

一条提示词就能让批改摇摆,批改提示词的设计原则 缩略图

如果你有过把同一份学生答卷批改两次却得出不同分数的经历,那么问题很可能不在答卷,而在提示词的含糊。第一次给 3 分,再跑一遍给 2 分,这就是标准在摇摆。批改提示词是评价的宪法。写得笼统,结果也会笼统。在换成更贵的模型之前,先把提示词打磨精细,这才是顺序。

摇摆的提示词与稳定的提示词

“帮我批改这份答卷”是最糟糕的指令。等于在不知道满分是什么的情况下,任由机器自己去打分。稳定的提示词会明确以下内容。

  • 满分标准:把满分需要包含的内容逐项列举出来。
  • 部分分规则:以算术方式定好每个要素值几分
  • 不予扣分的项:明确写出拼写、字迹、表达风格等不属于评价对象的内容。
  • 输出格式:按既定的框架接收分数、依据和引用位置。

其中把部分分规则算术化尤其是一致性的关键。“大致答对就给部分分”这类表述每次都会被不同地解读。必须写成可以数得清的形式,比如“3 个核心概念中包含 2 个时得 2/3 分”。

稳定性检查流程

  1. 拿 5 份相同的答卷,各重复批改 3 次。
  2. 若同一份答卷的分数出现摇摆,就把标准的措辞写得更具体。摇摆的项目就是含糊的项目。
  3. 把属于临界个案的模棱两可的答卷作为示例钉进提示词里

好的批改提示词,是靠几个“这样的答案给这个分”的示例才算完成的。示例比规则更有力。

常见的陷阱

  • 过长的提示词会导致后半部分的指令被忽略。把核心规则放在前面。越重要的越先写。
  • “严格地”“宽松地”这类形容词当不了标准。每个人读出的意思都不同。要换成数值。
  • 给出范文是好事,但要加上“同等合理的答案也予以认可”的表述,以免只把范文固化为唯一正确答案。
  • 改动提示词之后,把之前批改过的部分答卷再跑一遍,确认分数是否保持一致。

好的批改提示词的骨架

不要一开始就想写出完美的提示词,按下面的骨架逐格填写,起步会更快。框架做好一次,只换题目就能重复使用。

  1. 角色与情境:先写清是什么科目、几年级、这道题在评价什么。
  2. 满分条件:把必须全部包含才能得满分的要素列成清单。
  3. 部分分表:以算术方式整理满足几个要素得几分。
  4. 排除条件:明确写出不予扣分的内容。
  5. 临界示例:钉入两三份令人犹豫的答卷及其正确分数。
  6. 输出框架:指定按分数、依据、引用位置的顺序返回。

填满这六格,分数的稳定程度就与笼统的一行指令不可同日而语。尤其第 5 项示例左右着结果,所以请把批改过程中遇到的模棱两可的答卷不断添加为示例,把提示词养大。

要点总结

批改的一致性不是来自模型性能,而是来自提示词的精细。把满分标准拆成要素、把部分分算术化、钉入临界示例,分数就不会摇摆。稳定下来的提示词下学期可以原样复用,因此初期投入的打磨时间,会成为留存最久的资产。

登录后参与互动
评论 0

来发表第一条评论吧。

同一主题 · AI 评价
推荐文章