一則提示詞就讓評分晃動，批改提示詞設計原則

如果你曾經把同一份學生答案批改兩次卻得到不同分數，那問題很可能不在答案，而在提示詞的模糊。第一次 3 分、再跑一次變 2 分，那就是基準在晃動。批改提示詞是評量的憲法。寫得含糊，結果也會含糊。在把模型換成更貴的之前，先把提示詞打磨精確才是正確的順序。

會晃動的提示詞與穩定的提示詞

「幫我批改這份答案」是最糟糕的指示。等於在不知道滿分條件的情況下，讓機器自行給分。穩定的提示詞會明確寫出以下內容。

• 滿分基準：把要包含什麼才算滿分，逐項列舉出來。
• 部分分數規則：以算術方式訂出每個要素幾分。
• 不扣分的項目：明確指出拼寫、字跡、表達風格等不屬於評量對象的部分。
• 輸出格式：以固定的框架取得分數、依據與引用位置。

其中把部分分數規則算術化是一致性的核心。「大致正確就給部分分數」這類說法每次都會被解讀成不同意思。必須寫成像「三個核心概念中包含兩個時給 2/3 分」這樣可以數的形式。

穩定性檢查程序

1. 拿同樣的 5 份答案，各重複批改 3 次看看。
2. 若同一份答案的分數會晃動，就把基準文句寫得更具體。會晃動的項目就是模糊的項目。
3. 把屬於臨界個案的曖昧答案當作範例釘進提示詞裡。

好的批改提示詞，是靠幾個「這樣的答案給這個分數」的範例完成的。範例比規則更有力。

常見的陷阱

• 太長的提示詞會讓後半段的指示被忽略。把核心規則放在前面。越重要的越先寫。
• 「嚴格地」「寬鬆地」這類形容詞當不了基準。每個人讀起來都不一樣。要換成數值。
• 給出標準答案雖然好，但為了不讓它固化成唯一正解，要加上「同等有效的答案也予以認可」的字句。
• 修改過提示詞之後，要把先前批改過的部分答案重跑一次，確認分數是否維持一致。

好的批改提示詞骨架

不要一開始就想寫出完美的提示詞，用填滿以下骨架的方式開始會比較快。框架做好一次，之後只要換題目就能重複使用。

1. 角色與脈絡：先寫出這是什麼科目、幾年級、評量什麼的題目。
2. 滿分條件：以清單列出必須全部包含哪些要素才算滿分。
3. 部分分數表：以算術方式整理出滿足幾個要素得幾分。
4. 排除條件：明確寫出不扣分的項目。
5. 臨界範例：釘上兩三個令人猶豫的答案與其正確分數。
6. 輸出框架：指定格式，依分數、依據、引用位置的順序取得結果。

填滿這六格，分數的穩定程度將與含糊的一行指示不可同日而語。尤其第 5 項的範例左右了結果，因此建議把批改過程中遇到的曖昧答案持續補充為範例，把提示詞養大。

重點整理

批改的一致性不是來自模型效能，而是來自提示詞的精確。把滿分基準拆成要素、把部分分數算術化、釘上臨界範例，分數就不會晃動。一旦穩定下來的提示詞，下學期也能原樣重複使用，因此初期投入的打磨時間，會成為留存最久的資產。