プロンプト一つで採点がぶれる、採点プロンプトの設計原則

同じ生徒の答案を二度採点したのに点数が違って出た経験があるなら、問題は答案ではなくプロンプトのあいまいさである可能性が高いです。最初は3点、もう一度回すと2点が出るなら、基準がぶれているということです。採点プロンプトは評価の憲法です。漠然と書けば、結果も漠然としたものになります。モデルをより高価なものに替える前に、まずプロンプトを精密に磨くのが順序です。

ぶれるプロンプトと安定したプロンプト

「この答案を採点して」は最もよくない指示です。何が満点なのかわからないまま、機械に適当に点をつけさせているようなものです。安定したプロンプトは次を明示します。

• 満点の基準: 何が入っていれば満点なのかを要素として列挙します。
• 部分点のルール: 要素1つあたり何点なのかを算術的に決めます。
• 減点しないもの: 表記の誤り、字のきれいさ、表現のスタイルなど、評価の対象ではないものをはっきりさせます。
• 出力の形式: 点数と根拠と引用箇所を、決まった型で受け取ります。

とくに部分点のルールを算術化することが一貫性の鍵です。「ある程度合っていれば部分点」のような表現は、毎回違うように解釈されます。「重要な概念3つのうち2つを含む場合は2/3点」のように、数えられる形で書く必要があります。

安定性を点検する手順

1. 同じ答案5本を、それぞれ3回ずつ繰り返し採点してみます。
2. 同じ答案の点数がぶれるなら、基準の文言をさらに具体化します。ぶれる項目こそが、あいまいな項目です。
3. 境界事例にあたる微妙な答案を、プロンプトに例として埋め込んでおきます。

よい採点プロンプトは「こういう答えはこの点数」という例をいくつか置くことで完成します。ルールより例のほうが強いのです。

よく陥る落とし穴

• 長すぎるプロンプトは後半の指示が無視されます。重要なルールは前のほうに置きます。大事なものほど先に書きます。
• 「厳しく」「寛大に」といった形容詞は基準になりません。人によって読み方が変わります。数値に置き換えます。
• 模範解答を与えるのはよいのですが、それだけが正解として固まらないよう「同等に妥当な答えも認める」という一文を入れます。
• プロンプトを直したら、以前に採点した答案の一部をもう一度回して、点数が一貫して保たれるかを確認します。

よい採点プロンプトの骨組み

最初から完璧なプロンプトを書こうとせず、次の骨組みを埋めていくやり方で始めると早く進みます。一度型を作れば、問題だけ差し替えて再利用できます。

1. 役割と文脈: どの教科、何年生、何を評価する問題なのかを最初に書きます。
2. 満点の条件: どの要素がすべてそろえば満点なのかを一覧で並べます。
3. 部分点の表: 要素がいくつ満たされたら何点なのかを算術的に整理します。
4. 除外の条件: 減点しないものをはっきり書きます。
5. 境界の例: 迷いやすい答案を二つか三つ、その正しい点数とともに埋め込んでおきます。
6. 出力の型: 点数、根拠、引用箇所の順で受け取れるよう形式を指定します。

この六つの枠を埋めれば、漠然とした一行の指示とは比べものにならないほど点数が安定します。とくに5番の例が結果を左右しますので、採点の途中で出会った微妙な答案を例として追加し続け、プロンプトを育てていってください。

まとめ

採点の一貫性は、モデルの性能ではなくプロンプトの精密さから生まれます。満点の基準を要素に分け、部分点を算術化し、境界の例を埋め込んでおけば、点数はぶれなくなります。一度安定させたプロンプトは次の学期にもそのまま再利用できるので、初期にかけた調整の時間が、最も長く残る資産になります。