Flipsson教育科技
AI 評量

讓 AI 評分結果能對家長說得清楚的紀錄設計

AI 輔助評分的信任來自紀錄。這是一套能因應申訴的依據紀錄設計法。

讓 AI 評分結果能對家長說得清楚的紀錄設計 縮圖

「我家孩子的分數,是怎麼算出來的?」答不出這個問題,再精密的 AI 評分也會垮掉。「是 AI 這樣打的」不能算是答案。評量的信任不是來自準確度,而是來自可說明性。愈是 AI 評分,紀錄的設計就愈重要。因為比起老師親自打分,「這是機器做的」這件事本身就會招來懷疑。

該把什麼留成紀錄

只存下評分結果,日後就沒辦法說明。只剩分數的紀錄,一個月後連老師自己都重建不出依據。請把下面這些一併留下來。

  • 所採用的評分規準版本與標準文字。留下當時用的是哪一把尺。
  • 每份答案在各向度的得分與依據句。留下哪一句是哪一項分數的依據。
  • 留下 AI 給的分數、老師是否複核,以及修改的歷程。
  • 留下能顯示同類型答案之間評分一致性的樣本。

其中老師修改 AI 分數的紀錄特別關鍵。要有「最後是由人複核過」的證據,家長才會信服。沒有全部交給機器,這個事實正是信任的地基。

申訴的處理流程

  1. 事先公告受理窗口與期限,例如成績公布後五天內。
  2. 收到申訴時,把該份答案的依據紀錄調出來看。不是當場重新評分,而是確認當時的紀錄。
  3. 確認同一套標準是否對其他學生也一樣適用
  4. 需要調整時,就把同類型的全部一起重新檢視。不會只替一個人加分。

改動一位學生分數的那一刻起,必須把適用同一標準的所有學生都重看一遍才算公平。所以才需要紀錄。

事前共識檢查清單

  • 學期初就告知會使用 AI 輔助評分
  • 把作為評分依據的評分規準事先公開給學生。
  • 說明自動評分所佔的比重與人工複核的比例。
  • 評分結束之後仍將紀錄保存一段時間。申訴不一定發生在成績出來的當下,也可能拖很久才來。
  • 若同一道題每年都用,就連各年度標準的變動也一併留下,讓公平性得以比較。

可以直接拿來向家長說明的那一頁

申訴或詢問進來時,紀錄若散落各處,說明起來要花很久。事先訂好一份答案摘要頁要放哪些項目,就能立刻回應。下面四行,大部分的詢問都答得上來。

  1. 採用的標準是什麼。像「舉出兩個以上依據即滿分」這樣,原文照抄寫下來。
  2. 這份答案在各向度各得幾分,依據是哪一句話。
  3. 老師複核過 AI 的分數,若有修改,寫下改了什麼、怎麼改的。
  4. 寫下已確認同類型的其他答案也套用了同一把尺。

把這四行冷靜地一項項指出來給對方看,「為什麼只有我家孩子」這樣的疑慮大多會平息。說明不該是辯解,而該是流程的透明公開。

重點整理

AI 評分的信任不是來自演算法,而是來自紀錄與流程。留下依據、保存人工複核的痕跡、公開申訴流程,自動化就會從招來懷疑的東西變成透明的工具。只要記得紀錄不是負擔,而是保護老師的盾牌,一開始的麻煩就會看起來不一樣了。

登入後參與互動
留言 0

來發表第一則留言吧。

相同主題 · AI 評量
推薦文章