教育科技的 ROI：除了成績之外，該測量什麼、又該怎麼測量

「導入 AI 工具之後成績有進步嗎？」這個問題很自然，卻藏著陷阱。一個學期的成績變化裡混雜著換老師、考題難度、季節因素，很難把工具本身的效果單獨切出來。一旦想把 ROI 換算成成績那一行數字，測量就失去了可信度。 效果必須從好幾個角度來看。測量方式錯了，就會錯過有效的工具，反而抱著沒有效果的工具不放。

只看成績會漏掉的價值

投資效益有時在分數之外呈現得更大。只量看得見的東西，就會整批漏掉看不見的價值。

• 教師時間：批改與備課資料的準備時間，每週減少了幾小時。這些時間會 重新投入到回饋與晤談 上。每週省下 2 小時，一個學期就超過 30 小時。
• 參與度：作業繳交率、發表次數、缺席率這類行為指標。它們比分數更早開始變動，是先行的訊號。
• 公平性：後段學生追上進度的速度。就算平均沒變，只要差距縮小了 就是很大的成果。
• 情意領域：關於學習自信與興趣的簡單問卷。興趣的恢復，會比較晚才反映在下一個學年的成績上。

設計測量的四個步驟

1. 取得基線：導入前先把上述指標記錄一個月。沒有基線的效果宣稱只是印象而已。
2. 設定對照組：可以的話，把同年級程度相近的班級設為對照組。有對照組才分得出是「工具的功勞」還是「本來就這樣」。
3. 混合測量：把成績這類量化指標，和 學生、教師訪談這類質性資料 一起蒐集。數字告訴你變了什麼，訪談告訴你為什麼會變。
4. 成本對比：把投入的金錢與時間，除以省下的時間與提升的指標來看。把省下的時間換算成時薪，往往會得出意外可觀的金額。

數字沒有上升，和沒有效果是兩回事。請先懷疑自己是不是漏測了什麼。

別誤讀測量結果

資料是誠實的，解讀卻常常騙了我們。

• 提防新鮮感效應：導入之初的高參與，可能只是因為新鮮。要一起看 3 個月後的數字 才算數。
• 平均值的陷阱：平均上升的背後，後段學生可能反而落得更後面，所以要看分布。
• 過度相信單一指標：某一項指標變好，不代表整體都變好。要成組判斷。

把測量結果接到決策上

測量的目的不是報告，而是決定。再怎麼用心蒐集的資料，若沒有接到決定，也只會變成抽屜裡的資料。

• 半年一次檢視：每個學期彙整一次指標，決定要 擴大、維持或縮減。沒有決定的測量只會留下疲勞。
• 回饋到現場：把測量結果回饋給老師們，讓大家一起知道什麼有效。這種回饋會造出下個學期的動力。
• 更新比較基準：把今年的結果當成明年的新基線，讓改善持續累積。

重點整理

教育科技的 ROI 不該只看成績這一項指標，而要當成 涵蓋時間、參與、公平性與情緒的一整組 來看。先備好基線與對照組，再把量化與質性混在一起，下次預算審議時，手上就會留下有說服力的依據。