導入的工具到底有沒有效？用資料而不是感覺來確認

新工具用了一個學期，就以「好像還不錯」作結，下一次也還是會憑同樣的直覺再引進另一個工具。這樣一來，到底什麼才真的有效，永遠都難以知道。工具的效果必須用測量而不是印象來確認，下一次的選擇才會有依據。這不需要什麼浩大的研究。導入前先決定要看什麼，結束時再用同一把尺看一次就好。

要測量什麼

一講到看效果就只盯著考試分數，會錯過工具真正的價值。請挑選符合目的的指標。

• 時間節省：用了那項工具之後，花在評分、整理與溝通上的時間有沒有變少。老師的時間省下來了，這本身就是明確的效果。
• 參與度：學生的作業繳交率、課堂上的回應次數、自發的提問有沒有增加。
• 學習訊號：像形成性評量答對率的變化這樣，與理解程度連動的訊號。
• 持續使用率：一個月、兩個月之後是否還在用。導入剛開始的熱度誰都看得到，但能不能持續被使用，才是真正扎根的證據。

從中挑出與導入目的最貼近的一兩項就夠了。指標一多，測量本身就變成了工作。

讓測量變輕的流程

毫無負擔地確認效果的流程如下。

1. 寫下導入前的基準線：把現在的繳交率、評分時間這些現值寫下一行。少了它，之後就沒有東西可以比較。
2. 訂出期間與指標：像「8 週內看作業繳交率與評分時間」這樣單純地訂。
3. 中途檢查一次：過了一半時看看走勢，如果明顯不合適，就別硬撐到最後，直接調整方向。
4. 也去問學生：光看數字，有些地方看不見。用簡短的問卷一併掌握學生的感受。

測量的目的不是審判工具，而是把下一個決定放在依據而不是直覺之上。

不被數字騙的方法

一旦下定決心要用資料來看，這回又冒出被數字過度左右的風險。誤以為只有測量得到的東西才重要，是常見的陷阱。像學生的好奇心、學習態度的變化這種數字抓不到的價值，很多時候才是工具真正的效果。所以要記得，資料只是幫助判斷的材料，不是判斷本身。

健康地對待數字，有幾條原則。

• 區分相關與因果：就算用了工具之後分數上升，也要謹慎判斷那是因為工具，還是因為其他因素。
• 把短期與長期分開看：導入之後立刻出現的閃亮效果，可能只是新鮮感。兩三個月後還維持得住，才是真的。
• 把數字與觀察並排看：在統計旁邊擺上老師的觀察與學生的說法，解讀才會平衡。

說到底，測量不是把工具的價值換算成一格數字的作業，而是為了做出更好的判斷，再添上眾多證據中的一項。看數字但不被數字困住的平衡，才是核心。

重點整理

導入工具的收尾，是用資料確認效果。從時間節省、參與度、學習訊號、持續使用率之中，挑出符合目的的一兩項指標，並寫下導入前的基準線。加上中途檢查與學生問卷，測量就會變輕。像這樣累積一次依據，下一次挑工具時，就會用資料而不是直覺來決定。那正是更有自信地運用好工具的路。