定義學習 KPI：分辨虛榮指標與真正指標的方法

「這學期 LMS 的登入次數比去年增加了 40%。」這句常出現在學校報告裡的話，其實什麼也沒說。因為登入變多，並不能得知學習是否真的發生。這種數字叫做虛榮指標（vanity metric）。看起來像模像樣，拿去報告也漂亮，偏偏改變不了任何決策。定義學習 KPI 時，第一件要做的事，就是把看似像樣的虛榮指標篩掉。

篩出虛榮指標的三個問題

只要有數字被提名為 KPI 候選，請讓它通過以下三個問題。

1. 這個數字變差時，我們會改變什麼？ 如果答案浮不出來，那它就是報告用的裝飾，不是 KPI。無法連向行動的指標，沒有追蹤的理由。
2. 光看數字就分得出好壞嗎？ 登入次數多也可能是壞事。因為那也可能是學生找不到路，在同一個頁面進進出出了 30 次。只有方向明確的指標，才叫得動行動。
3. 和學習目標之間有因果的連結嗎？ 影片播放時間長，不代表理解得深。因為開著影片離開座位的時間也全被加了進去。

老是只量容易量的東西，久了就會忘記怎麼量真正該量的重要東西。

真正 KPI 的例子

相對地，下面這些指標，數字一動就會立刻叫出下一個行動。

• 概念精熟率：依核心成就基準（韓國課綱訂定的學習成就標準）逐項計算通過的學生比例。每個單元結束時追蹤，就看得出班級卡在哪個概念。
• 重做後的成功率：第一次答錯的題目，重做之後答對的比例。這是最誠實地呈現學習是否真的發生的指標。首次答對率透露的是先備知識，重做成功率透露的則是學習的效果。
• 求助到解決的時間：學生貼出問題到收到回覆所花的時間。超過 24 小時，就表示支援體系有破洞。
• 自主學習比例：沒有老師指示、由學生自己啟動的學習活動所佔的比重。這個比例上升，是學習文化正在扎根的最好訊號。

這類指標一旦數字變差，「該改什麼」幾乎會自動跟著浮現。舉例來說，如果重做後的成功率停在 40%，就代表學生根本不知道自己錯在哪，只是重新猜一次答案，於是「必須調整解說與提示的方式」這個結論會直接冒出來。

還有一點，KPI 一開始不要訂太多。整所學校一起追蹤的核心指標，最好不要超過三個。指標一旦超過十個，所有人都會別開視線不看儀表板，最後只剩下沒有人負責的數字。訂得少、看得深，是經營 KPI 的第一原則。

重點整理

好的 KPI 不是華麗的數字，而是在變差時告訴我們該做什麼的數字。請把登入次數、頁面瀏覽數、播放時間這類虛榮指標清掉，專注在精熟率與重做成功率這種與學習目標有因果連結的少數指標上。深入盯著三個指標，永遠好過草草掃過三十個指標。