学習KPIを定義する、虚栄の指標と本物の指標の見分け方

「今学期のLMSアクセス数が昨年比で40%増えました」。学校の報告書によく登場するこの一文は、実のところ何も語っていません。アクセスが増えても、学習が実際に起きたのかは分からないからです。こうした数字を虚栄の指標（vanity metric）と呼びます。見た目はもっともらしく報告にも使いやすいのに、肝心の意思決定を変えられない数字です。学習KPIを定義するとき、まずやるべきことは、もっともらしい虚栄の指標を間引くことです。

虚栄の指標を見分ける三つの問い

ある数字がKPIの候補に挙がったら、次の三つの問いを通してみてください。

1. この数字が悪化したら、私たちは何を変えるのか。 答えが浮かばないなら、それは報告用の飾りであってKPIではありません。行動につながらない指標を追いかける理由はありません。
2. 数字だけで良し悪しが決まるのか。 アクセス数は多くても悪い場合があります。生徒が道に迷って、同じページを30回出入りしただけかもしれないからです。方向がはっきりした指標だけが行動を呼びます。
3. 学習目標と因果でつながっているのか。 動画の再生時間が長いからといって、理解が深いわけではありません。流したまま席を外していた時間もすべて合算されるからです。

測りやすいものばかりを測り続けていると、本当に測るべき大切なものを測る方法を忘れてしまいます。

本物のKPIの例

代わりに、次のような指標は数字が動いた瞬間、すぐに次の行動を呼び込みます。

• 概念の習熟率: 主要な到達基準ごとに合格した生徒の割合です。単元が終わるたびに追いかければ、どの概念でクラスが詰まっているのかが見えてきます。
• 再挑戦後の正答率: 最初に間違えた問題を解き直して正解した割合です。学習が実際に起きたのかを示す、最も正直な指標です。初回の正答率は事前知識を、再挑戦後の正答率は学習の効果を映し出します。
• 助けを求めてから解決するまでの時間: 生徒が質問を投稿してから答えを受け取るまでにかかった時間です。24時間を超えるようなら、支援の仕組みに穴があるということです。
• 自己主導学習の割合: 教師の指示なしに生徒が自分から始めた学習活動の比率です。この割合の上昇は、学習文化が根づきつつあることを示す最良のサインです。

こうした指標は、数字が悪化すると「何を変えるべきか」がほぼ自動的についてきます。たとえば再挑戦後の正答率が40%にとどまっているなら、生徒が間違えた理由を分からないまま答えだけを選び直しているということですから、解説とヒントのやり方に手を入れるべきだという結論がすぐに出ます。

もう一つ、KPIは最初からたくさん決めないでください。学校全体で一緒に追いかける主要指標は、三つを超えないほうがよいでしょう。指標が十を超えると誰もがダッシュボードから目をそらし、結局は誰も責任を持たない数字だけが残ります。少なく決めて深く見ることが、KPI運用の第一原則です。

まとめ

よいKPIとは、華やかな数字ではなく悪化したときに私たちが何をすべきかを教えてくれる数字です。アクセス数、ページビュー、再生時間といった虚栄の指標を取り払い、習熟率や再挑戦後の正答率のように、学習目標と因果でつながった少数の指標に集中してください。指標を三つ深く見つめることは、指標を三十も流し見することより、いつでも優れています。