학습 KPI 정의하기, 허영 지표와 진짜 지표 구분법

"이번 학기 LMS 접속 수가 작년 대비 40% 늘었습니다." 학교 보고서에 자주 등장하는 이 문장은 사실 아무것도 말해 주지 않습니다. 접속이 늘어도 학습이 실제로 일어났는지는 알 수 없기 때문입니다. 이런 숫자를 허영 지표(vanity metric)라고 부릅니다. 보기에는 그럴듯하고 보고하기에도 좋지만, 정작 의사결정을 바꾸지 못하는 숫자입니다. 학습 KPI를 정의할 때 가장 먼저 할 일은 그럴듯한 허영 지표를 솎아내는 것입니다.

허영 지표를 가려내는 세 질문

어떤 숫자가 KPI 후보로 올라오면 다음 세 질문을 통과시켜 보시기 바랍니다.

1. 이 숫자가 나빠지면 우리는 무엇을 바꾸는가? 대답이 떠오르지 않는다면 그것은 보고용 장식이지 KPI가 아닙니다. 행동으로 연결되지 않는 지표는 추적할 이유가 없습니다.
2. 숫자만으로 좋고 나쁨이 갈리는가? 접속 수는 많아도 나쁠 수 있습니다. 학생이 길을 못 찾아 같은 페이지를 30번 들락거린 것일 수도 있기 때문입니다. 방향이 분명한 지표만이 행동을 부릅니다.
3. 학습 목표와 인과적으로 연결되는가? 영상 재생 시간이 길다고 이해가 깊은 것은 아닙니다. 틀어 놓고 자리를 비운 시간도 모두 합산되기 때문입니다.

측정하기 쉬운 것만 자꾸 측정하다 보면, 정작 측정해야 할 중요한 것을 측정하는 법을 잊게 됩니다.

진짜 KPI의 예시

대신 다음과 같은 지표는 숫자가 움직이는 순간 곧바로 다음 행동을 부릅니다.

• 개념 숙달률: 핵심 성취기준별로 통과한 학생 비율입니다. 단원이 끝날 때마다 추적하면 어느 개념에서 학급이 막히는지 보입니다.
• 재시도 후 성공률: 처음 틀린 문제를 다시 풀어 맞힌 비율입니다. 학습이 실제로 일어났는지를 보여 주는 가장 정직한 지표입니다. 첫 시도 정답률은 사전 지식을, 재시도 성공률은 학습의 효과를 드러냅니다.
• 도움 요청-해결 시간: 학생이 질문을 올리고 답을 받기까지 걸린 시간입니다. 24시간을 넘기면 지원 체계에 구멍이 있다는 뜻입니다.
• 자기주도 학습 비율: 교사의 지시 없이 학생 스스로 시작한 학습 활동의 비중입니다. 이 비율의 상승은 학습 문화가 자리 잡고 있다는 가장 좋은 신호입니다.

이런 지표는 숫자가 나빠지면 "무엇을 바꿔야 하는지"가 거의 자동으로 따라옵니다. 예를 들어 재시도 후 성공률이 40%에 머문다면, 학생이 틀린 이유를 모른 채 답만 다시 찍고 있다는 뜻이므로 해설과 힌트 방식을 손보아야 한다는 결론이 곧장 나옵니다.

한 가지 더, KPI는 처음부터 많이 정하지 마시기 바랍니다. 학교 전체가 함께 추적하는 핵심 지표는 세 개를 넘기지 않는 편이 좋습니다. 지표가 열 개를 넘으면 모두가 대시보드를 외면하고, 결국 아무도 책임지지 않는 숫자만 남습니다. 적게 정하고 깊이 보는 것이 KPI 운영의 첫 원칙입니다.

핵심 정리

좋은 KPI는 화려한 숫자가 아니라 나빠졌을 때 우리가 무엇을 할지 알려 주는 숫자입니다. 접속 수, 페이지뷰, 재생 시간 같은 허영 지표를 걷어내고, 숙달률과 재시도 성공률처럼 학습 목표와 인과로 연결된 소수의 지표에 집중하시기 바랍니다. 지표 세 개를 깊이 들여다보는 것이, 지표 서른 개를 흘려보는 것보다 언제나 낫습니다.