객관식 문항 질을 끌어올리는 매력적인 오답 만들기

객관식 문항의 질은 정답이 아니라 오답에서 갈립니다. AI에게 그냥 "사지선다 만들어 줘"라고 요청하면 정답만 그럴듯하고 나머지 보기는 누가 봐도 틀린 들러리로 채워집니다. 이러면 찍어도 맞는 문제가 됩니다.

좋은 오답의 조건

변별력 있는 오답은 학생의 흔한 착각을 정확히 겨냥합니다. AI에게 다음을 요구하셔야 합니다.

• 오개념 기반: "학생들이 자주 하는 실수를 오답으로 만들어 줘"라고 명시합니다.
• 그럴듯함: 정답과 비슷한 길이·형식을 갖추어, 길이로 정답을 추측하지 못하게 합니다.
• 명확한 오류 한 가지: 각 오답이 왜 틀렸는지 한 문장으로 설명 가능해야 합니다. 애매하면 복수 정답 시비가 생깁니다.

실제로 중학교 영어에서 한 교사는 시제 문항을 만들 때 "현재완료와 과거시제를 혼동하는 학생이 고를 법한 보기"를 콕 집어 요청해, 단순 암기로는 풀 수 없는 문항을 얻었습니다.

출제 후 반드시 거를 것

1. 정답 단서 점검: 문제 안에 정답을 암시하는 단어가 없는지 봅니다.
2. 상호 배타성 확인: 두 보기가 동시에 정답이 될 수 있는 복수 정답 가능성을 점검합니다.
3. All/None 보기 주의: "모두 정답", "정답 없음"은 AI가 남발하니 꼭 필요한지 따집니다.
4. 오답 해설 작성: 각 오답에 대한 짧은 해설을 함께 만들어 채점 후 피드백에 활용합니다.

좋은 문항은 아는 학생과 모르는 학생을 갈라냅니다. 그 경계선을 만드는 것이 바로 잘 설계된 오답입니다.

출제 후 데이터로 문항 다듬기

한 번 출제했다고 끝이 아닙니다. 시험을 치른 뒤 학생 반응 데이터를 보면 문항의 질이 드러납니다.

• 정답률 확인: 정답률이 95% 이상이면 변별이 되지 않고, 20% 미만이면 너무 어렵거나 오류가 있을 수 있습니다. 적정 구간은 대체로 40~80%입니다.
• 오답 쏠림 분석: 특정 오답에 학생이 몰렸다면, 그 오개념이 널리 퍼졌다는 신호입니다. 다음 수업에서 짚어 줍니다.
• 상위권 정답률 역전: 잘하는 학생이 오히려 더 많이 틀린 문항은 함정이 과하거나 표현이 모호하다는 뜻입니다.
• 무응답 비율: 아무도 답하지 못한 문항은 지시문 자체가 불명확했을 가능성이 높습니다.

실제로 한 교사는 시험 후 정답률을 정리해, 정답률 100%였던 문항은 다음 시험에서 난이도를 올리고, 상위권이 더 틀린 문항은 표현을 다듬어 문항 은행의 질을 해마다 끌어올렸습니다. 좋은 문항은 한 번에 완성되지 않고 데이터로 다듬어집니다.

핵심 정리

객관식의 품질은 오개념을 겨냥한 매력적인 오답에서 나옵니다. AI에게 흔한 실수에 기반한 오답을 요구하고, 출제 후 정답 단서·복수 정답·해설을 점검하면 변별력이 크게 올라갑니다. 시험을 치른 뒤에는 정답률과 오답 쏠림 같은 데이터로 문항을 다듬어, 해마다 더 나은 문항 은행을 쌓아 갈 수 있습니다. 한 단원 문항부터 오답 설계에 공을 들여, 찍어서 맞히는 문제를 줄여 보시기를 권합니다. 작은 데이터라도 꾸준히 모으면 출제 감각이 눈에 띄게 정교해집니다.