논술형 답안 AI 채점, 표현이 아니라 논증을 보게 만드는 법

논술형 채점에서 가장 위험한 것은, AI가 유려한 문장을 좋은 논증으로 착각하는 일입니다. 표현이 매끄러우면 점수를 후하게 주고, 거칠지만 논리가 탄탄한 글을 낮게 평가합니다. 이것은 도구의 한계가 아니라 우리가 기준을 잘못 주었기 때문입니다. "잘 쓴 글을 골라줘"라고 막연히 지시하면, AI는 사람이 그러하듯 가장 매끄러운 글에 끌립니다. 평가의 잣대를 표현에서 사고로 옮겨야 합니다.

논증 요소를 명시적으로 분해하기

"논술을 평가하라"는 막연한 지시 대신, 평가 대상을 구성 요소로 쪼개 각각을 보게 합니다.

• 주장: 명확한 입장이 있는가. 양쪽 다 맞다는 식의 회피가 아닌가.
• 근거: 주장과 직접 연결되는 근거가 제시됐는가. 동떨어진 사례를 나열하지 않았는가.
• 반론 수용: 반대 관점을 고려하고 재반박했는가.
• 일관성: 결론이 앞의 근거에서 자연스럽게 도출되는가.

각 요소를 독립적으로 0~3점으로 매기게 하면, 문장력에 점수가 휩쓸리는 현상이 크게 줄어듭니다. 특히 반론 수용 항목을 넣으면 단순한 의견 나열과 진짜 논증이 갈립니다. 한쪽 주장만 늘어놓은 글은 표현이 화려해도 이 항목에서 점수를 잃습니다.

현장 적용 예시

고2 사회 논술 "기본소득 도입에 대한 입장"을 채점한다면 다음 흐름을 따릅니다.

1. 위 4개 요소 루브릭을 AI에 함께 입력합니다.
2. 답안마다 요소별 점수와 인용 근거를 출력하게 합니다. 어느 문장이 어느 점수의 근거인지 표시하게 하는 것이 핵심입니다.
3. 교사는 "근거" 항목에서 AI가 짚은 인용이 실제로 주장을 받치는지만 검토합니다. 전체를 다시 읽지 않아도 핵심만 빠르게 검수됩니다.

표현은 가르치면 나아집니다. 평가에서 흔들리지 말아야 할 것은 사고의 구조입니다.

주의할 점

• AI는 사실 오류를 잘 잡지 못합니다. 학생이 틀린 통계를 그럴듯하게 쓰면 통과될 수 있으니 사실 검증은 사람이 맡아야 합니다.
• 모범답안을 정답으로 고정하면 창의적 반례를 깎습니다. "타당한 다른 입장도 인정"을 기준에 넣으시기 바랍니다.
• 글자 수가 많다고 점수를 더 주지 않도록 "분량은 평가 요소가 아님"을 명시합니다. 길게 쓰면 후해지는 함정을 막습니다.
• 첫 적용 때는 교사가 매긴 점수와 AI 점수를 10개만 대조해 보세요. 어느 요소에서 시각이 갈리는지 금세 드러납니다.

채점 결과를 글쓰기 지도로 잇기

논증을 요소로 쪼개 채점하면, 그 결과가 그대로 다음 글쓰기 수업의 재료가 됩니다. 점수표로 끝내지 마시고 학습으로 이어붙이시기 바랍니다. 예를 들어 학급 전체 채점 결과를 모아 보면 어느 요소가 약한지 한눈에 보입니다.

• 주장은 분명한데 반론 수용이 거의 없다면, 다음 시간에 "예상 반론과 재반박" 한 단락 쓰기를 집중 연습합니다.
• 근거가 주장과 겉도는 답안이 많다면, 좋은 근거와 동떨어진 근거를 나란히 놓고 비교하는 활동을 넣습니다.
• 일관성 점수가 낮으면, 결론이 앞 근거에서 나오는지 스스로 점검하는 체크리스트를 제공합니다.

이렇게 약한 요소를 짚어 지도하면, 막연히 "논술 연습"을 시키는 것보다 향상이 빠릅니다. 채점이 다음 수업의 지도를 그려 주는 셈입니다.

핵심 정리

논술 채점의 핵심은 표현이 아니라 논증의 뼈대입니다. 평가 요소를 분해해 각각 채점하게 하면 AI도 사고력을 비교적 공정하게 봅니다. 사실 검증과 최종 판단만 사람이 쥐면 됩니다. 요소별 채점표 한 장이 결국 학생에게 "무엇을 더 연습해야 하는지" 알려주는 학습 지도가 됩니다.