AI가 그럴듯하게 틀릴 때, 교실은 어떻게 대응하는가

한 중학생이 역사 발표 자료를 만들며 챗봇에게 조선 시대 인물의 생애를 물었습니다. AI는 막힘없이 매끄러운 연표를 내놓았지만, 그중 절반은 실제로 존재하지 않은 사건이었습니다. 문제는 그 거짓이 너무나 자연스러워서, 학생도 교사도 한눈에 알아채기 어려웠다는 점입니다. 더 나아가 AI는 그 연표의 근거라며 실재하지 않는 책 제목까지 그럴듯하게 덧붙였습니다. AI의 환각은 '모른다'고 말하는 대신 '그럴듯하게 지어내는' 현상이며, 기술이 발전하더라도 완전히 사라지지 않습니다.

왜 AI는 자신 있게 틀리는가

생성형 AI는 사실을 검색하는 것이 아니라, 다음에 올 법한 단어를 통계적으로 이어 붙입니다. 그래서 그럴듯하지만 틀린 문장을 만들어 냅니다. 사람이라면 "그건 잘 모르겠다"며 멈출 자리에서도, AI는 자연스러운 문장을 이어 가기 위해 빈칸을 지어내기 때문입니다.

• 출처 없는 자신감: AI는 확신의 정도를 표시하지 않고 모든 답을 같은 어조로 말합니다.
• 빈틈 메우기: 모르는 부분을 비워 두지 않고 가짜 정보로 채웁니다.
• 존재하지 않는 인용: 실제로 없는 논문이나 책 제목을 만들어 내기도 합니다.

매끄러운 문장과 정확한 사실은 전혀 다른 것이라는 점을, 학생에게 가장 먼저 가르쳐야 합니다.

환각을 걸러 내는 수업 습관

오답을 막는 가장 좋은 방법은 'AI를 맹신하지 않는 습관'을 기르는 것입니다. 의심은 부정적인 태도가 아니라, 정보를 다루는 가장 기본적인 예의입니다.

1. 교차 확인 규칙: AI 답변은 반드시 교과서나 공식 사이트 한 곳 이상과 대조합니다.
2. 출처 요구: "근거가 된 자료의 제목과 출처를 알려 줘"라고 되묻고, 그 출처가 실재하는지 검색합니다.
3. 오답 찾기 활동: 일부러 AI 답변에서 틀린 부분을 찾는 활동으로 비판적 시선을 기릅니다.
4. 모를 권리 인정: "확실하지 않으면 모른다고 답해 줘"라고 미리 요청해 무리한 추측을 줄입니다.

AI를 잘 활용하는 학생은 답을 빨리 받는 학생이 아니라, 그 답을 의심할 줄 아는 학생입니다.

특히 수치, 날짜, 인용, 인명처럼 '한 글자만 틀려도 큰 오류가 되는 정보'는 반드시 사람이 검증하도록 규칙을 정해 두시기 바랍니다. 발표 자료나 보고서에 들어가는 통계 하나가 잘못되면, 글 전체의 신뢰가 무너지기 때문입니다.

핵심 정리

AI 환각은 단순한 결함이 아니라 기술의 본질적 한계입니다. 따라서 대응은 '완벽한 AI 찾기'가 아니라 '검증하는 사용자 기르기'여야 합니다. 첫째, 매끄러움과 정확함을 구분하도록 가르칩니다. 둘째, 모든 답을 교차 확인하는 습관을 들입니다. 셋째, 수치와 인용은 사람이 직접 확인합니다. AI가 틀릴 수 있다는 사실을 아는 학생은, AI를 두려워하지도 맹신하지도 않습니다. 그 균형 잡힌 태도가 바로 AI 시대의 핵심 역량입니다. 오늘 수업에서 작은 오답 찾기 활동 하나로 그 첫걸음을 떼어 보시기 바랍니다.