수능 국어 문제 AI한테 던져줬더니 단 '2분' 만에 만점 맞았다

작성일

AI, 수능 국어 56문항 2분만에 완벽 정답
챗GPT는 76점vs클로드 만점, AI 성능 격차 드러나

2027학년도 대학수학능력시험 국어영역 문제를 인공지능(AI)에 풀게 했더니 단 2분 만에 모든 문항을 맞히는 결과가 나왔다.

19일 치러진 수능에서는 AI와 초소형 전자기기를 이용한 부정행위 가능성이 주요 우려 사항으로 떠올랐다. 이런 가운데 실제 수능 문제를 AI에 입력해 문제 해결 능력을 확인하는 실험이 진행됐다. AI는 긴 지문을 읽고 내용을 분석해야 하는 국어영역에서도 빠른 속도로 정답을 찾아냈다.

19일 JTBC에 따르면 취재진은 이날 한국교육과정평가원이 공개한 2027학년도 수능 국어영역 홀수형 문제를 AI에 입력했다. 실험에 사용된 AI는 미국 앤트로픽이 개발한 '클로드(Claude)'의 '오푸스 5.5' 모델이다. 취재진은 국어영역 공통과목과 선택과목 문제를 모두 풀도록 했다.

국어영역 공통과목은 독서와 문학으로 구성되며 총 34문항이다. 선택과목인 '화법과 작문'과 '언어와 매체'는 각각 11문항이다. 취재진은 공통과목 34문항과 두 선택과목 22문항을 합쳐 총 56문항을 AI에 제시했다. 클로드가 모든 문제의 정답을 찾는 데 걸린 시간은 약 2분이었다.

올해 수능 분석표 / 뉴스1
올해 수능 분석표 / 뉴스1

실제 수능에서 수험생이 푸는 국어 문제는 총 45문항이다. 공통과목 34문항을 모두 풀고 두 선택과목 중 하나를 골라 11문항을 추가로 해결한다. 시험 시간은 오전 8시 40분부터 10시까지 총 80분이다. 이번 실험은 실제 수험생과 달리 두 선택과목을 모두 풀게 했다는 점에서 차이가 있다.

클로드는 평가원이 공개한 정답과 비교했을 때 56문항을 모두 맞혔다. 공통과목뿐 아니라 서로 다른 출제 방식으로 구성된 두 선택과목에서도 오답이 나오지 않았다. 이는 JTBC가 공개된 문제를 이용해 실시한 개별 실험 결과로, AI가 모든 수능 시험에서 같은 성적을 거둔다는 의미는 아니다.

클로드는 문제를 풀면서 정답을 고른 이유도 제시했다. 특히 홀수형 8번과 12번, 17번 등을 혼동할 가능성이 있는 문항으로 언급했다. 단순히 선택지 번호만 제시하는 것이 아니라 지문에 나온 정보와 보기의 설명을 비교해 답을 찾아낸 것이다.

17번 문제에서는 등장인물의 발언을 어떻게 해석해야 하는지가 중요했다. 클로드는 등장인물이 자백 내용을 사실로 인정한 적이 없다는 점을 근거로 제시했다. 문제에서 요구한 '적절하지 않은 것'을 찾기 위해 지문에 나온 사실과 선택지의 설명이 일치하는지를 따져본 것이다.

수능 국어영역은 단순한 암기력만으로 해결하기 어려운 문제들이 출제된다. 독서 영역에서는 인문·사회·과학·기술 등 다양한 분야의 글을 읽고 내용을 이해하거나 정보 사이의 관계를 파악해야 한다. 문학 영역에서는 작품에 등장하는 인물의 태도와 감정, 사건의 전개 방식 등을 분석하는 능력이 요구된다. 이번 실험에서 AI는 이러한 유형의 문제도 해결한 것으로 나타났다.

시험지를 배부 받는 수험생 / 뉴스1
시험지를 배부 받는 수험생 / 뉴스1

같은 시험지를 다른 AI에 입력했을 때는 결과가 달랐다. JTBC는 무료 버전의 챗GPT와 구글 제미나이에도 국어영역 문제를 풀게 했다. 두 AI는 일부 문항에서 잘못된 답을 제시했다. 특히 챗GPT는 76점을 기록한 것으로 전해졌다.

JTBC는 챗GPT의 76점이 지난해 수능 기준으로 3등급에 해당한다고 전했다. 이는 지난해 성적 기준을 활용한 비교이며, 올해 수능에서 실제로 3등급을 받았다는 뜻은 아니다. 수능 국어영역의 등급은 응시자들의 성적 분포와 표준점수 등을 반영해 결정된다.

이번 실험에 사용된 AI는 모델과 이용 조건이 서로 달랐다. 클로드는 오푸스 5.5 모델을 사용했고, 챗GPT와 제미나이는 무료 버전으로 시험을 치렀다. 따라서 실험 결과를 토대로 모든 유료 AI가 무료 AI보다 성능이 뛰어나다고 단정할 수는 없다. 같은 AI 서비스에서도 모델 종류와 문제 입력 방식, 답변 생성 조건에 따라 결과가 달라질 수 있다.

또한 AI가 문제를 풀었다는 사실과 실제 수능 성적을 받았다는 것은 구분해야 한다. 이번 실험은 평가원이 공개한 문제를 외부에서 입력해 정답을 확인한 것이다. 시험장 안에서 AI를 사용한 사례는 아니며, 실제 수험생이 같은 방식으로 시험을 치른 것도 아니다.

AI가 빠른 속도로 수능 문제를 해결할 수 있다는 사실은 올해 시험을 앞두고 제기된 부정행위 우려와도 연결된다. 최근 세무사시험 등 다른 국가시험에서 스마트 안경과 초소형 카메라를 활용한 부정행위 사례가 알려졌기 때문이다. 정부는 이러한 장비가 수능에서도 악용될 가능성을 고려해 기존보다 강화된 감독 대책을 마련했다.

한성숙 국무총리는 수능을 이틀 앞둔 지난 17일 대국민 담화를 발표하고 첨단 전자기기를 이용한 부정행위를 차단하겠다고 밝혔다. 휴대전화와 스마트워치뿐 아니라 스마트 안경, 스마트 반지, 초소형 카메라, 카메라가 내장된 필기구, 무선 이어폰 등도 반입 금지 대상에 포함됐다. 부득이하게 전자기기를 가져온 수험생은 전원을 끄고 1교시 시작 전에 감독관에게 제출해야 한다.

올해는 모든 수험생의 안경을 직접 확인하는 절차도 마련됐다. 1교시 시작 전 수험생들이 안경을 책상에 내려놓으면 감독관이 스마트 안경인지 검사하도록 했다. 3교시 시작 전에는 휴대 물품에 대한 전수 점검을 다시 실시하고, 매 교시 스마트 안경 착용 여부도 확인하도록 했다.

옷에 숨길 수 있는 초소형 카메라에 대한 점검도 강화됐다. 감독관은 수험생이 소매를 걷도록 하고 옷깃과 단추 등을 확인하며, 옷에 부착된 단추에는 스티커를 붙여 가리도록 했다. 수험생의 가방도 교실 밖 복도에 따로 보관하고, 시험 시작 전 재난문자를 발송해 제출하지 않은 휴대전화를 적발하는 방안이 마련됐다.

정부는 이러한 점검을 위해 감독관 약 8400명을 추가 배치했다. 또 통신사와 협력해 외부 통신 가능성에 대응하고, AI 서비스 제공 기업과도 부정행위 의심 사례의 사후 조사에 협력하기로 했다. 시험지 이미지를 AI에 입력해 정답을 확인한 것으로 의심되는 사례가 발생하면 관련 기록 등을 조사하는 방안도 포함됐다.

AI를 이용한 부정행위가 적발되면 시험 성적이 무효 처리될 수 있다. 교육부에 따르면 허용되지 않은 스마트기기를 시험 중 사용하거나 착용한 경우 해당 시험이 무효가 되고 다음 해 수능 응시 자격도 제한될 수 있다. 전자기기를 제출하지 않고 단순히 소지한 사실만 적발되더라도 시험 무효 처분을 받을 수 있다.

올해 수능 국어 난이도는 지난해에 비해 높지 않았던 걸로 보인다. / 뉴스1
올해 수능 국어 난이도는 지난해에 비해 높지 않았던 걸로 보인다. / 뉴스1

정부는 첨단기기를 이용한 중대한 부정행위에 대해서는 형사처벌까지 검토한다는 방침이다. 시험의 공정한 진행을 방해한 경우 형법상 위계에 의한 공무집행방해 혐의가 적용될 수 있다. 해당 혐의가 인정되면 5년 이하의 징역 또는 1000만원 이하의 벌금에 처할 수 있다.

부정행위자의 수능 응시 자격 제한 기간을 기존 1년에서 10년으로 확대하는 방안도 추진되고 있다. 이는 관련 제도 변경이 필요한 사항으로, 현행 규정에 따른 제재와 구분해야 한다. 정부는 부정행위로 대학에 입학한 사실이 확인되면 입학 취소 등 추가 조치도 추진하겠다고 밝혔다.

이번 실험에서 AI가 문제를 해결한 시간은 약 2분이지만, 이는 문제를 입력받은 뒤 답을 생성하는 데 걸린 시간이다. 실제 시험장에서 문제를 촬영하거나 외부로 전달하는 시간, 답을 다시 받아 확인하는 과정까지 포함한 것은 아니다. 시험장에서 외부 통신이 가능한지도 별도로 확인해야 하는 문제다.

또 이번 실험은 공개된 문제와 정답을 비교한 결과다. AI가 해당 문제를 이전에 접했는지 여부를 포함한 실험 조건이 모두 검증된 것은 아니므로, 이를 엄격한 의미의 AI 성능 평가로 일반화하기는 어렵다. 다만 공개된 실제 수능 문제를 짧은 시간 안에 해결한 사례라는 점에서 AI의 문제 처리 능력을 보여준다.

한편 한국교육과정평가원은 이날 공개한 문제와 정답에 대해 23일까지 이의신청을 받는다. 이후 심사를 거쳐 12월 1일 최종 정답을 확정할 예정이다. 2027학년도 수능 성적은 12월 11일 수험생들에게 통지된다.