[서울=뉴스핌] 최원진 기자= 미국 오픈AI의 인공지능(AI) 챗봇 '챗GPT'에 초등학교 6학년 수준의 시험 문제를 풀게 했더니 놀랍게도 성적은 처참했다.
20일(현지시간) 싱가포르 일간 더 스트레이츠 타임스는 챗GPT의 능력을 검증해보기 위해 지난 2020년, 2021년, 2022년에 출제된 싱가포르 중학교 입학시험 'PSLE'의 수학, 과학, 영어 부문 문제를 챗봇에 물어봤다.
결과는 예상 밖이었다. 챗GPT가 푼 2020~2022년 입시시험 수학 부문의 평균 성적은 100점 만점에 16점으로 나타났다.
챗GPT는 텍스트 기반의 챗봇으로, 이미지를 첨부해 검색할 수 없는 탓에 그래프나 도표가 들어간 수학 문제는 자동 '0점' 처리됐지만 챗봇은 더하기와 같은 간단한 산수 문제를 틀렸다.
예시로 출제 문제 중에는 '60000+5000+400+3'이란 덧셈 문제가 나왔는데 챗GPT는 '65503'이라고 답했다. 정답은 '65403'이다.
챗GPT는 과학 부문에선 평균 21점을 받았다. 반면 영어 부문은 55점으로 가장 높지만 언어 기반의 챗봇인 점을 감안하면 크게 좋은 성적은 아니라는 평가다.
예컨데 챗GPT는 영어 지문에 있는 단어 '밸류(value)'를 재화 등 값어치로 해석했지만, 문맥상 한 사람의 가치관이란 의미로 이해했어야 한다는 설명이다.
같은날 해당 소식을 전한 미국 매체 인사이더는 "미국 펜실베이니아대 와튼비즈니스스쿨 기말시험도 통과한 챗GPT가 싱가포르의 초등 6학년생 시험을 통과하지 못했다니 놀랍다"고 평가했다.
지난 11일 인사이더에 따르면 와튼스쿨의 크리스천 터위시 교수가 자신이 가르치는 운영 관리학 수업 기말시험을 챗GPT에 치게 했더니 사례 연구 기반의 기본 문제들을 "훌륭히 답했다"고 평가했다.
문제 중 초등학교 6학년 수준의 간단한 계산을 요구하는 부분에서 여러 실수를 범했지만 그의 최종 시험 평가는 'B 또는 B 마이너스(-)'였다는 전언이다.
챗GPT가 왜 간단한 산수 문제를 잘 풀지 못하는지는 미지수다. 인사이더가 오픈AI 측에 취재를 요청했지만 답변이 없었다.
wonjc6@newspim.com
