전체기사 최신뉴스 GAM 라씨로
KYD 디데이
글로벌 미국·북미

속보

더보기

AI 최강자 등극 구글 '제미나이', GPT-4와 비교해 보니

기사입력 : 2023년12월07일 14:53

최종수정 : 2023년12월08일 07:49

[서울=뉴스핌] 최원진 기자= 구글이 오픈AI의 최신 생성형 인공지능(AI) 거대언어모델(LLM) 'GPT-4'를 능가하는 자체 모델 '제미나이(Gemini) 1.0'을 6일(현지시간) 공개해 화제다.

지난해 11월 챗GPT로 생성형 AI의 미래를 제시한 오픈AI가 기술 최강 자리를 굳건히 지킬 것이란 예상이 GPT-4 출시 후 불과 약 9개월 만에 깨진 것이다. 구글 제미나이가 AI 업계의 치열한 개발 경쟁에 다시 한번 불을 지폈다.

◆ 제미나이의 강점은 '멀티 플레이어'

제미나이는 3가지 버전으로 나온다. 구글이 지금까지 내놓은 것 중 가장 강력한 LLM이자 데이터센터와 기업용 모델인 '제미나이 울트라', 구글의 AI 챗봇 '바드'의 모델인 '제미나이 프로', 스마트폰 등 모바일 기기에서 사용 가능한 컴팩트한 사이즈의 '나노'다.

제미나이 프로는 제품 공개한 이날 바로 바드에 탑재됐다. 제미나이 프로가 적용된 바드는 170개 이상 국가 및 지역에서 영어로 제공되며, 향후 서비스 확장 및 새로운 지역과 언어도 지원될 예정이다. 

'제미나이 울트라'는 내년 초 '바드 어드밴스드'라는 이름으로 바드에 장착되며, '제미나이 나노'는 구글이 지난 10월 공개한 최신 스마트폰인 '픽셀8 프로'에 탑재된다.

구글은 제미나이가 "선천적"(natively)으로 멀티모달(Multi-Modal·다중모드) AI 모델이라고 소개한다. 멀티모달은 말그대로 텍스트뿐만 아니라 이미지, 동영상 등 비언어 입력값도 이해해 응용할 수 있는 '멀티 플레이어'다.

오픈AI가 이미지 생성 AI '달리'(DALL-E), 음성 인식 AI '위스퍼'(Whisper)를 각각 개발한 방식과 달리 구글은 애초부터 텍스트·이미지·오디오 등 다양한 데이터로 제미나이를 훈련해왔다는 것이다.

제미나이가 학생의 물리학 문제를 풀이해주는 예시. [사진=구글 딥마인드 제공]

특히 제미나이는 이미지와 동영상을 이해한 데이터를 응용하고 상호 작용하는 데 강점을 보인다.

예컨대 한 학생이 물리학 문제를 풀이하는 과정을 펜으로 쓴 이미지를 교사가 제미나이 프롬프트에 넣어 문제 풀이 과정에 어떤 부분이 틀렸는지 질문하면 제미나이는 정확히 문제의 정답과 학생의 손 글씨를 이해해 잘못된 문제 풀이 과정을 수정해 준다.

구글 딥마인드는 "제미나이가 이미지 속 텍스트를 이해하는 것을 넘어 교사가 어떻게 문제를 다르게 설정했는지 등을 이해해야 가능하다"고 설명했다. 제미나이는 오답 풀이 뿐만 아니라 학생이 틀린 유형의 다른 연습 문제도 제공해 교육 환경에서의 활용도가 높다는 게 자체 평가다.

이 밖에 제미나이는 동영상 속 언어를 감지해 번역 자막을 달아주고, 동영상 속 상황을 이해해 질문에 답할 수 있다.

◆ 32개 벤치마크 테스트 중 30개, 최고 성적

이미지와 영상의 이해부터 수학적 추론까지 가능한 제미나이 울트라가 업계에서 LLM 연구개발 평가 시 널리 사용되는 학술 벤치마크 기준 32개 가운데 30개 항목에서 GPT-4를 뛰어넘는 성적을 기록했다.

구체적으로 제미나이 울트라는 텍스트와 추론 벤치마크 부문 12개 중 10개, 이미지 이해 부문 9개 중 9개, 동영상 이해 벤치마크 6개 중 6개, 음성 인식 부문 5개 중 5개에서 GPT-4보다 높은 신기록을 썼다.

특히 대규모 다중작업 언어 이해(MMLU) 벤치마크에서 제미나이 울트라는 90% 이상의 정답률을 기록했다.

MMLU는 수학, 물리학, 역사, 법률, 의학, 윤리 등 57개의 주제를 복합적으로 활용해 지식과 문제 해결 능력을 평가하는 대표 격 LLM 벤치마크다.

구글 딥마인드는 제미나이 울트라의 MMLU 점수가 GPT-4의 86.4%를 앞선 것에서 나아가 AI 모델로는 최초로 인간 전문가 점수인 89.8%를 뛰어넘었다고 밝혔다. 

이 밖에 여러 단계의 추론을 요구하는 여러 문제 해결 능력을 평가하는 빅 벤치 하드(BIG-Bench-Hard)와 독해력 벤치마크인 DROP에서 각각 80%가 넘는 점수로 GPT-4를 능가했다. 

WMT23 벤치마크는 LLM의 번역 능력을 평가한다. 제미나이 울트라는 74.40%로 GPT-4보다 번역 능력이 우수했다.

다만 일상에 필요한 상식 추론 능력을 보는 헬라스웨그(HellaSwag) 벤치마크에서는 제미나이 울트라가 GPT-4에 못미쳤다. 

제미나이 울트라의 이미지 이해 능력은 GPT-4 보다 뛰어났다.

과학, 기술, 인문 과학, 음악 등 6개 핵심 부문 대학교 시험과 교과서에서 수집된 차트, 표, 악보 이미지를 이해하는 능력을 평가하는 다소 새로운 벤치마크인 MMMU에서 제미나이 울트라는 59.4%를 기록, GPT-4를 앞섰다.

이미지를 보고 이해해 관련 질문에 답할 수 있는 능력을 확인하는 VQAv2 벤치마크와 서류상 이미지를 이해하는 능력을 보는 DocVQA, 그래프 등을 보고 수학적 추론 능력을 보는 매스 비스타(MathVista) 벤치마크에서도 GPT-4 보다 좋은 성적을 거뒀다.

AI 모델의 동영상 이해를 평가하는 벤치마크들에서도 제미나이 울트라는 두각을 보였다. 

영상 속 상황을 텍스트로 옮기는 능력을 평가하는 VATEX 벤치마크와 영상과 관련된 질문에 답해 전반적인 영상 이해도를 평가하는 인식 테스트 MCQA 벤치마크 모두 GPT-4를 뛰어넘었다. 

이밖에 중국어 텍스트로 영상 속 상황을 옮기는 능력을 평가하는 VATEX ZH, 영어로 복잡한 요리 과정이 담긴 영상을 텍스트로 옮기는 YouCook2 등 여러 벤치마크에서도 높은 성적을 거뒀다.

제미나이 프로의 음성 인식 이해도도 우수했다. 21개 언어의 음성을 인식해 텍스트로 변환하는 능력을 평가하는 CoVoST 2 벤치마크에서 제미나이 프로는 40.1을 기록, 오픈AI의 음성 인식 AI 모델 '위스퍼' 버전 2(v2) 보다 10 이상 높았다.

62개 언어로 음성 인식 여부를 확인하는 FLEURS 벤치마크에서도 제미나이 프로는 7.6%를 기록, 위스퍼 v3 보다 월등했다. FLEURS는 AI 모델이 음성 인식 정확도를 측정하는 테스트로 점수가 낮을 수록 인식 오류가 적다는 의미다. 

이밖에 제미나이는 파이선(Python), 자바(JAVA), C++, Go 등 세계에서 널리 사용되는 프로그래밍 언어로 코드를 이해하고 생성할 수 있다. 

코딩 작업 성능을 평가하는 업계 표준인 휴먼이발(HumanEval) 벤치마크에서 제미나이 울트라는 74.4%를 기록해 GPT-4(67.0%)를 능가했다. 파이썬 코드 생성 능력을 평가하는 내추럴2코드(Natural2Code) 벤치마크에서도 GPT-4 보다 1%포인트(p) 높은 74.9%를 기록했다. 

[사진= 구글 홈페이지]

wonjc6@newspim.com

 

[뉴스핌 베스트 기사]

사진
'서부지법 난동' 첫 선고 2명 모두 실형 [서울=뉴스핌] 조승진 기자 = 윤석열 전 대통령의 구속영장 발부 전후인 지난 1월 18∼19일, 서부지법에서 발생한 난동 사건으로 구속기소된 95명 중 2명이 1심에서 실형을 선고받았다. 서울서부지법 형사6단독(재판장 김진성)은 14일 오전 특수건조물침입 등의 혐의로 기소된 김 모 씨와 소모 씨에 대한 선고 공판에서 김 모 씨에게 징역 1년 6개월, 소모 씨에게 징역 1년을 선고했다. 이날 선고는 서부지법 난동 사태 발생 4개월여 만에 나온 첫 선고다.  앞서 검찰은 김씨에게 징역 3년, 소씨에게 징역 2년을 구형했다. 지난 1월19일 오전 서울 마포구 서울서부지방법원 청사 유리창과 벽면이 파손되어 있다. 이날 윤석열 대통령 구속영장이 발부되자 윤 대통령 지지자들이 서울서부지법에 난입해 유리창을 깨고 집기를 훼손하는 등 난동을 부려 경찰이 강제진압에 나섰다. [사진=뉴스핌 DB] 선고는 김 씨부터 진행됐다. 재판부는 "이 사건은 특수건조물 침입, 공용 물건 손상, 특수 공무집행 방해"라며 "피고인이 증거에 관해서 자백하고 있고 보관 증거가 있어서 유죄로 인정된다"고 했다. 이어 "이 사건은 다중위력을 보인 범행이고, 범행 대상은 법원"이라며 "피고인을 포함해서 많은 사람들이 하나의 사건에 연관되었고, 당시 발생한 전체 범행의 결과는 참혹하다"고 설명했다. 그러면서 "대한민국 사법부의 영장 발부 여부를 정치적 음모로 해석 규정하고, 그에 대한 즉각적인 응징, 보복을 이뤄야 한다는 집념과 집착이 이뤄낸 범행"이라고 했다. 재판부는 "다만 이 사건은 공동 범행이 아니라 단독 범행이기 때문에 피고인의 행위에 대해서만 평가한다"면서도 "다중의 위력을 보였다는 부분은 범죄사실에 포함되므로 고려한다"고 말했다. 이어 "피고인은 벽돌 등을 던져, 법원 건물 외벽 타일을 깨뜨렸고, 법원 경내로 들어가 침입했다"며 "법원 내부 진입을 막고 있던 경찰관들을 몸으로 밀어 폭행했다"고 했다. 다만 "피고인이 진지한 반성 태도를 보이고, 우발적으로 범행에 이르게 된 점, 초범인 점, 그밖에 양형 제반 사항을 고려해 징역 1년 6개월에 처한다"고 밝혔다. 이어진 소 씨의 선고에서 재판부는 "피고인이 자백하고 있고 보관 증거 있어 유죄"라고 했다. 그러면서 "피고인은 법원 경내로 들어간 다음 당직실 유리창을 통해 건물 1층 로비까지 들어가 침입했다"며 "화분 물받이로 창고 플라스틱 문을 긁히게 하고, 부서진 타일 조각을 던져 법원 건물 외벽 타일을 손괴했다"고 말했다. 다만 "피고인이 진지한 반성으로 보이고, 우발적 범행에 이르게 된 점, 초범인 점, 그밖에 양형 제반 사항을 고려해 징역 1년에 처한다"고 밝혔다. 이번 선고에 앞서 재판부는 "어제 딸에게 산책하며 '아빠가 어려운 사건을 선고한다'고 했더니 '이재명 사건이냐, 윤석열 사건이냐?'고 묻더라"며 "더 어려운 사건이 있겠구나 싶었지만, 결단과 선고 순간에는 어렵고 쉬운 사건이 없다고 생각한다"고 말했다. 이어 "이 판결문을 머릿속으로 썼다가 지웠다 수없이 반복했다. 오늘 선고를 할지 말지도 많이 고민했다"고 했다. 그러면서 "오늘 선고가 정답이라고 생각지 않는다. 다만 결정과 결단의 문제라고 생각한다"며 "이 선고가 피고인의 남은 인생을 좌우하지 않는다고 생각하고, 남은 생은 피고인 본인답게 살아달라"고 당부했다. 또 "이 사건과 같은 날 있던 전체 사건을 포함해 법원, 경찰 모두 피해자라고 생각한다"며 "그날 직접 피해를 본 법원, 경찰 구성원분들과 지금도 피해를 수습할 관계자분들 노고에 감사하다. 기자들을 포함해 지금도 피해를 수습하는 과정인 거 같다"고 덧붙였다. 이어 "마지막으로 대한민국 어려운 시기에 시민들께서 사법부뿐 아니라 경찰, 검찰, 법원 전체에 지속적으로 관심을 가져주시길 바란다"고 강조했다. chogiza@newspim.com 2025-05-14 11:05
사진
최정, 500홈런…한화 12연승 끝 [서울=뉴스핌] 장환수 스포츠전문기자= SSG가 7연승 중이던 NC에 짜릿한 역전승을 거두며 간판타자 최정의 KBO리그 첫 통산 500홈런을 자축했다. SSG는 13일 NC와 인천 홈경기에서 6-3으로 승리했다. 11일 KIA와 더블헤더부터 3연승을 달린 SSG는 NC를 제치고 4위 삼성과 승차 없는 5위에 올라섰다. [서울=뉴스핌] 장환수 스포츠전문기자= SSG 최정이 13일 NC와 인천 홈경기에서 6회말 500호 홈런을 날린 뒤 포즈를 취했다. [사진=SSG] 2025.05.13 zangpabo@newspim.com 최정은 0-2로 뒤진 6회말 2사 1루에서 NC 선발 라일리 톰슨의 6구째 시속 135㎞ 슬라이더를 잡아당겨 왼쪽 펜스를 넘기는 시즌 5호 110m 동점 투런포를 쐈다. 500홈런이기에 앞서 삼진 10개를 잡으며 무실점으로 호투하던 톰슨에게 일격을 가한 귀중한 한 방이었다. SSG는 곧 이은 7회초 서재철에게 적시타를 허용해 2-3으로 뒤졌으나 8회말 대거 4점을 뽑으며 역전에 성공했다. 선두 박성한의 볼넷과 최정의 내야 안타로 만든 무사 1, 2루에서 한유섬의 2루타로 3-3 동점을 만들었다. 이어 라이언 맥브룸이 고의볼넷을 얻어 만든 무사 만루에서 최준우의 역전 2타점, 1사 후 정준재의 쐐기 1타점 적시타로 점수 차를 벌렸다. 류현진. [사진=한화] 한화는 두산과 대전 홈경기에서 연장 11회 접전 끝에 3-4로 졌다. 12연승이 중단된 한화는 이날 4연승한 LG에 공동 선두를 허용했다. 두산은 3-3으로 맞선 연장 11회초 강승호의 볼넷 후 대주자로 나간 전다민을 1루에 두고, '1할 타자' 임종성이 좌익선상에 떨어지는 2루타를 날려 귀중한 결승점을 뽑았다. 반면 한화 선발 류현진은 6이닝을 6탈삼진 6안타 1실점으로 막았지만 팀에 승리를 안기지 못했다. 한화는 1-1로 맞선 6회말 무사 만루에서 노시환이 투수 앞 병살타로 물러난 게 뼈아팠다. 연장 11회말에는 노시환의 안타 후 대주자로 나간 이상혁이 채은성의 삼진 때 2루 도루에 실패했다. 이날 두 팀은 한화가 8명, 두산이 6명의 필승조 투수를 모두 투입하는 총력전을 펼쳤다. [서울=뉴스핌] 장환수 스포츠전문기자= 삼성 르윈 디아즈가 13일 kt와 대구 홈경기에서 5회시즌 16호 투런홈런을 날린 뒤 다이아몬드를 돌고 있다. [사진=삼성] 2025.05.13 zangpabo@newspim.com 수석·투수·타격 코치를 교체한 삼성은 kt와 포항 홈경기에서 접전 끝에 5-3으로 승리, 최근 8연패에서 탈출했다. 삼성은 2회말 1사 만루에서 구자욱이 2타점 중전안타로 2-0을 만들었고, 5회말에는 홈런 선두 르윈 디아즈가 시즌 16호 우월 투런홈런을 날려 4-0으로 달아났다. 삼성 선발 이승현은 5이닝을 5안타 무실점으로 막아 시즌 5연패 뒤 첫 승을 신고했다. 반면 kt는 6연패에 빠졌다. 오스틴 딘. [사진 = LG] 잠실에선 LG가 키움을 9-6으로 따돌리고 4연승을 달렸다. 초반 6점 차 리드를 지키지 못하고 6-6으로 동점을 내준 LG는 7회말 오스틴 딘의 솔로 홈런으로 다시 리드를 잡았다. 오스틴은 1회에도 선제 솔로홈런을 날려 한 경기 2홈런을 기록했다. LG는 8회말에는 홍창기와 문성주의 연속 안타로 2점을 보태 승부를 갈랐다. 그러나 LG는 이날 시즌 첫 홈런을 신고하기도 한 붙박이 톱타자 홍창기가 9회초 수비 중 다리를 크게 다쳐 웃을 수 없는 하루가 됐다. 김도영. [사진 = KIA] 광주에선 KIA가 김도영의 결승 2루타를 앞세워 롯데를 4-1로 꺾었다. KIA는 5회말 한승택과 박찬호의 안타로 만든 2사 1,2루에서 김도영이 좌중간 2루타를 터뜨렸고, 최형우가 중전 적시타를 날려 3-0을 만들었다. 8회말에는 김도영의 좌전안타와 볼넷 2개로 만든 무사 만루에서 변우혁의 유격수 병살타 때 1점을 보태 승부를 갈랐다. KIA 선발 김도현은 5.1이닝을 4안타 1실점(비자책)으로 막아 2승(2패)를 올렸다. zangpabo@newspim.com 2025-05-13 22:59
안다쇼핑
Top으로 이동