오픈AI가 개발한 GPT-3보다 6500배 많은 한국어 데이터 학습
204B 규모의 세계 최대 한국어 언어모델로 AI 주권 확보
검색어 교정 시작으로 다양한 네이버 서비스에 상용화 계획
[서울=뉴스핌] 구윤모 기자 = 네이버는 25일 국내 기업 최초의 '초대규모 AI'인 '하이퍼클로바(HyperCLOVA)'를 공개했다. 국내 AI 퍼스트무버(first mover)를 넘어 글로벌 AI 기술 리더로 발돋움하겠다는 계획도 밝혔다. 기존 한국어 AI의 패러다임을 바꾸는 '하이퍼클로바'를 통해 사용자, 중소상공인(SME), 크리에이터에게 새롭고 차별화된 경험을 선보이며 '모두를 위한 AI' 시대를 이끌어가겠다는 계획이다.
네이버는 이날 온라인으로 열린 'NAVER AI NOW' 컨퍼런스에서 지난해 10월 슈퍼컴퓨터 도입 이후 네이버 AI 기술의 성과와 앞으로의 방향성을 공개했다.
 |
| [서울=뉴스핌] 구윤모 기자 = 네이버 하이퍼클로바 [사진=네이버] 2021.05.25 iamkym@newspim.com |
◆ 국내 최초 초대규모 AI, 세계 최대 한국어 언어모델 '하이퍼클로바'
하이퍼클로바는 네이버가 국내 기업 최초로 자체 개발한 초대규모 AI다. 정석근 네이버 CLOVA CIC(Company-In-Company) 대표는 키노트에서 "글로벌 기술 대기업들은 대형 AI 모델이 가져올 파괴적 혁신에 대한 기대로 투자를 가속화하고 있다"며 "한국의 AI 기술이 글로벌 플랫폼에 종속되지 않기 위해서는 이미 공개된 기술을 활용하고 따라잡는 수준에 그칠 수 없다고 판단했다"고 개발 배경을 밝혔다.
하이퍼클로바는 '오픈AI'의 GPT-3(175B)를 뛰어넘는 204B(2040억개) 파라미터(parameter, 매개변수) 규모로 개발됐다. AI 모델의 크기를 나타내는 파라미터의 수가 높아질수록 AI는 더욱 많은 문제를 해결할 수 있게 된다.
하이퍼클로바는 GPT-3보다 한국어 데이터를 6500배 이상 학습한 현재 전세계에서 가장 큰 한국어 초거대 언어모델이기도 하다. 영어가 학습 데이터의 대부분을 차지하는 GPT-3와 달리, 하이퍼클로바 학습 데이터는 한국어 비중이 97%에 달한다. 영어 중심의 글로벌 AI 모델과 달리 한국어에 최적화한 언어모델을 개발함으로써 AI 주권을 확보한다는 의미도 있다.
◆ 네이버 "글로벌 수준의 인프라, 데이터, AI 전문성으로 기술 주도권 잡을 것"
네이버는 지난 10월 국내 기업 최초로 700 페타플롭(PF) 성능의 슈퍼컴퓨터를 도입하며 대용량 데이터 처리를 위한 인프라를 갖췄다.
국내 최대 인터넷 플랫폼을 운영하며 쌓아온 대규모 데이터 처리 능력도 하이퍼클로바만의 중요한 경쟁력이다. 네이버는 하이퍼클로바 개발을 위해 5600억개 토큰(token)의 한국어 대용량 데이터를 구축했다.
슈퍼컴퓨터 인프라와 한국어 데이터 외에 네이버가 보유한 전세계 최고 수준의 AI 연구 개발 역량 역시 하이퍼클로바 자체 개발의 중요한 요소다. 네이버는 작년 한해 동안 글로벌 Top AI 컨퍼런스에서 국내 기업 중 가장 많은 43개의 정규 논문을 발표하며 기술력을 인정받았다.
또한 서울대학교와 '서울대-네이버 초대규모(Hyperscale) AI 연구센터'를 설립하고, 카이스트 AI 대학원과는 '카이스트-네이버 초창의적(Hypercreative) AI 연구센터'를 설립하는 등 긴밀하고 강력한 산학협력을 통해 AI 공동 연구에 더욱 박차를 가하고 있다.
네이버는 앞으로 한국어 외 다른 언어로 언어 모델을 확장하고, 언어뿐만 아니라 영상이나 이미지 등도 이해하는 '멀티모달(Multimodal) AI'로 하이퍼클로바를 계속해서 발전시켜나갈 계획이다.
◆ 네이버 서비스에 하이퍼클로바 상용화...사용자 경험 차별화
하이퍼클로바는 AI 개발과 적용의 패러다임을 완전히 바꿔 일상 속에서 AI가 더욱 많이, 널리 사용되도록 한다. 기존에는 해결하고자 하는 문제별로 데이터를 확보하고 정제해 모델을 개발했다면 하이퍼클로바는 하나의 'Big Model'에 방대한 데이터를 학습시켜 다양한 문제에 적용할 수 있다. 이를 통해 AI를 더욱 효율적으로 개발할 수 있을 뿐만 아니라 AI의 확장성이 대폭 높아진다.
네이버는 하이퍼클로바의 기술을 네이버 서비스에 적용해 사용자들에게 차별화된 경험을 제공할 예정이다. 첫번째 사례로 지난 6일 검색 서비스에 하이퍼클로바를 적용, 사용자가 검색어를 잘못 입력하는 경우 올바른 단어로 전환해 검색해주거나 적절한 검색어를 추천해주는 기능을 선보인 바 있다.
◆ SME, 크리에이터, 스타트업 등 기술이 필요한 '모두의 능력'으로
네이버는 하이퍼클로바가 SME, 크리에이터, 스타트업 등 기술의 도움이 필요한 '모두의 능력'이 될 수 있도록 지원한다는 계획이다. 간단한 설명과 예시를 제시하는 소수학습(Few-shot learning) 방식으로 AI를 동작시킬 수 있기 때문에 AI 전문가가 아니어도 누구나 손쉽게 AI 서비스를 만들 수 있다.
예를 들어 상품 판매에 도움이 되는 적절한 마케팅 문구를 AI가 자동으로 작성해주는 일, 공부해야 할 내용을 AI가 빠르게 요약하거나 모르는 내용을 질문했을 때 자연스럽게 답변해주는 일 등이 가능해지게 된다. 네이버는 향후 적극적인 사업 및 연구 협력을 통해 다양한 방식의 기술 제공을 계획하고 있다.
정석근 네이버 CLOVA CIC 대표는 "더 짧은 시간과 더 적은 리소스를 사용해서 이전에 우리가 상상만 헀던, 또는 우리가 상상하지 못했던 일들마저 가능해지는 새로운 AI의 시대가 열리고 있다"며 "하이퍼클로바를 통해 SME와 크리에이터를 포함해 AI 기술이 필요한 모두에게 새로운 경험을 제공할 것"이라고 말했다.
iamkym@newspim.com
