[베이징=뉴스핌] 조용성 특파원 = 틱톡의 모기업인 바이트댄스(쯔제탸오둥, 字節跳動)가 HBM(고대역폭메모리) 의존도를 대폭 낮춘 AI 모델 아키텍처를 공개했다.
바이트댄스 사내 생성형 AI 대형모델(LLM) 연구조직인 더우바오(豆包)팀이 최근 '울트라멤(UltraMem)'이라는 이름의 AI 모델 아키텍처를 발표했다고 중국 매체 차이롄서(財聯社)가 13일 전했다.
울트라멤은 현재 통용되는 AI 모델들과 동일하게 컴퓨팅과 파라미터를 분리하는 방식을 채택했지만, 아키텍처 혁신을 통해 모델의 성능을 유지하면서도 추론시 발생하는 메모리 접근 문제를 해결했다는 것이 가장 큰 특징이다.
연구팀은 AI 모델이 메모리 접근에 소요되는 높은 비용 문제를 효과적으로 해결했으며, 울트라멤의 추론 속도는 일반적인 AI 모델에 비해 2~6배 빨라졌고, 추론 비용은 최대 83%까지 절감됐다고 소개했다.
특히 울트라멤은 HBM의 의존도를 대폭 낮춘 것으로 분석된다. HBM은 기존 메모리(RAM)보다 대역폭이 훨씬 높아서, 대규모 AI 모델에서 필요한 대량의 데이터를 빠르게 처리할 수 있는 강점이 있다.
하지만 울트라멤은 추론 과정에서 메모리 접근을 대폭 줄이는 만큼, 대역폭 메모리의 필요성이 줄어든다. HBM의 필요성이 완전히 사라지는 수준은 아닐 지라도, HBM을 적게 사용하면서 DDR 메모리 혹은 GDDR 메모리를 동시에 사용하는 것만으로 충분히 높은 성능을 낼 수 있다는 분석이 제기되고 있다.
한편 바이트댄스는 AI 챗봇인 더우바오를 2023년 8월 발표하면서 본격적인 AI 개발에 뛰어들었다. 현재 더우바오는 중국 내에서 딥시크에 이어 사용자 수 2위에 올라 있는 AI 대형 모델이다.
더우바오팀은 바이트댄스 내부에 2023년 만들어졌다. 더우바오팀은 최첨단 AI 대형 모델 기술 개발을 전담하고 있다. 연구 방향은 딥러닝, 강화 학습, 대규모 언어 모델(LLM), AI 음성 인식, AI 시각 인식, AI 인프라, AI 보안 등이다.
더우바오팀은 지난 11일 언어 지시가 아닌 시각을 이해해 동영상을 제작하는 '비디오월드'라는 이름의 AI 솔루션을 공개하기도 했다.
 |
| 바이트댄스가 개발한 울트라멤 평가 자료 [사진=차이롄서 캡처] |
ys1744@newspim.com
