[서울=뉴스핌] 조정한 기자 = 넷마블(대표 권영식)은 최근 미국 LA에서 개최된 컴퓨터 그래픽 분야 세계 최고 권위 행사인 ‘시그라프 2019(SIGGRAPH 2019)’에서, 음성에 맞춰 더욱 자연스러운 얼굴 애니메이션을 자동으로 생성할 수 있는 ‘다중작업 방식 음성 기반 얼굴 애니메이션(MTADFA·Multi-Task Audio-Driven Facial Animation)’ 기술이 담긴 논문을 발표했다고 5일 밝혔다. 

이 행사에서 논문을 발표한 넷마블 AI센터 안수남 팀장은 “넷마블이 업계 최초로 ‘MTADFA’ 기술을 개발다”고 설명했다.  

MTADFA는 넷마블이 자체적으로 개발한 딥 뉴럴 네트워크인 멀타넷(MulTaNet·Multi-Task Deep neural Networks)을 활용한다.

실험 데이터에서 제공하는 14명의 서로 다른 캐릭터의 음성-얼굴 애니메이션을 동시에 학습하며, 이를 활용해 더 많은 캐릭터의 얼굴 애니메이션을 확장 생성할 수 있다는게 가장 큰 특징이다.

안 팀장은 “인공지능이 자동으로 얼굴 애니메이션을 생성하기 위해서는 먼저 음성과 애니메이션이 짝지어진 예시를 보며 학습하는 과정이 필요하다”며 “넷마블의 차세대 기술인 MTADFA는 인공지능이 더욱 다양한 예시를 학습할 수 있도록 해, 기존 대비 더욱더 자연스럽고 안정적인 애니메이션을 생성할 수 있다. 또, 새로운 언어 음성 입력 시에도 입술 움직임을 동기화하는 능력이 우수해 다국어 지원 게임 개발 시에도 활용도가 높을 것"이라고 설명했다.

각 개별 캐릭터를 따로 학습시켜야만 하는 기존 방식은 인공지능에 충분한 데이터를 제공하지 못해 최종 생성된 애니메이션에서 떨림 현상이 발생하거나 새로운 언어에 대한 동기화가 맞지 않는 등의 문제점이 있었다. 넷마블은 이를 해결하고 진화시키는 데 초점을 맞췄다.

넷마블 AI 센터 오인수 실장은 “음성 입력에 맞춰 자연스러운 얼굴 애니메이션을 자동 생성해주는 기술 개발을 통해 이용자에게 더 높은 생동감과 몰입감을 제공하는 모바일 게임을 개발할 수 있으리라 기대하고 있다"며 “많은 시간과 노력이 필요한 애니메이션 등 아트 제작 과정도 자동화할 수 있어 개발 효율성이 더욱 향상될 것으로 전망한다”고 덧붙였다.

넷마블은 향후 자사의 게임 등에 우선적으로 이 기술을 적용해나갈 계획이다.

한편, AI센터는 넷마블의 인공지능 게임 기술 연구 및 개발을 진행하는 전담 조직이다. 인공지능 기반으로 게임 서비스 및 운영을 고도화하는 콜럼버스 프로젝트, 게임 및 인공지능 플레이어 개발 역량을 강화하는 마젤란 프로젝트 등 넷마블의 지능형 게임 기술을 개발을 이끌고 있다.

giveit90@newspim.com