[서울=뉴스핌] 서영욱 기자 = 카카오가 개발한 인공지능(AI) 평가 지표가 글로벌 학회에서 채택됐다.

카카오는 '3일 오케스트레이션 벤치마크' 논문이 'ICLR(국제표현학습학회) 2026'에 채택됐다고 밝혔다.

ICLR은 AI 분야 최고 학술대회로 꼽힌다. 올해 약 1만9000편이 접수됐고, 상위 28%만 통과했다.

이번 지표는 대형언어모델(LLM)의 오케스트레이션 능력에 초점을 맞췄다. 단순 질의응답을 넘어 작업 계획과 조율 역량을 평가한다. 멀티 스텝, 멀티 도메인 처리 수준을 가늠한다.

기존 벤치마크는 단편 평가에 머물렀다. 복잡한 요청 해석, 도구 호출, 작업 간 의존성 관리 측정에 한계가 있었다. 카카오는 작업 계획과 도구 실행을 분리한 프레임워크를 제시했다.

여행·쇼핑·금융·일정 등 17개 도메인을 담았다. 100여 개 가상 도구를 포함했다. 사용자 요청 변경, 추가 질문 상황도 반영했다.

평가 데이터는 AI 어노테이터가 수작업으로 구축했다. 한국어와 영어를 지원한다. 한국어는 문화 맥락을 반영해 정확도를 높였다.

논문은 오픈소스 플랫폼 깃허브(GitHub)에 공개했다. 연구 성과 공유로 생태계 확장을 노린다.

카카오 관계자는 "오케스트레이션 벤치마크는 에이전틱 AI가 실제 서비스 환경에서 안정적으로 작동하는지를 평가하는 핵심 도구"라며 "스스로 판단하고 이행하는 에이전틱 AI로 진화하는 현 시점에서 의미있는 연구 성과"라고 설명했다.

이어 "향후 에이전트 간 협업 및 오케스트레이션 능력 강화를 위한 연구를 지속할 예정"이라며 "카카오의 에이전틱 AI 방향성에 부합하는 기술 고도화를 추진하겠다"고 말했다.

syu@newspim.com