AI 핵심 요약
beta- 래블업이 21일 첫 글로벌 웨비나를 열었다.
- AI 인프라 구축·운영 경험과 기술을 공유했다.
- LLM 최적화와 라우터·허브도 소개했다.
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
LLM·VLM 추론 최적화·분산 라우팅 기술 공유
[서울=뉴스핌] 양태훈 기자 설희 인턴기자= 인공지능(AI) 인프라 소프트웨어 기업 래블업이 해외 고객과 파트너를 대상으로 첫 글로벌 웨비나를 열고 대규모 AI 인프라 운영 기술과 구축 경험을 공유했다.
21일 래블업에 따르면 회사는 글로벌 웨비나 시리즈 'AI Scale Talks'를 진행했다. 이번 웨비나는 래블업이 보유한 AI 인프라 기술과 실제 구축·운영 경험을 글로벌 고객과 파트너에게 소개하기 위해 마련됐다.
첫 회차에서는 래블업이 오픈소스로 공개한 고성능 대규모언어모델(LLM)·비전언어모델(VLM) 추론 엔진 'MLXcel'을 소개했다. 두 번째 회차에서는 키-값 캐싱(KV Caching), 양자화(Quantization), 추측적 디코딩(Speculative Decoding) 등 LLM 추론 최적화 기술과 실제 적용 결과를 다뤘다.
세 번째 회차에서는 서로 다른 네트워크와 보안 정책, 하드웨어 환경을 가진 고객사 인프라에서 AI 플랫폼을 구축하고 운영하기 위한 기술을 공유했다.
네 번째 회차에서는 여러 AI 모델과 서비스 사이 요청을 분배하는 컨티늄 라우터(Continuum Router)와 여러 라우터의 통합 사용률과 정책을 중앙에서 관리하는 컨티늄 허브(Continuum Hub)를 소개했다.
래블업 신정규 대표는 "이번 웨비나는 해외 고객과 파트너를 대상으로 래블업의 AI 인프라 기술과 구축·운영 경험을 직접 소개한 첫 번째 글로벌 웨비나"라며 "앞으로도 글로벌 파트너들과 공동 웨비나를 비롯한 기술 교류를 이어가며 래블업의 기술력과 AI 인프라 운영 노하우를 글로벌 시장에 알려 나갈 것"이라고 말했다.
winter1004@newspim.com
