AI 핵심 요약
beta- ETRI는 19일 유휴 메모리 공유 기술을 미국 USC HPC에 적용했다
- EMP는 서버 간 메모리를 공유해 대규모 연산을 지원하는 기술이다
- ETRI는 유전체·단백질 분석과 기상 예측 분야로 실증을 확대할 계획이다
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
448GB 서버서 1.8TB 분석작업 성공
유전체·단백질·기상예측 등 추가 검증 예정
[세종=뉴스핌] 이경태 기자 = 한국전자통신연구원(ETRI)은 데이터센터 내 여러 서버의 유휴 메모리를 모아 필요한 서버에 공급하는 기술을 개발해 미국 서던캘리포니아대학교(USC) 첨단연구컴퓨팅센터(CARC)의 500노드 규모 고성능컴퓨팅(HPC) 클러스터에 적용했다고 19일 밝혔다. 이 기술은 지난 9월부터 시범서비스로 운영되고 있다.
ETRI가 자체 개발한 이 기술은 데이터센터 메모리 하이퍼바이저 'EMP(Elastic Memory Platform)'다. 서버마다 고정돼 있던 메모리를 데이터센터 전체가 공유하는 자원으로 활용하는 것이 핵심이다. 메모리가 부족한 서버가 다른 서버의 남는 메모리를 끌어다 씀으로써 기존 서버의 물리적 용량을 넘어서는 대규모 연산도 수행할 수 있다.

생성형 AI 서비스 확산으로 학습과 추론에 필요한 서버 메모리 수요가 늘면서 공급이 따라가지 못해 가격이 오르고, 데이터센터를 운영하는 기업과 연구기관의 메모리 확보·증설 부담도 커지고 있다. 유전체 분석과 단백질 분석, 기상 예측 등 대규모 과학계산에도 수백 기가바이트(GB)에서 수 테라바이트(TB)의 메모리가 필요하지만, 개별 서버 메모리가 부족하면 작업 실행이 어렵고 대용량 메모리 시스템을 별도로 구축하려면 비용이 크다는 점이 이번 기술 개발의 배경이 됐다.
EMP는 여러 서버에 분산된 메모리를 초고속 네트워크로 연결해 필요한 서버에 확장 메모리로 제공하는 시스템 소프트웨어다. 실제 성능 검증에서는 약 1.8TB 메모리가 필요한 유전체 분석 작업을 448GB의 로컬 메모리를 갖춘 서버에서 실행하는 데 성공했다. 서버 자체 메모리는 필요 용량의 약 25%에 불과했으나 인피니밴드(InfiniBand) 초고속 네트워크로 연결된 다른 서버의 메모리를 활용해 부족분을 채웠다.

기존 응용 프로그램의 소스코드를 수정하지 않고도 적용할 수 있다는 점도 특징이다. ETRI는 HPC 분야의 표준 작업 스케줄러인 슬럼(SLURM)과의 연동을 마쳐 연구자가 기존과 동일한 방식으로 계산 작업을 제출하면서 확장된 메모리를 쓸 수 있도록 했으며, 웹 기반 인터페이스인 오픈온디맨드(Open OnDemand)와의 연동도 추진하고 있다. USC CARC가 요구한 바이오 응용 시험에서는 기존 시스템 대비 단위 메모리당 최대 2.30배 높은 성능을 기록했고, 이번 적용으로 해당 클러스터에서 최대 384TB 규모의 메모리 자원을 EMP로 활용할 수 있는 기반이 마련됐다.
ETRI는 앞으로 USC CARC에서 ▲유전체 어셈블리 ▲메타유전체 데이터 분석 ▲단백질 분석 ▲기상 예측 등 대규모 과학계산 응용을 대상으로 추가 성능 검증을 진행할 계획이다. 추가 실증에는 USC의 계산생물학, 지구환경과학, 의과대학(Keck School of Medicine) 연구진이 참여할 예정이며, ETRI 미주연구협력센터(한미반도체R&D협력센터, 이지현 센터장)가 USC CARC와의 협력 체계 강화와 현지 실증을 지원했다.
고광원 ETRI AIDC연구본부장은 "AI 확산으로 메모리 수요가 급증하면서 데이터센터의 메모리 확보 및 증설 부담이 커지고 있다"며 "EMP는 기존 서버의 유휴 메모리를 공유해 개별 서버의 메모리 용량 한계를 극복하고 대규모 연산을 수행할 수 있도록 하는 기술"이라고 말했다.
이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 'SW컴퓨팅산업원천기술개발사업'의 '패브릭 메모리 기반 연산 스토리지 시스템SW 핵심 기술 개발' 과제로 수행됐다. ETRI는 이번 미국 실증 경험을 바탕으로 국내 HPC 센터와 대학·연구기관으로 기술 활용을 넓히고 사업화를 추진할 계획이다.
biggerthanseoul@newspim.com












