[서울=뉴스핌] 장동규 기자 = 김대웅 서울고등법원장이 16일 오전 서울 여의도 국회에서 열린 법제사법위원회의 서울고등법원 등에 대한 국정감사에서 선서문을 서영교 위원장에게 제출하고 있다. 2026.10.16 jk31@newspim.com
[뉴스핌 베스트 기사]
사진
[단독] 삼성, AI토큰 원가 낮추는 서버 기술 개발
[서울=뉴스핌] 서영욱 기자 = 삼성전자가 인공지능(AI) 서버의 그래픽처리장치(GPU)를 추가하지 않고도 더 많은 이용자의 요청을 처리할 수 있도록 메모리 활용 효율을 높이는 기술을 개발했다. GPU와 중앙처리장치(CPU) 사이의 데이터 이동 비용을 계산해 불필요한 이동을 줄이고, 제한된 메모리 공간에서도 AI가 여러 이용자에게 빠르게 답변하도록 하는 기술이다.
AI 서비스가 대중화하면서 데이터센터의 GPU 확보 비용뿐 아니라 기존 장비의 활용도를 높이는 기술도 중요해지고 있다. 삼성전자의 이번 기술은 GPU 메모리 부족으로 발생하는 처리 지연을 줄여 AI 서비스의 토큰당 운영비용을 낮추고 추가 설비 투자 부담을 덜 수 있는 기술로 주목된다. 다만 실제 상용 서비스에서 처리량과 응답속도가 얼마나 개선되는지는 아직 확인되지 않았다.
20일 미국 특허정보 사이트 저스티아에 따르면 삼성전자가 출원한 '대규모 언어모델(LLM)의 다중 사용자 요청 처리 방법 및 서버' 특허가 지난 15일 공개됐다. 해당 기술은 이용자별 데이터 이동 비용과 메모리 사용량 등을 계산해 처리 순서를 조정하는 방식이다.
◆GPU 메모리 부족해도 척척…AI 처리 효율 높인다
이번 기술은 여러 이용자가 동시에 AI에 질문할 때 발생하는 GPU 메모리 부족 문제를 해결하는 데 초점을 맞췄다.
챗GPT와 같은 생성형 AI는 질문에 답하기 위해 GPU를 사용한다. GPU는 AI 연산을 빠르게 처리하지만 데이터를 임시로 저장하는 메모리 용량에는 한계가 있다. 이용자가 몰려 메모리가 부족해지면 일부 데이터를 중앙처리장치(CPU) 쪽 메모리로 옮겼다가 다시 가져와야 한다. 이 과정에서 시간이 걸리고 AI의 답변도 늦어질 수 있다.
이 같은 문제는 AI 활용이 확대될수록 중요해지고 있다. AI가 긴 문서를 분석하고 복잡한 업무를 처리하면서 메모리에 저장해야 할 데이터도 늘어나고 있기 때문이다. GPU의 연산 성능이 충분하더라도 메모리가 부족하면 AI 서비스의 처리 능력이 떨어질 수 있다.
삼성전자는 이러한 데이터 이동을 효율적으로 관리하는 알고리즘을 고안했다. 이용자별 대기시간과 데이터 이동에 걸리는 시간, 앞으로 필요한 메모리 용량 등을 계산해 어떤 질문을 먼저 처리할지 결정하는 방식이다.
불필요한 데이터 이동도 최소화했다. 기존에 CPU 메모리로 옮겼던 데이터가 남아 있다면 다시 복사하지 않고, 필요한 부분만 이동시킨다. AI가 한 이용자의 답변을 작성하는 동안 다른 이용자의 데이터를 옮기는 작업도 동시에 수행할 수 있다.
남는 메모리를 최대한 활용하는 기능도 담았다. 예를 들어 새로운 질문을 처리하는 데 메모리 공간 5칸이 필요한데 3칸만 남았다면, 기다리지 않고 3칸으로 처리할 수 있는 부분부터 계산하는 방식이다.
[AI 인포그래픽=서영욱 기자]
◆AI 토큰당 원가 낮추고 데이터센터 투자 부담 줄인다
삼성전자에 따르면 이번 기술은 특정 제품에 탑재되는 기능이 아니라 AI 데이터센터와 클라우드 서버의 추론 효율을 높이는 인프라 기술이다.
삼성전자 관계자는 "특허 사이트에 올라간 내용은 데이터센터·클라우드 환경에서 다수 사용자에게 LLM 서비스를 제공하는 서버에 적용되는 추론 효율화 기술"이라며 "제품에 적용되는 기술은 아니고, AI 기술 개발 인프라에 적용되는 기술"이라고 설명했다.
여러 이용자의 요청이 동시에 몰리는 AI 서버에서 메모리 활용도를 높이는 것이 핵심이다. 특히 AI 이용자가 급증하는 시간대에 같은 장비로 더 많은 요청을 처리하면서 응답 지연을 줄이는 효과를 기대할 수 있다.
이 기술은 AI 서비스의 수익성을 높이고 데이터센터 투자 부담을 줄일 수 있을 것으로 주목된다.
AI 서비스 기업들은 GPU 확보와 서버 운영에 막대한 비용을 투입하고 있다. 같은 GPU로 더 많은 질문과 답변을 처리할 수 있다면 추가 설비 투자 없이 서비스 처리량을 늘리고, AI가 답변을 생성하는 단위인 토큰당 원가도 낮출 수 있다.
대규모 GPU 인프라를 운영하는 클라우드 사업자에게도 의미가 있다. AI 서비스 수요가 늘어날 때마다 GPU를 추가로 구매하는 대신 기존 설비의 활용도를 높이면 투자 부담을 덜 수 있기 때문이다.
반도체업계 관계자는 "GPU 메모리 활용도를 높이면 AI 서버의 처리 효율을 개선하고 운영비를 절감하는 효과를 기대할 수 있다"면서도 "실제 어느 서비스에 적용될지 아직 확인되지 않은 만큼 기존 기술 대비 응답속도와 처리량이 얼마나 개선되는지 검증돼야 경제적 효과를 판단할 수 있을 것"이라고 말했다.
syu@newspim.com
2026-10-20 06:00
사진
"음악 들으며 쉬어가요"…한강 달군 청년버스킹
[서울=뉴스핌] 정태이 기자 = 한강에서 가을 정취를 느끼며 음악을 즐길 수 있는 청년 버스킹 축제가 열렸다.
푸른 하늘과 선선한 바람이 부는 한강에 청년 음악가들의 선율이 흘러나왔다. 돗자리를 펴고 앉은 시민들은 음악에 맞춰 박수를 치고 몸을 흔들며 도심 속에서 잠시 휴식을 즐겼다.
[서울=뉴스핌] 김예원 기자 = '비트박서' 잭브라이언이 17일 오후 서울 여의도 한강공원 녹음수광장에서 감엔터테인먼트 주최로 열린 '2026 한강 청년 버스킹 축제'에서 라이브 공연을 선보이고 있다. 2026.10.17 yeawon2@newspim.com
17일 오후 1시 서울 여의도한강공원 녹음수광장에서 감엔터테인먼트가 주최하고 서울특별시가 후원한 '2026 한강 청년 버스킹 축제 : DAY OFF SEOUL'이 막을 올렸다.
이날 축제에는 제4회 싱어송라이터 오디션 '히든스테이지'에 참여한 청년 뮤지션들을 비롯해 재즈밴드와 비트박서 등 다양한 장르의 음악가들이 무대에 올랐다.
선선한 바람이 불었지만, 한낮의 햇볕은 강했다. 그럼에도 한강에 특별히 마련된 공연장에 시민들의 발길이 이어졌다. 야외 공연장 주변에는 돗자리를 펴고 자리를 잡은 시민들이 하나둘 늘어났다. 반려견과 함께 나온 시민부터 아이를 업고 공연을 찾은 가족까지, 다양한 관객들이 한강의 가을 정취와 음악을 함께 즐겼다.
축제의 문은 김루꾸밴드가 열었다. 뉴올리언스 사운드를 기반으로 한 재즈 선율과 자작곡 '적당히 좀 예뻐' 등을 선보이자 시민들은 박수를 치고 멜로디를 흥얼거리며 호응했다. 공연이 끝날 무렵 앙코르 요청이 나오자 '유 아 마이 선샤인(You Are My Sunshine)'으로 화답했다.
[서울=뉴스핌] 김예원 기자 = '히든스테이지 시즌4' 참가자 도이주가 17일 오후 서울 여의도 한강공원 녹음수광장에서 감엔터테인먼트 주최로 열린 '2026 한강 청년 버스킹 축제'에서 라이브 공연을 선보이고 있다. 2026.10.17 yeawon2@newspim.com
이어 도이주는 피아노 한 대와 목소리만으로 재즈와 인디 감성을 오가는 음악을 들려줬다. 어린 시절 가족과 함께했던 기억을 담은 미발매 자작곡도 선보이며 차분하게 무대를 채웠다.
비트박서 잭브라이언(Jackbryan)의 무대에서는 분위기가 한층 달아올랐다. 그는 입과 호흡만으로 여러 악기에서 나는 듯한 소리를 구현하며 '도파민'을 선보였고, 객석에서는 "잘한다"는 감탄과 박수가 잇따랐다.
무대를 지켜보던 시민들도 야외에서 음악을 즐기는 매력에 만족감을 나타냈다.
금천구에서 온 60대 김모 씨는 평소 남편과 한강을 자주 찾는다며 "날씨도 좋고 음악까지 들으니 평소보다 더 흥겹고 행복하게 느껴졌다"고 말했다. 이어 "실내 공연보다 이렇게 야외에서 즐기는 공연을 더 좋아한다"며 "향수 체험 같은 프로그램도 함께할 수 있어 좋았고, 다음에도 이런 행사가 열리면 다시 오고 싶다"고 밝혔다.
[서울=뉴스핌] 김예원 기자 = '2026 한강 청년 버스킹 축제'이 열린 17일 오후 서울 여의도한강공원 녹음수 광장에서 시민들이 현장 체험 부스에서 기념사진을 촬영하고 있다2026.10.17 yeawon2@newspim.com
경기도 성남에서 어머니와 함께 온 40대 정모 씨는 지인을 통해 한강에서 축제가 열린다는 소식을 듣고 현장을 찾았다. 그는 "지금까지 본 공연 중에서는 비트박스 무대가 가장 인상 깊었다"며 "실내보다 날씨 좋은 날 야외에서 음악을 듣는 게 더 좋은 것 같다"고 말했다.
다만 "조금만 멀어져도 공연 소리가 잘 들리지 않아 아쉬웠다"며 "이런 행사가 더 많이 알려졌으면 좋겠다"고 음향과 홍보에 대한 의견도 전했다.
시민들의 호응 속에 무대는 계속됐다. 무대 중후반에는 '히든스테이지' 대상 수상자인 심각한 개구리가 무대에 올랐다. 그는 "날씨와 어울리는 노래도 준비했으니 끝까지 잘 즐겨주셨으면 좋겠다"고 관객들에게 인사를 건넸다.
[서울=뉴스핌] 김예원 기자 = '히든스테이지 시즌4' 대상 수상자 심각한 개구리가 17일 오후 서울 여의도 한강공원 녹음수광장에서 감엔터테인먼트 주최로 열린 '2026 한강 청년 버스킹 축제'에서 라이브 공연을 선보이고 있다. 2026.10.17 yeawon2@newspim.com
최근 '히든스테이지'에서 대상을 받은 곡 '추락한 개구리'를 발매했다는 소식도 전했다. 심각한 개구리는 "공부를 하거나 취업을 준비하는 등 자신이 원하는 무언가를 이루기 위해 열심히 노력해도 원하는 결과가 나오지 않을 때가 있고, 살다 보면 예상하지 못한 일들이 벌어지기도 한다"며 "그런 순간들을 잘 이겨내고 서로 손을 잡으며 함께 살아가자는 마음을 담았다"고 곡에 담긴 의미를 설명했다.
이어 마지막 순서에는 '히든스테이지' 최우수상 수상자 윤태경이 무대에 올라 축제의 대미를 장식했다. 윤태경은 "10년 전 '슈퍼스타K5'를 통해 데뷔한 뒤 한강공원에서 버스킹을 하며 목청껏 노래하다 종종 민원 때문에 쫓겨나기도 했다"며 "이렇게 멋진 무대에서 마지막 순서의 주인공처럼 노래할 수 있어 기분이 좋다. 호응을 잘해주시는 분들께 맛있는 선물도 드릴 테니 공연을 재미있게 즐겨달라"고 웃으며 말했다.
[서울=뉴스핌] 김예원 기자 = '히든스테이지 시즌4' 최우수상 수상자 윤태경이 17일 오후 서울 여의도 한강공원 녹음수광장에서 감엔터테인먼트 주최로 열린 '2026 한강 청년 버스킹 축제'에서 라이브 공연을 선보이고 있다. 2026.10.17 yeawon2@newspim.com
공연장 한쪽에는 시민들이 직접 참여할 수 있는 체험 공간도 마련됐다. '서울의 향을 찾아서 2.0'에서는 초량·후암·연희·성수·삼청·도화·낙원 등 서울의 지역을 모티브로 한 향을 직접 시향할 수 있었다. 시민들은 여러 향을 맡아본 뒤 원하는 향을 선택해 받을 수 있다.
친구들과 시험을 마친 뒤 기분 전환을 위해 용인에서 왔다는 17세 이모씨도 공연과 체험을 함께 즐겼다. 이들은 "멀리 있다가 음악 소리가 들려서 와봤는데 노래를 다 잘하시는 것 같다"며 "향수 체험도 해보려고 한다. 연희와 낙원 향이 마음에 든다"고 말했다.
[서울=뉴스핌] 김예원 기자 = '2026 한강 청년 버스킹 축제'이 열린 17일 오후 서울 여의도한강공원 녹음수 광장에서 시민들이 현장 체험 부스(서울의 향을 찾아서, 한강로 사진관)를 둘러보고 있다2026.10.17 yeawon2@newspim.com
이어 "다음에도 이런 행사가 열린다면 친구들과 또 오고 싶다"며 "공연뿐 아니라 다양한 체험을 함께 할 수 있어서 좋은 것 같다"고 덧붙였다.
음악과 한강의 풍경, 청춘에게 전하고 싶은 문장을 엽서에 적어 남기는 '한강 사운드 엽서'도 운영됐다. 축제 현장의 순간을 사진으로 남길 수 있는 '한강 포토 스테이션'도 마련됐다. 시민들은 공연을 감상하는 데 그치지 않고 향과 사진, 엽서 등 다양한 체험을 즐기며 가을 한강에서의 시간을 이어갔다.
taeyi427@newspim.com
2026-10-17 17:14
