[서울=뉴스핌] 양태훈 기자 = 내년 1월 '인공지능(AI) 기본법' 시행을 앞두고 고성능 AI '능력 위험(capability risk)' 규제를 둘러싼 논쟁이 뜨겁다. 현행 법제가 연산량 기준에만 의존하고 국내 서비스 사업자만 압박해 글로벌 경쟁력을 약화시킬 수 있다는 우려가 제기되는 가운데, 전문가들은 능력 위험의 명확한 정의와 투명성 중심 규제, 자율규제 인센티브 강화가 필요하다고 입을 모았다.

24일 이상용 건국대학교 법학전문대학원 교수는 서울 양재 엘타워에서 열린 '플랫폼 자율규제 학술세미나'에서 "고성능 AI 규제의 핵심은 '능력 위험'을 명확히 정의하는 것"이라며 "현행 법제는 누적 연산량 기준만 설정했을 뿐 능력 위험의 개념 자체가 정의돼 있지 않다"고 지적했다.

이 교수는 AI 위험을 '맥락 위험'과 '능력 위험'으로 구분했다. 먼저 '맥락 위험'은 AI를 특정 분야에서 사용할 때 발생하는 위험이다. 시민 감시, 채용이나 대출 심사에서의 공정성 침해가 여기에 속한다.​

반면 '능력 위험'은 AI가 어디에 쓰이는지와 무관하게 AI 자체의 잠재 능력에서 비롯되는 위험이다. 모델 가중치를 탈취해 독극물을 제조하거나, 의료용 AI를 생물학무기로 악용하는 경우가 대표적이다.

24일 서울 양재 엘타워에서 열린 '플랫폼 자율규제 학술세미나' 현장. 이상용 건국대학교 법학전문대학원 교수가 고성능 인공지능(AI)의 능력위험에 대해 설명하고 있는 모습. [사진=양태훈 기자]

이 교수는 "맥락 위험은 사용 영역이 특정돼 기존 규율과 접점이 많지만, 능력 위험은 의도와 다른 악용이나 자율 행동에서 발생해 불확실성이 크고 대규모·불가역적 위해를 전제해야 한다"며 "따라서 개별 분야 수직 규제가 아닌 수평적 규율 구조가 필요하다"고 강조했다.

또 "현재 공개된 AI 기본법 하위법령(시행령) 제정 방향에 따르면 누적 연산량 10의 26승을 대규모 언어모델(LLM)로 규정하고 있는데, 기술 발전 속도를 고려하면 연산량만으로 위험을 판단하는 것은 한계가 크다"며 "어떤 위험 경로를 염두에 둔 것인지 설명이 빠져 있다"고 지적했다.

이 교수는 미국의 '캘리포니아 프론티어 AI 투명성 법(TFAIA, SB53)' 사례를 소개하면서 "지난해 프런티어 AI를 세세하게 규제하려던 캘리포니아 SB 1047이 거부권으로 무산된 반면, 올해 통과된 SB 53은 기술 자체가 아닌 투명성에 초점을 맞췄는데, 기업 내부 정책·조직·위험 관리 체계를 공개하도록 해 자율규제를 유도하는 방식"이라며 "이는 한국도 기술을 직접 규제하기보다 투명성과 자율규제 중심으로 가야 한다는 교훈을 준다"고 말했다.

◆ GPU부터 LLM까지 글로벌 의존 심화…"韓 서비스만 규제하면 역효과"

AI 능력 위험 규제와 함께 AI 플랫폼 구조 변화에 따른 국내 기업의 글로벌 종속 심화 문제도 제기됐다.

김성옥 정보통신정책연구원(KISDI) 디지털플랫폼경제연구실 연구위원은 "AI 개발사들이 API·스토어·슈퍼앱 기반으로 플랫폼화되면서 GPU·클라우드·모델·서비스가 하나의 풀스택처럼 움직이는 구조가 만들어지고 있다"며 "플랫폼 지배력 강화 양상이 기존과 완전히 달라졌다"고 분석했다.

또, 엔비디아의 GPU부터 쿠다 생태계, 클라우드, 범용 LLM, API, 애플리케이션 등으로 이어지는 수직 의존 관계를 제시하면서 "이전에는 (플랫폼 생태계에) 레이어별 분리가 존재했지만 지금은 중층적 의존 관계로 얽혀 레이어 구분 자체가 의미를 잃고 있다"고 강조했다.

24일 서울 양재 엘타워에서 열린 '플랫폼 자율규제 학술세미나' 현장. 김성옥 정보통신정책연구원(KISDI) 디지털플랫폼경제연구실 연구위원이 AI와 플랫폼 자율규제에 대해 설명하고 있는 모습. [사진=양태훈 기자]

이어 "국내 기업들은 주로 애플리케이션·버티컬 서비스 레이어에 있고, 규제도 이 레이어에 집중돼 왔다"며 "글로벌 풀스택 의존이 심화된 상황에서 서비스 단 규제를 강화하면 국내 기업 경쟁력만 떨어지고 시장은 글로벌 LLM 기업에게 넘어갈 위험이 있다"고 경고했다.

김 연구위원은 국내 서비스 기업들이 지나친 규제로 인해 ▲범용 모델·클라우드 의존 심화 ▲특화데이터 유출 ▲AI 의사결정 책임 불명확성 ▲비즈니스모델 탈취 가능성이 높다고 분석했다.

김 위원은 "특히 LLM 기반 서비스의 상류단 오류 발생 시 모델 책임과 서비스 책임을 구분하기 어려운 구조"라며 "실제 전문가 조사 결과 AI 생성 콘텐츠 라벨링, AI 의사결정·사고 책임 기준 마련, 플랫폼 책임 소재 배분이 시급한 규제 이슈로 나타났다. 자율규제를 비용이 아니라 규제 역량과 혁신을 동시에 확보하는 투자로 보고, 참여 기업에 인센티브·책임 경감·인허가 간소화를 제공해야 한다"고 제언했다.

◆ "AI 규제 말고 악용 경로 차단해야…자율규제 인센티브 강화도 필요해" 

종합토론에서 참석자들은 자율규제 우수 사례를 공유하는 동시에, 과도한 서비스 단 규제가 혁신을 저해할 수 있다며 '경로 규제'와 '인센티브 중심 자율규제'로의 전환을 주문했다.

김항기 놀유니버스 같이성장실 실장은 "놀유니버스는 놀(여행·레저) 버티컬에서 글로벌 경쟁력을 갖추기 위해 AI를 적극 도입하고 있다"며 "이제 AI는 글로벌 서비스를 지향하지 않으면 도태될 수밖에 없는 도구"라고 강조했다.

이어 "현재 상황은 칩 제조사, 클라우드 제공사, LLM 개발사, 버티컬 서비스 사업자까지 밸류체인 곳곳에서 기업들이 서로 확장·중첩되고 있어 어느 회사가 어디서 이길지 모르는 구조"라며 "이런 상황에서 개발사에게 과도한 안전성·신뢰성 의무를 지운다거나 유통 단계에서 워터마크 의무 등을 강하게 법제화하면 이른바 갈라파고스 규제가 될 수 있다"고 우려했다.

또 "버티컬 서비스 기업들이 글로벌 시장을 노리고 있는데, 규제가 도구 자체를 정면으로 막는 방향으로 가면 혁신 의지가 꺾일 수밖에 없다"며 "개발사와 이용사업자 간 책임 전가 구조가 강화되는 것도 부담이다. AI의 진짜 가치는 기업 생산성을 높여주는 도구라는 점인데, 중개 플랫폼 규제 관점에만 갇혀버리면 중소·중견 버티컬 AI 기업들이 성장하기 어려워진다"고 덧붙였다.

24일 서울 양재 엘타워에서 열린 '플랫폼 자율규제 학술세미나' 현장. [사진=양태훈 기자]

특히, 고성능 AI에 대한 규제 강화에 대해서는 "능력 자체를 규제하기보다 그 능력이 잘못 쓰이는 경로를 정교하게 파악해 규제해야 한다는 경로 규제 관점이 필요하다고 본다"며 "AI 도구 그 자체를 막는 네거티브 규제가 아니라, 위험한 사용 경로를 찾아 차단하는 방식이 자율규제·법제화의 기본 방향이 돼야 한다"고 강조했다.

한승혜 한국인터넷기업협회 디지털경제연구원 연구위원도 "규제는 단순히 정부 지침을 따르게 하는 수단이 아니라 사회적 위험과 문제를 관리·조절하는 장치"라며 "플랫폼과 AI는 여러 층위로 구성돼 있지만, 우리(한국)는 그동안 최전방 서비스 단에만 규제를 집중해왔다. 그래서 구조적 문제 해결에는 실패하고, 이를 보완하기 위해 자율규제 같은 유연 규제를 논의하게 된 것"이라고 지적했다.

이어 "자율규제 역시 내재적 동기 없이, 법적 규제를 피하기 위해서나 당국 요구 때문에 형식적으로 참여하면 결국 기존 규제와 같은 실패를 반복할 것"이라며 "따라서 자율규제가 작동하려면 인센티브 구조 설계가 핵심이라고 본다. 정부가 직접 혜택을 주는 방식도 필요하지만, 시장 안에서 자율규제 참여가 경쟁력·신뢰도·비용 측면에서 이득이 되도록 만들고, 예를 들어 안전 운전 시 보험료를 낮추는 것처럼 위험 관리와 보상이 연결된 구조를 설계해야 한다"고 제안했다.

또 "정부가 (플랫폼에 대해) 자율규제를 도입했으면서도 여전히 기존처럼 명령·감독자 역할에 머물러 있는데, 유연 규제를 택했다면 자율규제가 잘 작동하도록 촉진하는 조력자, 혁신을 돕는 역할을 고민해야 한다"며 "국내 서비스 단 기업만을 대상으로 규제하면서 실제 산업 구조는 글로벌 기업에 기대고 있는 모순을 어떻게 풀 것인지, 글로벌 기업까지 아우르는 규제를 실효성 있게 설계하기 위한 고민도 정부의 역할"이라고 덧붙였다.

실제로 네이버의 경우, 자체적으로 AI에 대한 각종 위험에 대해 체계적인 대응에 힘써왔다. 김용환 네이버 Agenda Relations 리더는 "내부적으로 이용자보호 및 자율규제위원회가 있고, 작년까지 '퓨처 AI 센터', 올해는 'AI 리스크 매니지먼트(RM) 센터'를 만들어 자율규제위에 활동을 보고하고 피드백을 받는 이원적 구조로 운영되고 있다"며 네이버의 내부 자율규제·AI 거버넌스 체계를 설명했다.

김 리더는 "네이버는 AI 서비스 맥락에서 위험을 보는 조직과 능력 위험 관점에서 보는 엔지니어링 조직으로 나눠 대응하고 있다"며 "예컨대 서울대와 함께 AI 윤리 준칙을 제정했고, AI가 포함된 서비스가 출시될 때마다 윤리·리스크 체크를 하는 내부 프로세스를 운영 중으로, 네이버 혼자만의 자율규제가 아니라 글로벌 논의와 보조를 맞추고 있다"고 강조했다.

dconnect@newspim.com