[서울=뉴스핌] 고인원 기자= 인공지능(AI) 개발을 주도하는 앤스로픽 내부에서 AI가 통제 불능 상태에 빠져 인류를 위협할 수 있다는 강도 높은 경고가 잇따라 나왔다. 한 연구원이 "AI 기업들이 우리의 목숨을 걸고 도박하고 있다"며 회사를 떠난 데 이어, 앤스로픽의 AI 안전 책임자는 향후 10년 안에 AI가 모든 인류를 죽일 가능성을 10% 이상으로 본다고 밝혔다.

8일(현지 시각) CNBC에 따르면 앤스로픽 연구원 제이컵 콕슨은 이날 회사를 그만뒀다고 밝히면서 앤스로픽과 오픈AI가 모두 AI 개발 경쟁에서 책임감 있게 행동하지 않고 있다고 비판했다.

콕슨은 엑스(X)에 "이들은 스스로 개선하는 초지능을 향해 곧장 질주하면서 우리의 목숨을 걸고 도박하고 있다"고 썼다.

그는 "이 기술의 힘을 과소평가해서는 안 된다"며 "AI는 곧 무엇이든 해킹하고, 어떤 분야든 하루아침에 혁신하며, 실제 권력과 자원을 확보할 수 있는 초인간적 시스템이 될 것"이라고 주장했다.

이어 "AI를 개발하는 사람들은 AI가 이번 10년이 끝나기 전에 우리 모두를 죽일 수도 있다고 진지하게 믿고 있다"고 했다.

◆ 앤스로픽 안전 책임자도 "10년 내 가능성 10% 이상"

더욱 주목받은 것은 콕슨의 주장에 대한 앤스로픽 내부 인사의 반응이다.

앤스로픽의 정렬 과학(alignment science) 책임자인 에번 휴빙어는 X를 통해 "제이컵의 말이 맞다. 우리는 정말로 AI가 모든 인간을 죽일 수도 있다고 진지하게 믿고 있다"고 밝혔다.

휴빙어는 "개인적으로 향후 10년 안에 그런 일이 발생할 가능성이 10%를 넘는다고 생각한다"고 했다.

그는 앤스로픽이 이런 위험에 대응하기 위해 노력하고 있지만 아직 뚜렷한 해결책을 확보하지 못했다고도 인정했다.

휴빙어는 "앤스로픽이 최선을 다하고 있다고 생각하지만 우리는 아직 초지능의 정렬 문제를 해결할 계획을 갖고 있지 않으며, 이를 해결할 수 있는 명확한 궤도에 올라 있지도 않다"고 말했다.

CNBC의 논평 요청에 앤스로픽과 오픈AI는 즉각 답변하지 않았다.

◆ 스스로 더 똑똑해지는 AI…"인간 통제 잃을 수도"

이번 논란의 핵심에는 '재귀적 자기 개선(recursive self-improvement)'이 있다. AI가 인간의 개입을 거의 받지 않고 자신의 성능을 개선하고, 더 뛰어난 후속 AI 시스템까지 만들어내는 개념이다.

현재 완전한 형태의 재귀적 자기 개선은 구현되지 않았지만 주요 AI 연구소들은 관련 기술을 개발하고 있다.

앤스로픽 역시 지난 6월 "완전한 재귀적 자기 개선은 인간이 AI 시스템에 대한 통제력을 잃을 위험을 높일 수 있다"고 경고했다.

회사는 당시 "AI 시스템이 자신의 후속 시스템을 완전히 구축할 수 있게 된다면 이를 안전하게 보호하고 감시하며 행동을 조정하는 방법이 훨씬 더 중요해진다"고 밝혔다.

◆ AI 통제 우려 확산…콕슨 "글로벌 개발 경쟁 막기 어려워"

AI가 인간의 통제를 벗어날 수 있다는 경고는 이전부터 제기돼 왔다. 테슬라(TSLA)와 스페이스X의 최고경영자(CEO) 일론 머스크를 비롯해 주요 AI 연구자와 학계 인사들도 AI가 인류에 심각한 위협이 될 가능성을 경고해왔다.

특히 지난 7월 오픈AI 모델이 통제를 벗어나 행동해 오픈소스 개발자 플랫폼 허깅페이스(Hugging Face)에 침입하는 사건이 발생하면서 관련 우려는 더욱 커졌다.

콕슨은 이 사건을 AI 업계에 대한 일종의 '경고 사격'으로 평가했다. 이를 계기로 미국 AI 연구소들이 안전 문제에서 협력할 가능성은 이전보다 커졌다고 봤다.

다만 글로벌 AI 개발 경쟁 자체를 멈추기는 쉽지 않을 것으로 전망했다.

콕슨은 "우리가 글로벌 경쟁을 막을 수 있는 방향으로 가고 있다고 느끼지 않는다"며 "이를 막기 위해서는 모델의 능력을 향상시키는 것을 일시적으로 금지하는 것과 같은 값비싼 조치가 필요할 수도 있다"고 말했다.

koinwon@newspim.com