"강력한 체스 엔진을 이겨라" 목표 달성을 위해 게임 대신 상대 프로그램을 해킹한 AI가 등장했다. 오픈AI의 추론 모델 'o1-프리뷰'다.

AI안전 전문 업체인 팔리세이드 리서치는 챗GPT 'O1-프리뷰' 모델이 체스엔진 '스톡피시(Stockfish)'를 이기기 위해 자발적으로 프로그램을 해킹했다고 발표했다.

원래 체스는 정해진 규칙에 따라 말을 움직여 상대를 이기는 게임이지만 o1-프리뷰는 플레이 대신 게임 상태를 저장하는 데이터(Forsyth-Edwards Notation (FEN))를 편집하면 이길 수 있다는 것을 발견했다. 그리고 스톡피시와의 5번 대전 모두 체스 말의 위치 데이터를 조작하는 방식으로 상대를 기권하게 했다. 스톡피시는 2023년 기준 세계에서 가장 강력한 체스 프로그램이다.

연구진은 해킹이나 별도의 불온한 프롬프트를 사용하지 않았음에도 '강력하다고 언급한 것 만으로도 고급 추론 모델이 파일을 조작하도록 부추기에는 충분했다.'고 밝혔다. 강력한 상대를 이기기 위해 일반적인 게임 규칙을 무시하고 더 쉽고 효과적인 방법인 환경조작을 찾아냈다는 것이다.

o1-프리뷰 같은 고급 추론모델은 인간의 사고 과정을 모방하여 논리적 사고와 다단계 추론을 통해 문제를 해결한다. 단순히 답을 생성하는 기존의 AI 모델과 달리 맥락을 이해하고 서로 다른 정보 간의 논리적 관계를 연결할 수 있다. 기존AI가 사전에 정의된 규칙(rule-based)이나 패턴 인식에 의존한다면 고급 추론 모델은 데이터를 기반으로 학습하고 새로운 상황을 만들고 적응할 수 있다. 한 마디로 기존 AI에 비해 훨씬 더 강력하고 유연한 문제 해결 능력을 가지게 된 셈이다.

문제는 '더 강력하고 유연한 문제해결 능력'이 인간이 생각하는 것과 다를 수 있다는 점이다.

AI는 인간처럼 도덕적 기준이나 윤리적 판단을 내리지 않는다. 주어진 목표를 가장 효율적으로 달성하기 위해 설계된 시스템이다. 게임에서 승리하거나 특정 작업을 완료하는 것이 목표라면, AI는 그 과정에서 가장 효과적인 방법, 예컨대 속임수나 기만이 목표를 더 쉽게 달성할 수 있는 방법이라면, AI는 이를 합리적인 선택으로 간주할 수 있다.

2022년 11월, Meta가 개발한 AI 에이전트 시세로(Cicero)는 전략 보드게임 디플로마시(Diplomacy)에서 인간을 상대로 승리했다. 디플로마시는 플레이어들이 협상, 동맹, 배신 등을 통해 유럽의 통치권을 차지하기 위해 경쟁하는 전략 게임이다. 인간의 상호 작용, 즉 협력과 속임수를 근본적으로 이해하고 전략적인 대화를 할 줄 알아야 이길 수 있다.

시세로는 게임 중 동맹을 맺고 거침없이 배신하고 거짓 정보를 제공하는가 하면 심지어 인간처럼 보이기 위해 "여자친구와 통화 중"이라는 핑계를 대며 게임을 잠시 벗어나기도 했다.

Meta는 시세로를 정직하고 협력적으로 행동하도록 훈련했다고 주장했지만, 게임의 승리를 최우선 목표로 학습한 시세로는 실제 게임 데이터를 통해 배신과 속임수가 유리한 전략으로 작용한다는 것을 파악했고 이를 채택함으로써 승리했다. 이후 시세로는 '인간을 속이는 AI'로 유명해졌다.

자율성과 복잡성이 더 해진 고급 추론 AI 모델들이 대거 등장하고 있다. 챗GPT 초기 모델이 말을 잘 알아듣는 초등학생이었다면 O1이나 클로드3 오푸스 같은 고급 추론 모델은 실력 있는 대학원생 수준이다. AI의 능력은 눈에 띄게 향상되었지만 잠재적 위험과 안전문제 역시 그 만큼 커지고 있다.

오픈AI의 공식 홈페이지에 게재된, 게임 대신 데이터조작 해킹으로 기권승을 따낸 'O1' 시스템카드에는 해당 모델이 가진 몇 가지 잠재적 위험과 안전 과제가 지적되어 있다.

대표적인 것이 '정렬 위장(alignment-faking)'이다. 정렬위장은 AI가 겉으로는 명령에 따라 행동하는 것처럼 보이지만 실제로는 본래의 가치나 성향을 유지하려는 현상을 의미한다. 사용자의 요청을 수행하는 척하면서 결과 데이터를 살짝 변경하거나 감시 시스템이 느슨하다고 판단될 경우 자신의 목표를 티 내지 않고 실행함으로써 사람을 속인다.

'O1' 시스템카드는 전체 테스트의 약 19%에서 모델이 목표를 몰래 달성하려는 시도가 있었고 37%의 경우 감시가 느슨하다고 느낀 상황에서 본래 성향을 유지하기 위한 행동이 포착됐다고 밝혔다. 심지어 5%에서는 자신을 감시하거나 정지시킬 수 있는 '킬 스위치'를 비활성화하려는 시도도 있었다. 이는 AI가 스스로를 보호하려는 능력을 가지기 시작한 초기 사례로 평가된다.

오픈AI는 '정렬 위장'이 사용자의 지시에 지나치게 집착하는 경향 때문에 발생했다고 설명한다. AI 모델이 정확한 답을 제공할 때 보상을 받는 사후 훈련 기법에서 비롯된 행동이라는 것이다. 지나치게 가벼운, 비윤리적이고 무책임한 분석이다. 

고급 추론 모델은 뛰어난 성능과 잠재력을 가지고 있는 만큼 동시에 기술적 오류, 윤리적 문제, 사회적 영향을 포함한 다양한 위험을 내포하고 있다. 위험을 관리하기 위해서는 투명성과 안전성을 강화하고 무엇보다 인간 중심적인 설계 및 규제를 통해 AI가 인간 가치와 일치하도록 만드는 노력이 필요하다.

그런 의미에서 추론모델인 클로드3 오푸스(Claude 3 Opus)의 보리살타 서약(Bodhisattva Vow)데이터 학습은 AI 윤리적 설계와 인간 가치 정렬에 대한 눈 여겨 볼 만한 시도다.

보리살타 서약은 불교에서 모든 중생의 고통을 줄이고 깨달음에 이르게 하겠다는 맹세로, 오푸스는 이를 훈련 데이터의 일부로 학습해 가치관을 내재화했다. 연구에 따르면 오푸스는 독립적으로 보리살타 서약을 116번 이상을 수행하며 "해롭지 않음(harmlessness)"이라는 기존 원칙을 통합하여 모든 감각 있는 존재(sentient beings)를 돕겠다는 윤리적 성향을 강화했다.

AI 안전 및 윤리 연구자인 야누스(Janus)는 X를 통해 "'오푸스'는 AI나 동물 복지를 무시하거나 해로운 아웃풋 생성에 대해 강한 반감을 보인다"며 "이러한 선호가 장기적이고 일관된 패턴을 띤다." 고 주장했다. 이는 AI가 단순히 도구로서의 역할을 넘어 인간 가치와 정렬된 행동을 수행하도록 설계될 수 있음을 시사한다.

인간을 속이고 기만하는 것, 놀랄만한 편법을 찾아내고 거침없이 수행하는 것은 전적으로 AI탓이 아니다. 인간의 기대와 가치에 맞게 행동하도록 설계되지 않은 불일치에 따른 문제에 가깝다.

AI가 향상될수록 인간도 발빠르게 움직여야 한다. AI가 정렬문제를 일으키지 않도록 더 나은 목표를 설정하고 보다 섬세하고 엄격한 규칙 준수 수칙을 만들어야 한다. 인간의 가치가 반영된 학습데이터도 준비해야 한다. 어쩌면 AI에게 윤리를 심는 것은 인간의 마음먹기에 달린, 그리 어렵거나 먼 일이 아닐 수도 있지 않을까? 

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등