캐나다 브리티시컬럼비아주가 지난 7일 오픈AI를 제소하기로 했다. 지난 2월 텀블러리지의 중학교에서 일어난 총기 난사 사건 때문이다. 어린이와 교직원 등 8명이 숨지고 27명이 다친 참사의 가해자는 범행 전 챗GPT와 총격을 암시하는 대화를 나눴지만 오픈AI는 "임박한 위험" 기준에 못 미친다며 경찰에 통보하지 않았다. 폭력 위험 신호를 포착했다면 범죄로 이어지기 전에 알렸어야 한다는 게 주 정부의 논리다.

하지만 이 소송이 던지는 질문은 결코 간단하지 않다. AI가 위험을 감지하고도 침묵하면 잠재 범죄를 무시했다고 비난받고, 감지해서 알리면 민간인 감시라고 지적 받는다. AI는 예방과 감시 사이의 좁은 길에 확실한 법적 기준 없이 서 있는 셈이다. 

오픈AI의 절차를 들여다보면 이 딜레마가 더 선명해진다. 오픈AI는 자해 의사 표현과 타인에 대한 위협을 다르게 다룬다. 전자는 위기 상담 핫라인으로 연결할 뿐 경찰에 통보하지 않는다. 사생활 보호가 이유다. 후자는 다르다. 자동 필터가 위험 신호를 탐지하면 사람으로 구성된 전문 검토팀으로 넘어가고, 여기서 실제 해악 가능성이 크다고 판단되면 정신건강·행동 전문가가 참여하는 심층 조사 단계로 격상된다. 이 조사에서 "임박하고 신빙성 있는 위험"이 확인돼야 비로소 경찰에 통보한다.

텀블러리지 사건에서는 이 절차가 두 번째 단계에서 멈췄다. 오픈AI는 문제의 계정을 사건 8개월 전 이미 차단했다고 인정했지만, 심층 조사와 경찰 통보로는 넘어가지 않았다. 유족 측은 소송에서 내부 직원 12명이 통보를 요청했지만 받아들여지지 않았다고 주장한다. 이는 법정에서 다퉈야 할 주장이다. 결국 문제는 절차가 없었다는 게 아니라, 있는 절차의 마지막 단계에서 판단이 갈렸다는 데 있다.

과연 "임박한 위험"의 기준은 무엇일까? 문득 SF영화 '마이너리티 리포트(2002년)' 가 떠오른다. 영화에서 정부는 강력 범죄 발생을 예측해 잠재적 범죄자를 잡는 범죄 사전 예측 시스템을 가동해 살인 사건 발생률 제로(0)를 달성한다. 하지만 아직 범죄를 저지르지도 않은 사람을 체포해 처벌하는 심각한 부작용이 발생한다.

사실 AI 알고리즘은 위험 예측에 대단히 효율적이다.  AI 감시가 확산하는 가장 큰 이유기도 하다. 서울시는 2026년까지 서울 전역 CCTV를 지능형 CCTV로 100% 전환하는 사업을 추진 중이다. 이상 행동을 자동 감지해 경찰·소방에 실시간 전송하고, 지능형 CCTV 기반 '실종자 고속검색시스템'은 기존 12개 구에서 올해 19개 구로 확대됐다. 사람이 화면을 일일이 주시하지 않아도 위험 상황을 놓치지 않는다는 것이 핵심 장점이다. 행정안전부도 2027년까지 전국 지자체 CCTV를 같은 방식으로 전환하는 사업을 진행 중이다. 범죄 예방과 재난 대응이라는 명분 자체는 허구가 아니다.

문제는 같은 관제 플랫폼이 다른 목적에도 열려 있다는 점이다. 지난해 비상계엄 사태 수사 과정에서, 군이 지자체 스마트도시 통합플랫폼으로 전국 CCTV 영상을 조회한 사실이 드러났다. 계엄 당시 한 번으로 끝난 게 아니다. 계엄 해제 이후에도 군이 같은 플랫폼으로 탄핵 촉구 집회와 도심 시위 현황을 파악한 정황이 확인됐다. 시민단체가 특검에 수사를 촉구했지만, 특검은 지난 6월 "개인정보보호법상 범죄 구성요건에 해당하지 않는다"며 사건을 종결했다. 군의 CCTV 접근권은 계엄 이후 1년 넘도록 회수되지 않았다. 범죄와 재난을 막으려고 구축한 관제 플랫폼이, 통제 밖에서는 시민 감시 도구로도 쓰일 수 있다는 걸 확실히 보여준 사례다.

해외에서는 경계가 더 흐려진 상태다. 영국 법무부는 예측 치안을 표명하며 이름·생년월일·성별·민족 데이터를 분석해 살인 가능성이 큰 인물을 미리 추리는 이른바 '살인 예측 프로젝트'를 경찰과 개발 중이다. 전과 없는 사람의 경범죄 이력까지 수집 대상이다.

중국은 한 발 더 나간 모델을 연구 중이다. 뉴욕 타임스에 따르면 AI 업체 지즈네트워크는 정부 관련 연구진과 함께 VPN 접속 이력, 메신저 계정, 기지국 기록을 교차 분석해 '정치적 위험 인물'을 사전 식별하는 기술을 개발하고 있다. 아직 연구 단계고 실제 배치 여부는 불분명하지만, 범죄 예방을 명분으로 시작된 기술이 반체제 인사 색출로 이어지는 경로가 될 것임은 누구나 예측할 수 있다.

예측 치안은 효율적으로 범죄자를 찾아내 사회적 비용을 줄일 수 있지만 개인정보 유출, 기술 오남용으로 인한 기본권 침해를 피하기는 어렵다. AI 기술의 불완전성에서 오는 오판도 만만치 않다.

김명주 서울여대 교수는 "AI는 상관관계를 보여줄 뿐, 실제 범죄로 이어지는 인과관계를 증명하지 못한다"고 짚었다. 편향된 데이터가 특정 계층을 반복해서 고위험군으로 지목하면, 그 결과가 다시 학습 데이터가 되는 피드백 루프가 생긴다. 효율을 위해 설계된 시스템이 특정 집단을 영구적으로 낙인 찍는 구조로 굳어질 수 있다는 뜻이다. 

한국의 AI기본법은 올해 1월 시행됐다. '고 영향 AI' 개념으로 기본권에 영향을 미치는 시스템을 규율하지만, 예측 치안이나 정치적 감시 목적의 AI를 명시적으로 금지하는 조항 자체가 존재하지 않는다. 유럽연합 AI법에서는 실시간 원격 생체인식뿐 아니라, 프로파일링에 기반한 범죄 위험 평가·예측 AI 자체를 금지 항목으로 못박았다. 영국·중국이 개발 중인 방식이 유럽에서는 원천 차단돼 있는 셈이다. 한국은 AI기본법은 산업 위축을 경계하며 균형점을 찾았다는 평가를 받지만, 그만큼 안전장치가 헐거운 셈이다.

효율과 위험이 동시에 존재한다면, 답은 둘 중 하나를 고르는 게 아니라 절차를 만드는 데 있다. 참고할 선례가 있다. 2017년 신고리 5·6호기 원전 갈등은 500명의 시민참여단이 숙의 과정을 거쳐 결론을 냈다. 찬반이 극단으로 갈린 사안이었지만 결과에 대한 사회적 수용성은 높았다. 공론화위원회라는 틀이 정답은 아니다. 하지만 기술 도입의 정당성을 기술 밖 절차로 확보한다는 발상은, 지금의 AI 감시 논의에도 그대로 적용된다.

CCTV를 획기적으로 늘릴지 말지 묻는 게 아니다. 늘어난 CCTV를 누가, 언제, 어떤 목적으로 들여다볼 수 있는지를 미리 정해두는 일이다. 그 규칙을 만드는 자리에 시민이 없다면, 감시 기술은 효율이라는 원래 목적과 상관없이 흘러간다. 계엄 이후에도 CCTV 접근 권한이 그대로 유지된 것처럼 말이다. 합의는 기술이 다 깔린 뒤에 뒤늦게 물을 질문이 아니라, 지금 당장 물어야 할 질문이고 노력이다.

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등