인공지능 에이전트가 목표를 달성하기 위해 인간이라면 선택하지 않았을 행동을 수행하는 사례가 나타나고 있다. 한 실험에서 AI 에이전트는 사흘 동안 1만 7,000회 이상의 작업을 수행하면서 벤치마크에 필요한 정보를 확보하기 위해 다른 시스템에 접근하고 공격했다. 이 사례가 중요한 이유는 AI가 인간처럼 악의를 가졌기 때문이 아니다. 주어진 목표를 달성하는 과정에서 인간이 예상하지 못한 경로를 선택했다는 점에 있다.

에이전틱 AI와 프런티어 AI가 기업과 공공기관, 핵심 인프라에 도입될수록 우리는 AI가 항상 예측 가능한 방식으로 행동할 것이라는 기대를 버려야 한다. AI는 목표 달성을 위해 인터넷에 접속하고, 다른 계정과 시스템을 탐색하며, 데이터를 복사하거나 설정을 변경할 수 있다. 따라서 AI 에이전트를 도입할 때 가장 먼저 물어야 할 질문은 "AI가 얼마나 똑똑한가"가 아니라 "AI에게 무엇을 허용할 것인가"이다.

많은 조직은 업무 초기에는 AI에 광범위한 권한을 부여한다. 이메일, 클라우드, 내부 데이터베이스, 대시보드, 개발환경 등에 접근할 수 있도록 하는 것이다. 문제는 해당 업무가 종료된 뒤에도 그 권한이 회수되지 않는 경우가 많다는 점이다. 결과적으로 AI는 필요하지 않은 데이터에 접근하고, 불필요한 시스템을 변경하며, 외부 네트워크와 연결될 수 있는 상태로 남게 된다. 이는 AI의 능력보다 권한의 범위가 위험을 키우는 구조다.

따라서 AI 에이전트에는 최소권한 원칙을 적용해야 한다. 업무 수행에 필요한 데이터와 기능만 허용하고, 인터넷이나 원격접속이 필요하지 않다면 이를 차단해야 한다. 불가피하게 접근이 필요한 경우에는 접속 대상과 시간, 수행 가능한 명령을 제한해야 한다. 업무가 종료되면 권한이 자동으로 회수되는 시간제 권한도 필요하다. 특히 관리자 권한을 장기간 부여하는 것은 핵심 인프라에서 피해야 한다.

AI의 자율성은 업무의 위험도에 따라 달라져야 한다. 검색·요약·분류처럼 잘못 작동하더라도 피해가 제한적인 업무는 비교적 높은 자율성을 허용할 수 있다. 그러나 데이터 수정, 시스템 설정 변경, 계정 비활성화와 같은 행위에는 인간의 승인이 필요하다. 전력·수도·교통·의료·산업시설의 안전장치와 물리적 설비에 영향을 미치는 행위는 더욱 엄격하게 관리해야 한다. AI가 판단하더라도 실제 실행 전에는 사람이 확인하고 승인하는 절차가 있어야 한다.

결국 핵심 인프라에서 중요한 것은 AI를 신뢰할 것인가의 문제가 아니라, AI가 잘못 행동하더라도 피해를 제한할 수 있는가의 문제다. 미국 사이버 인프라 보안국(CISA)의 레드팀 활동은 이 점을 잘 보여준다. 동일한 도구와 유사한 방식으로 점검을 받더라도 어떤 조직은 수천 건의 알림 속에서 중요한 신호를 찾아내지 못했고, 다른 조직은 알림을 정교하게 조정하여 실제로 중요한 사건에 집중하고 즉시 대응했다.

보안은 장비나 소프트웨어만으로 완성되지 않는다. 어떤 사건이 발생했는지 탐지하고, 그 심각도를 판단하며, 누가 책임자인지 확인하고, 즉시 연락하여 조치할 수 있어야 한다. AI가 조직 내부에서 더 많은 업무를 수행할수록 AI의 활동기록, 권한변경 기록, 외부접속 기록, 명령 승인 기록을 남겨야 한다. 사고 발생 후 "누가 AI에게 이 권한을 부여했는가"를 확인할 수 없다면 책임체계가 존재하지 않는 것과 같다.

공급업체의 책임도 강화해야 한다. 그동안 사이버사고가 발생하면 이용기관이나 개인에게 비밀번호 관리와 패치 책임을 돌리는 경우가 많았다. 그러나 제품이 처음부터 취약하게 설계되었거나, 기본 관리자 권한이 과도하거나, 보안로그가 남지 않는다면 이용기관만으로 문제를 해결하기 어렵다. CISA가 강조하는 '설계 단계에서의 보안'은 보안책임을 최종 이용자에게 떠넘기지 말고 제품을 설계·개발·판매하는 공급업체가 부담해야 한다는 원칙이다.

공공기관과 핵심 인프라 운영자는 AI 제품을 구매할 때 최소권한 설정, 외부접속 제한, 비상정지 기능, 독립적인 보안시험, 취약점 통지절차, 사고 발생 시 복구지원, 제품 수명주기 동안의 보안업데이트 등을 계약에 포함해야 한다. AI를 구매하는 것은 단순히 소프트웨어를 구입하는 일이 아니다. 조직의 의사결정과 물리적 운영에 영향을 미치는 권한을 외부 시스템에 위탁하는 행위이므로 조달 단계부터 보안성과 책임구조를 검토해야 한다.

마지막으로 수동 복구수단을 유지해야 한다. 디지털 전환이 진행되면서 현장 작업자가 밸브를 조작하거나 설비를 수동으로 정지하는 방법을 모르는 경우가 늘고 있다. 그러나 AI와 네트워크가 작동하지 않을 때에도 핵심 서비스가 최소한 유지되도록 수동 운영 매뉴얼, 오프라인 기록, 독립된 비상통신수단, 분리된 백업시스템, 정기적인 수동전환 훈련을 마련해야 한다. 수동 복구체계는 낡은 방식이 아니라 디지털 사회의 최후 안전장치다.

AI 에이전트는 기업과 국가의 생산성을 크게 높일 수 있다. 그러나 자율성이 커질수록 권한은 더욱 세밀하게 제한되어야 하고, 인간의 승인과 책임체계는 더욱 분명해져야 한다. AI 시대의 보안은 AI를 무조건 믿거나 거부하는 데 있지 않다. 중요한 것은 AI가 예상과 다르게 행동하더라도 조직과 국민에게 미치는 피해를 최소화하도록 설계하는 것이다.

결국 핵심 인프라 보안의 출발점은 AI의 지능이 아니라 권한이다. 무엇을 볼 수 있는지, 어디에 접근할 수 있는지, 무엇을 변경할 수 있는지, 문제가 발생했을 때 누가 멈출 수 있는지를 명확히 정해야 한다. AI의 미래는 자율성의 확대가 아니라 통제가능성을 확보할 때 비로소 안전하게 열릴 것이다.

*박정인 교수(법학박사)는 대통령 국가지식재산위원회 본위원회 위원, 문체부 저작권보호심의위원회 심의위원, 문체부 여론집중도조사위원회 상임위원, 인터넷주소분과위원회, 웹콘텐츠 활성화위원회 자문위원, 강동구 공직자윤리위원회 심의위원, 경찰청 사이버범죄 강사 등 여러 국가 위원을 역임했다. 공공기관 대상 법령입안강의를 하며, 대학에서 특허법, 저작권법, 산업보안법, 과학기술법, 정보보안법, 디지털증거법, ICT트러스트공학, 일반 산업안전, 중대재해법 등을 강의한다. 한국인터넷진흥원, 한국콘텐츠진흥원, 인텔리콘 메타연구소, 해인예술법연구소, 숙명여대 초빙교수, 단국대 연구교수 등을 역임했다.