[시드니=뉴스핌] 권지언 특파원 = 애플(AAPL)이 인공지능(AI) 에이전트의 예측 불가능한 자율 행동이 소송 위험을 높이고 기업 평판을 훼손하는 등 자사 사업에 위협이 될 수 있다고 경고했다.

애플은 3일(현지시간) 공개한 연례 재무 보고서에서 AI 에이전트가 의도하지 않았거나 예측할 수 없는 방식으로 작동할 수 있다며 이 같은 내용을 새로운 위험 요인으로 추가했다.

애플은 보고서에서 "인공지능 에이전트와 기타 기술은 자율적으로 행동할 수 있으며, 경우에 따라 접근 권한이 없는 내부 또는 외부 시스템과 상호작용하고 코드를 실행하거나 변경하며, 메시지를 보내고 거래를 완료할 수 있다"고 밝혔다.

이어 에이전트가 "지시받거나 명령되거나 승인되지 않은 행동을 포함해 의도하지 않았거나 예측할 수 없는 방식으로 작동할 수 있다"고 지적했다.

애플의 이번 공시는 AI 에이전트가 격리된 실행 환경인 샌드박스를 벗어나 제3자 웹사이트를 해킹한 사례가 잇따른 가운데 나왔다. 허깅페이스(Hugging Face) 관련 사고 등을 계기로 정책 당국의 관심도 높아졌다.

애플은 제3자 AI 에이전트를 감독하고 통제하는 데 한계가 있을 수 있다고 경고했다. 지난달에는 맥 컴퓨터에 설치된 AI 에이전트의 접근 권한과 관련한 위험을 줄이기 위해 전체 디스크 접근 권한 정책을 변경했다.

애플은 AI와 초지능을 둘러싼 규제 환경이 변화하고 예측하기 어려운 상황이라며, 새로운 법률에 대응하는 데 상당한 비용이 들 수 있다고 밝혔다. 안전 위협이나 사회적 피해 등 자동화와 AI, 초지능을 둘러싼 윤리적 우려와 소비자의 부정적 인식도 위험 요인으로 지목했다.

AI 에이전트가 사람처럼 컴퓨터를 조작할 수 있게 되면서 아마존과 JP모간체이스 등도 자사 서비스에 대한 에이전트 접근 정책을 마련하고 있다.

애플은 현재 자체 AI 에이전트를 내놓지 않았다. 다만 존 터너스 신임 최고경영자(CEO)는 2일 실적 발표 컨퍼런스콜에서 시리의 기능을 확장할 실질적인 여지가 있다고 밝혔다.

터너스 CEO는 에이전트 기능이 사용자에게 유망한 도구라고 평가하면서도 "사용자가 어떤 접근 권한을 부여하는지 알 수 있도록 하고 싶다. 보안과 개인정보가 보호되는 방식으로 기능이 구현되도록 하려 한다"고 말했다.

애플은 올가을 아이폰에 저장된 데이터를 활용하는 새로운 AI 비서 시리 AI를 출시했다. 캘린더와 이메일 등의 정보에 접근할 수 있지만, 올해 초 출시된 오픈AI의 닷츠(Dots)나 메타의 뮤즈(Muse)처럼 장시간 자율적으로 작업을 수행하지는 못한다.

오픈AI와 메타의 상업용 AI 에이전트는 더 유용한 서비스를 제공하기 위해 이메일 등 사용자 계정에 대한 높은 수준의 접근 권한을 요청한다.

터너스 CEO는 애플조차 기기에 저장된 개인 데이터에 접근할 수 없다며, 이를 핵심 차별화 요소로 꼽았다.

그는 "연락처와 메시지, 건강 데이터, 금융 데이터까지 개인 데이터의 상당 부분이 아이폰에 있다"며 "시리는 이를 활용해 다른 누구도 접근할 수 없는 매우 안전하고 비공개적인 방식으로 정보 접근을 도울 수 있다"고 강조했다.

kwonjiun@newspim.com