AI 핵심 요약
beta- 국회가 1일 스캐터랩 김종윤 대표를 국감 증인으로 불렀다
- AI 챗봇 제타의 10대 이용자가 92만명으로 급증했다
- 업계는 세이프 모드와 이용시간 제한으로 대응했다
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
이용시간 제한·세이프 모드…선제 대책 총력
"청소년 보호가 플랫폼 지속가능성 핵심 요소"
[서울=뉴스핌] 이석훈 기자 = 생성형 인공지능(AI) 챗봇이 10대 청소년에게 유해한 영향을 미칠 수 있다는 연구 결과와 피해 사례가 잇따르면서 정치권에서도 관련 문제에 대한 논의가 확산하고 있다. 이에 따라 AI 챗봇 서비스 '제타'를 운영하는 스캐터랩의 김종윤 대표가 지난해에 이어 올해 국정감사 증인으로 다시 출석하게 됐다.
업계에서도 유해 콘텐츠 생성을 차단하거나 청소년 보호를 위한 별도 운영 정책을 마련하는 등 대응에 나서고 있다.
◆ 10대 사로잡은 AI 챗봇의 그늘…제타 '유해성 위험' 국감 검증대로
1일 업계에 따르면 주요 AI 챗봇 운영사들이 청소년 이용자 보호 조치 강화에 박차를 가하고 있다. 최근 정치권에서도 청소년 보호 대책 마련을 촉구하는 목소리가 높아지면서 10대 이용자 안전 확보가 업계의 핵심 화두로 떠올랐기 때문이다.
최근 국회 과학기술정보방송통신위원회(과방위)는 오는 12일 예정된 국정감사 증인으로 AI 챗봇 '제타'를 서비스하는 스캐터랩 김종윤 대표를 불렀다. 김 대표는 지난해에 이어 올해 국감장에도 증인으로 출석하게 됐다.
'제타'는 지난 2024년 스캐터랩이 내놓은 AI 챗봇 서비스다. 올해 상반기 평균 월간활성이용자수(MAU)가 129만명에 달하며 이는 국내 AI 캐릭터 채팅 분야 1위에 해당하는 수치다. 특히 가장 최신 지난 8월 기준 제타의 10대 이용자는 약 92만명으로 전체 MAU의 58.3%를 차지했으며, 올해 1월 기준 71만명 수준에서 8개월 만에 29% 성장했을 정도로 10대의 비중이 높다.
문제는 AI 챗봇이 청소년에게 유해할 수 있다는 국내외 연구 결과와 실제 피해 사례가 나날이 쌓이고 있다는 점이다.
실제로 미국 사이버불링 연구센터가 청소년 3466명을 대상으로 진행한 조사에 따르면, 응답자의 47.1%가 AI 챗봇 이용 중 최소 한 가지 이상의 위험이나 피해를 경험한 것으로 나타났다. 구체적으로는 불편한 개인정보 요구(32.3%)가 가장 많았으며, 조종이나 압박(23.1%), 허위 정보(17.1%), 위험 행동 권유(15.2%), 자해 메시지 노출(14.7%), 자살 관련 메시지 노출(13.0%) 등이 보고됐다.
또 국회입법조사처가 인용한 조사 결과에 의하면 만 14세 이상 아동·청소년 3300명 중 94.4%가 AI 챗봇을 이용한 경험이 있다고 답했다. 특히 이들 중 75.3%는 챗봇의 답변을 실제 행동으로 옮겼거나 진지하게 고민해 본 것으로 조사돼, AI가 청소년의 판단과 행동에 미치는 영향력이 상당한 수준임을 보여줬다.
이에 과방위도 김종윤 대표의 신문요지에 대해 'AI 챗봇 관련 위험성'이라고 명시했다. 한 업계 관계자는 "국회에서 대표를 직접 부른다는 것은 단순 개별 기업의 문제를 넘어 AI 챗봇 산업 전체의 청소년 보호 체계를 보겠다는 것"이라며 "올해 국감에서는 구체적인 유해성 방지책과 시스템 개선안이 집중 다뤄질 것으로 보인다"고 말했다.
◆ "10대 안전 없인 플랫폼도 없다"…업계, 선제적 자율규제 총력전
업계 역시 이 같은 문제의식에 공감하며 청소년 보호 대책 마련에 나서고 있다. 우선 스캐터랩은 제타 서비스 내 청소년 이용 환경에서 청소년유해매체물 수준의 콘텐츠가 생성되지 않도록 '세이프 모드'를 운영 중이다.
성적 접촉을 유도하거나 과도하게 폭력적인 소재는 제한하며, 설정에 따라 '세이프 모드'와 '언리밋 모드'를 구분해 제공하는 방식이다. 이용 약관상 연령 기준은 만 13세 이상으로 정하고, 미성년자 이용 시 보호자 허가를 요구하도록 했다.
AI 캐릭터 챗봇 서비스 '크랙'을 운영하는 뤼튼테크놀로지스 역시 지난달 강화된 청소년 보호 정책을 발표했다. 청소년의 하루 이용 시간을 최대 3시간으로 제한하고, 월 결제 한도를 10만 원으로 설정한 것이 골자다.
아울러 청소년 이용 패턴 분석을 바탕으로 AI 안전 시스템 지시문(프롬프트)과 필터링 기능을 한층 강화하는 한편, 연령 인증 및 확인 절차도 보다 엄격하게 개편할 방침이다.
이동재 뤼튼테크놀로지스 최고제품책임자(CPO)는 "모두에게 안전하고 건강한 인공지능 서비스를 제공할 사회적 책임감을 무겁게 인식하고 있다"며 "특히 청소년 이용자의 안전을 최우선으로 고려하면서도 창의력을 함께 펼칠 수 있는 서비스를 만들기 위해 최선의 노력을 기울여 나가겠다"고 밝혔다.
업계 관계자는 "AI 서비스의 주 소비층인 10대를 보호하는 것은 플랫폼의 지속 가능성을 위한 필수 조건이 됐다"며 "정치권과 여론의 지적이 거세진 만큼, 기업들도 단순히 권고 수준을 넘어 실효성 있는 방어막을 구축하는 데 사활을 걸 수밖에 없는 분위기"라고 전했다.
stpoemseok@newspim.com
