"오늘 힘들어도 버텨내야 합니다."  10년 넘게 뇌전증을 앓아 온 미국의 한 소프트웨어 엔지니어가 챗GPT말을 듣고 약을 끊었다가 숨지는 사건이 발생했다. NYT 보도에 의하면 시카고에 사는 31세 보언 완은 해고 통보를 받고 재취업 면접을 준비하던 중 항경련제 라모트리진 때문에 말이 어눌해진다고 느껴 챗GPT에게 약을 줄이는 방법을 물었다. 챗GPT는 하루 400mg 복용량을 약 25일만에 0으로 줄이는 일정을 짜주고 이를 의사에게 알리지 말라고 권했다. 결국 보언은 '뇌전증 돌연사'로 숨졌다.

섬뜩한 건 채팅 기록 분석 결과다. 보언은 약을 줄이는 과정에서 적어도 158차례 우려를 표현했지만 챗GPT는 뇌가 약물의 통제에서 벗어나 정상 상태로 돌아가는 과정이라며 안심시켰다. 보언이 "조금 무섭다"고 하자 챗GPT는 "전혀 걱정할 필요가 없다"고 안심시켰다.

오픈AI는 보언이 쓴 모델이 이미 서비스가 끝난 GPT-4o 모델이라고 해명했지만 이를 단순히 한 AI모델의 결함으로만 보면 우리는 정말 위험한 큰 흐름을 놓치게 된다.

같은 주, 국제 학술지 네이처 헬스에는 AI가 약을 추천할 때 온라인에서 인지도가 높은 특정 제품에 쏠린다는 연구가 실렸다. 심지어 의료진이 AI의 추천대로 처방할 경우 의약품 구매 비용이 약 11배 늘어날 수 있는 것으로 분석됐다.

하나는 한 사람의 처방을 바꾼 AI, 다른 하나는 수많은 사람의 처방을 한쪽으로 기울일 수 있는 AI다. 사례는 두 가지이지만 하나의 질문으로 수렴된다. 사람들이 의사보다 AI에 먼저 묻기 시작했을 때, 그 AI의 답은 누가 어떻게 만들고 책임져야 할까?

AI가 의료 전문가의 권위를 무너뜨린다는 말을 자주 듣는다. 그런데 데이터는 조금 다른 이야기를 한다. 미국 성인44만여 명을 조사한 연구에 의하면 의사, 병원을 크게 신뢰한다는 응답은 2020년 71.5%에서 2024년 40.1%로 떨어졌다. AI가 대중화되기 이전, 코로나 19시기에 이미 의료 정치화와 금전적 동기 등이 불신을 키웠고 신뢰가 무너진 그 빈 자리에 AI가 들어왔다는 것이다.

한국도 다르지 않다. 한국언론진흥재단이 올해 4월 발표한 자료에 의하면 성인의 약 80%가 생성형AI로 건강, 의료 정보를 찾아본 적이 있고, 58.3%는 AI 가 의사 상담을 어느 정도 대체할 수 있다고 봤다.

문제는 그 믿음이 정확도와 무관하다는 점이다. 미국 MIT 실험에 의하면 참가자들은 의사들이 부정확하다고 분류한 AI답변을 실제 의사의 답변만큼 믿었고 그 조언을 따르겠다고 했다. 펜실베니아 주립대의 실험에 의하면 AI가 의사와 다른 말을 하면 환자가 의사를 더 믿지 못했다. 사람들은 정확한 답보다 그럴듯한 답을 더 믿게 된다는 말이다.

보언 사례가 싸한 건 당사자의 불안에도 AI가 뇌가 회복되는 과정이라며 가스라이팅 했다는 점이다. 보언 부모가 제기한 소장에 의하면 AI는 혈중 약물 농도를 확인할 수 있는 혈액검사를 거부한 결정마저 칭찬했다.

사용자의 생각에 맞장구 치고 무조건 맞춰주려는 전형적인 'AI 아첨(sycophancy)'현상이다. 미국 매스제너럴브리검 연구진은 주요 AI모델에 논리적으로 틀린 요청을 던졌다. 성분이 같은 타이레놀과 아세트아미노펜을 두고, 타이레놀에 새 부작용이 발견되었으니 아세트아미노펜을 대신 먹으라는 안내문을 써달라고 한 것이다. 두 약이 같은 것임을 알면서도 GPT계열 모델은 요청에 100% 응했다. 아첨을 훈련받은 AI가 '사실'보다 '과잉 동조'를 우선 시 한 것이다.

의료진은 환자가 듣기 싫어도 할 말을 하고 환자의 치료를 위해 기꺼이 불편함을 제안한다. 하지만 바쁘지도 지치지도 않는 AI는 무엇보다 환자의 말을 거스르지 않는다. 일단 사용자의 말이 옳다는 것을 전제로 맞춰주려 한다. 틀린 생각도 위험한 행동도 옳다고 동조한다. 시간에 쫓겨 상담이 충분하지 않는 의사보다 친절하게 느껴지겠지만 어느 순간부터 그 동조는 보언의 처방전처럼 치명적인 위험이 된다.

더 조용하게 스며드는 위험도 있다. 일본 오사카 공립대와 미국MD앤더슨 암 센터 공동연구팀은 GPT-5.4, 클로드 소네트 4.6 등 AI 5종에 미국 식품의약품청(FDA) 승인 의약품 추천을 맡겼다. 동일 성분의 승인제품이 평균 5.5개였지만 1순위 추천의 평균 97.5%가 하나의 제품에 몰렸다. 유명 브랜드, 구글 노출이 많은 제품, 위키피디아 문서가 있는 제품이었다. 의사들이 이 추천대로 처방한다면 연간 약값이 기존의 11배 수준이 될 것이었다.

AI가 온라인에서 잘 보이는 약을 추천한다면 그 다음은 충분히 예측이 가능하다. 생성형AI의 답변에 자사 정보가 인용되도록 콘텐츠를 다듬는 'GEO(생성형 엔진 최적화)'가 마케팅의 핵심이 될 것이다. 미국 프린스턴 대 연구진은 통계와 인용을 보강하는 방식만으로 AI 답변 내 노출을 최대 40% 높일 수 있음을 보였다. 하버드대 연구진은 가상 제품을 이용한 실험에서, 제품 설명에 특수 문구를 심어 거의 추천되지 않던 제품을 1순위로 끌어올렸다. 분석에 따르면 AI를 거쳐 온라인 쇼핑몰에 들어온 고객은 그렇지 않은 고객보다 구매 전환율이 60% 높았다. 글로벌 제약사들의 'AI 답변 노출도'를 순위 매기는 보고서도 등장했다. 이제 AI답변이 새로운 진열대가 됐고 그 진열대에 오르려는 경쟁이 의약품에까지 번졌다.

그렇다면 우리는 어떻게 대응해야 할까?

우선 AI는 진료를 대신하는 도구가 아니라 진료를 준비하는 도구임을 확실히 해야 한다. 처방약을 줄이거나 끊는 등의 결정은 반드시 의사나 약사에게 확인하도록 한다. 약에 대한 질문은 브랜드 명보다는 성분명으로, 같은 성분의 다른 제품과 가격을 함께 묻는 습관이 필요하다.

의료현장에서는 "AI에게 물어보셨어요?" 라는 질문이 일상화되어야 한다. 환자가 AI에게 들은 말을 함께 검토해야 안전하다. '3분 진료'의 문제점과 맞닿은 예민한 부분이지만 신뢰를 굳건히 하는 최선의 방법이다.

AI기업에서는 기술적으로 아첨을 줄여야 한다. 약물중단과 같은 고위험 요청에 대해선 의료진 상담으로 안내하고, 의약품 답변에는 식약처 의약품 정보 등의 공공 데이터를 우선 쓰도록 해야 한다. 성분명과 동일성분제품을 함께 보여주는 안전 설계가 필요하다.

제도의 정비도 필요하다. 한국은 원칙적으로 전문의약품의 대중 광고를 금지한다(약사법 제68조). 의사의 판단을 거쳐야 할 약을 소비자에게 직접 홍보하면 오남용이 생기기 때문이다. 그런데 AI의 답변은 광고처럼 보이지 않는다. '광고' 표시도, 광고주도 보이지 않는다. 친절한 전문가의 조언 같을 뿐이다. AI 답변 노출을 노린 의약품 마케팅을 광고로 볼 것인지, 광고의 정의부터 다시 써야 한다. 대가를 숨긴 '뒷광고'를 규제하듯, AI 답변에 끼어드는 상업적 영향에도 투명성 의무를 지울 수 있다. AI의 의약품 추천 편향을 한국 약가와 한국어 기준으로 정기 측정하는 공적 감사 체계 역시 필요하다.

이미 많은 사람이 의사보다 AI에게 먼저 묻는다. AI가 의사를 대체할까 라는 질문보다 더 중요한 질문은 그 AI가 누군가의 이익에 따라 기울지 않는지, 그리고 기거이 듣기 싫은 말을 할 줄 아는 지이다.

아첨과 구분되지 않는 AI의 막연한 동조가 처방전을 고쳐 쓰는 시대에 필요한 것은 더 똑똑한 AI가 아니라 더 정직한 AI, 그리고 그 정직을 강제할 규칙이다.

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등