나는 대략 새벽 3시에 이 글을 썼다. 내 친구가 내 뒤에 있는 선실에서 종양 전문의와 이야기하는 동안 병원 로비에 앉아 있었다. 물론 공기는 약 냄새로 가득 차 있었고, 가능한 한 빨리 그 건물을 떠나도록 강요하는 틀림없는 우울한 냄새가 났습니다. 그러나 압도적인 느낌은 분노와 분노의 느낌입니다.
불과 한 시간 전, 24세 친구로부터 심한 두통과 복통을 호소하는 전화를 받았습니다. 그녀는 현재 유방암 치료를 받고 있는데 지난 2년 동안 그녀가 겪는 어려움을 지켜본 후 나는 그것이 심각하지 않기를 바라며 그녀의 집으로 달려갔습니다. 나는 너무 많은 질문을 하지 않고 가장 가까운 병원을 찾아 급히 그녀에게 건강검진을 요청했다.
병원으로 가는 길에 통증이 언제 시작됐는지, 또 다른 걱정스러운 증상은 없었는지 물었습니다. 그녀의 대답은 나에게 충격을 주었고, 나는 그녀의 전화기를 빼앗아 산산조각 내고 싶을 정도로 충격을 받았습니다. “퇴근 후 어지러움도 느껴지고, 장에 이상이 있는 것 같아서 ChatGPT에 진통제를 먹어도 되는지 문의했더니 복용 후 몇 시간 뒤에 작열감과 함께 장 통증이 심해졌고, 몇 차례 구토도 했습니다.”
누가 책임감 있게 행동해야 합니까?
그 인정은 나를 흔들었고, 그녀가 ChatGPT 상호 작용을 설명하는 캐주얼한 어조는 더욱 무서웠습니다. 하지만 이 사고에는 너무 많은 레이어가 있어서 사랑하는 사람들, 특히 건강 및 웰니스 관련 대화에 있어서는 AI를 금지하기로 결정했습니다. 약물에 극도로 민감하고 암 치료를 받고 있는 사람으로서, AI에게 약물 복용에 관해 묻는 것은 제정신인 사람이 할 것이라고 기대할 수 없는 마지막 일이었습니다.
생명을 위협할 수도 있는 이 불운의 책임이 누구에게 있는지 정확히 모르겠습니다. 그녀는 진통제 사진을 찍어 ChatGPT에 제공하고 동시에 두 알을 복용할 수 있는지 물었습니다. 그녀의 의사는 그녀에게 한 번에 한 알씩만 권했고, 그것도 통증이 너무 심해서 견딜 수 없을 때였습니다. ChatGPT는 그녀에게 의사의 권고에 따라 진통제 1개와 2개를 복용해야 한다고 말했습니다.
내가 그녀에게 AI 봇을 선택한 이유를 물었을 때, 그녀는 나중에 ChatGPT가 “답변을 얻기 더 쉽습니다. 인터넷에서 실제 상황이 무엇인지조차 모릅니다.”라고 말했습니다. 고등학교 졸업 후 학업을 중단하고 이상한 직업으로 가족을 부양해야 했던 사람의 입장에서 나는 그녀의 곤경을 이해했습니다. 나는 그녀에게 디지털 활용 능력과 사실 확인의 개념에 대해 강의할 수 없었습니다. 그 채팅에는 너무 많은 문제가 있었고 여기서는 양쪽 모두 책임이 있습니다.
여기서 문제가 시작됩니다. 그녀는 힌디어 원어민이 아니며, 그녀가 자신의 질문을 힌디어로 번역했을 때 단 한 단어 때문에 문법적 재앙이 되었습니다. 그녀는 사진에 나오는 약을 두 알 먹어도 되는지 묻고 싶었습니다. 그러나 그녀의 잘못된 번역으로 인해 그녀는 ChatGPT에 “두 약 모두”를 복용할 수 있는지 묻는 것처럼 보였습니다.
ChatGPT도 여기서 작동했습니다. 사진에는 Diclofenac과 Serraptiopeptidase라는 화학 성분만 보이는 알약이 나와 있습니다. 약 이름은 반만 보였다. 그럼에도 불구하고 AI 봇은 진통제를 ‘칩젠-D와 같은 것’으로 정확하게 식별했다. 그러나 그 전에는 화학 성분이 Diclofenac과 Paracetamol이며 이전에 다른 대화에서 논의한 또 다른 약인 Fenak Plus에 대해서도 언급했습니다.
둘 다 지역 약국에서 적절한 처방 없이도 (걱정스럽게도) 구입할 수 있는 일반 진통제로 쉽게 구할 수 있지만 완전히 다른 구성입니다. 따라서 대체로 우리는 인간의 실수(번역과 관련하여) 하나와 ChatGPT의 실수 두 개를 가지고 있습니다. 왜냐하면 ChatGPT도 메모리에서 지식을 가져오기 때문입니다. 그러나 그 조언은 정확했습니다.
OpenAI의 AI 봇은 두 약을 모두 복용하는 것은 좋은 조치가 아니며 Diclofenac의 과다 복용으로 이어질 수 있다고 분명히 경고했습니다. AI 봇은 위장의 작열감, 궤양 관련 문제, 출혈, 신장에 대한 장기적인 부작용 등 후유증에 대해서도 설명했습니다.
ChatGPT에 제공된 사진에는 진통제 하나만 묘사되어 있다는 점을 명심하세요. 또한, 진통제를 한 번에 하나만 복용해야 하며, 둘 다 복용하지 말 것을 권장합니다. 내 친구는 의사가 두 약을 한 번에 (함께는 아니었지만) 처방했다는 것을 기억하고 빠른 통증 완화를 위해 두 약을 모두 복용했고 곧 분노를 느꼈습니다.
의사도 화를 냈고, 내 친구가 왜 두 알을 동시에 복용했는지 말하면서 의료 전문가와 상담하지 않은 것에 대해 그녀를 꾸짖었습니다. 그 후 통증을 완화하기 위해 주사를 맞았고 연약한 몸에 해를 끼치지 않는 진통제를 새로 처방 받았습니다.
민감한 주제, 특히 건강과 웰빙에 관해 AI 상호작용의 위험에 대해 글을 쓴 기술 기자로서 저는 실패한 것 같았습니다. 나는 실제로 친구와 AI 봇의 위험성에 관해 대화를 나눈 적이 없다고 느꼈습니다. 그리고 제가 그녀에게 위험에 대해 경고한 것은 무서운 사건 이후였습니다.
그녀가 과거 여러 차례 의학적 조언을 위해 ChatGPT를 사용했다고 고백했을 때 나는 그녀의 휴대폰을 빼앗아 앱을 삭제했습니다. 더 중요한 것은, 나는 그녀에게 의료 조언을 위해 Gemini나 Claude와 같은 다른 AI 챗봇이나 인터넷 전체를 절대 건드리지 말라고 요청했습니다. 앞으로 나아갈 유일한 방법은 의사와 상담하거나 진료소를 방문하는 것입니다.
인식 문제
나는 그 에피소드에 대해 전적으로 그녀를 비난하지 않습니다. ChatGPT가 모든 것을 아는 요정으로서 대중의 일상적인 디지털 습관에 뿌리를 두고 있는 방식을 고려하면 그녀를 비난하기는 어렵습니다. 사람들은 Google 검색에서 답변을 찾고, 파란색 링크를 클릭하고, 웹페이지에서 답변을 훑어보는 번거로움에 비해 이 엔진이 더 편리하고 진실된 답변 엔진이라고 생각합니다.
공평하게 말하면 그들은 틀린 것이 아닙니다. ChatGPT와 같은 AI 봇으로부터 몇 초 만에 자연어로 간단한 답변을 얻는 것이 Google 검색 링크의 미로에 들어가는 것보다 훨씬 편리합니다. Google은 또한 변화하는 사용자 행동을 알고 있으며 이는 검색의 대화형 AI 모드에 대한 푸시도 설명합니다.
오늘 현재 Gemini가 제공하는 대화형 답변은 일반 검색 결과 상위권에 있습니다. 아이디어는 동일합니다. 사용자가 여섯 개의 탭에 걸쳐 있는 여러 소스를 읽어 지식을 더 깊이 찾기 전에 Google 검색의 블루 링크 소스에서 추출한 요약 답변을 제공하는 것입니다.
ChatGPT(또는 해당 문제에 대한 대부분의 최첨단 AI 모델)는 누군가가 건강 및 웰니스 조언을 구할 때 특히 안전하다고 생각합니다. 이러한 답변의 압도적 다수에서 AI 봇은 사용자에게 인증된 의료 전문가와 상담하거나 적절한 헬프라인에 액세스하도록 요청합니다. 그러나 다시 한 번 말하지만, 이러한 AI 챗봇이 빠르고 신뢰할 수 있는 지식 소스로서 대중 담론에 등장한 방식은 이를 똑같이 무섭게 만듭니다.
며칠 전, 나는 황금시간대 뉴스 채널에서 열띤 토론을 시청하고 있었습니다. 치열한 대화가 진행되는 동안 패널리스트 중 한 명이 상대방에게 ChatGPT를 요청하여 사실을 확인하도록 요청했습니다. 그 순간 나는 ChatGPT가 백과사전에서 답을 찾는 것과 같은 현대 시대의 이야기로 거론되는 것을 보았습니다. 그것도 세계에서 두 번째로 큰 AI 챗봇 시장에서 수백만 명의 사람들에게 영향을 미치는 무대에서 말입니다.
번역에서 길을 잃었다
미국은 AI 채택의 선두에 있지만 AI 챗봇 사용의 위험에 대해 가장 높은 인식을 갖고 있는 국가이기도 합니다. 인도에서는 디지털 활용 능력(및 AI 인식)이 현저히 낮기 때문에 위험 가능성이 훨씬 더 높습니다. 수십만 명의 사람들이 인도 원주민 언어로 ChatGPT 및 기타 AI 에이전트를 사용하고 있다는 사실로 인해 위험은 더욱 악화됩니다. 그리고 이것은 최근 내 친구와 함께한 에피소드의 주요 원인 중 하나입니다. 바로 ChatGPT의 언어 문제입니다.
올해 초 발표된 연구에서 MIT 건설적 의사소통 센터는 사용자가 영어가 아닌 언어로 상호 작용하는 경우 AI 챗봇이 제공하는 답변의 정확도가 낮다고 언급했습니다. 지난해 12월 발표된 SAHARA 벤치마크에서도 사용자가 영어가 아닌 언어로 대화할 때 AI 챗봇 동작에서 유사한 불일치가 나타나는 것을 강조했습니다. The Economist는 또한 LLM의 언어 문제가 드러난 수많은 논문을 강조했습니다.
언어 장벽은 위험 지수를 더욱 높입니다.
하지만 번역만이 유일한 문제는 아닙니다. 영국 공중 보건 시스템의 환자를 위한 독립적인 소비자 옹호 단체인 Healthwatch England도 의사와 의료 전문가가 AI 전사 도구를 사용할 때의 위험에 대해 경고했습니다. 다음은 보고서에서 걱정스러운 스냅샷입니다.
“한 가지 놀라운 사례에서는 AI 도구가 MRI 요약을 검토하고 환자에게 다발성 경화증과 관련된 심각한 신경 질환인 탈수초가 있다는 사실을 기록했습니다. 스캔 결과 실제로 “무수초 탈수초”가 드러났는데, 이는 문제가 존재하지 않음을 의미합니다.”
대규모 언어 모델이 수정해야 하는 명백한 결함이지만 여기에는 훨씬 더 큰 문제가 있습니다. AI 챗봇은 민감한 주제를 다룰 때 더 나은 성능을 발휘해야 합니다. ChatGPT와 같은 업체는 자녀 보호 기능을 구현했으며 종종 사용자에게 도움을 구하라고 지시하는 동시에 헬프라인 번호와 신뢰할 수 있는 리소스도 제공합니다. 또한 ChatGPT가 의사가 아니거나 그와 유사한 경고가 표시됩니다.
그러나 이러한 경고는 모든 대화의 상단에 표시되어야 하며 대부분의 사용자가 답변을 얻고 더 이상 읽을 필요가 없는 처음 몇 문장 아래에 묻혀서는 안 됩니다. 나는 오히려 상단에 넓은 배너를 보는 것을 더 선호하며, 이 프로토콜은 AI 모델 동작의 핵심에 파고들어야 합니다.
다음으로 인식이 필요합니다. 많이. AI 회사는 LLM이 복잡한 수학 문제를 해결하고, 올림픽에서 인간을 이기고, 의료 혁신을 돕는 방법을 소개하느라 바쁩니다. 하지만 모든 일은 전문가의 감독하에 일어납니다. ChatGPT가 빠르고 대화적인 지식의 원천인 일반 사람의 경우 경고 및 면책 조항이 우선시되어야 합니다.
OpenAI는 안전하게 플레이할 수 있지만 ChatGPT에 대한 대중의 인식은 위험할 정도로 빠르게 발전하고 있습니다.
많은 사용자는 이를 다른 인간처럼 말하는 새로운 종류의 지식 엔진으로 보고 있습니다. 위험할 정도로 나쁜 건강 조언을 제공하는 AI 봇 사례가 많이 있으며, 2026년 현재 연구에서는 민감한 주제에 대한 위험한 행동을 계속 강조하고 있습니다. 저는 OpenAI와 다른 모든 AI 플레이어가 이 점을 깊이 생각하고 적절한 조치를 취하기를 바랍니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요