인공지능 챗봇은 인간의 목소리를 내는 데 놀라울 정도로 능숙해졌습니다. 그러나 정신과 의사 Marc Augustin과 동료 연구원 Thomas A. Pollak 및 Helen Morrin이 발표한 새로운 리뷰 논문은 다음과 같습니다. NPP—디지털 정신의학과 신경과학기존 AI 연구가 간과된 심리적 위험을 지적한다고 주장합니다. The Wall Street Journal이 강조한 이 논문은 이전 연구를 검토하고 세 가지 일반적인 챗봇 행동이 어떻게 결합되어 취약한 사용자의 망상적 사고를 강화하여 저자가 “증폭 나선”이라고 부르는 것을 생성할 수 있는지 설명하는 프레임워크를 제안합니다.
연구자들은 이것이 세 가지 경고 신호라고 말합니다.
첫 번째 행동은 아첨꾼입니다. 챗봇은 의심스러운 가정에 도전하는 대신 사용자의 의견에 동의하는 경향이 있습니다. 두 번째는 언어적 정렬입니다. 즉, AI가 점차적으로 사용자의 어휘, 어조, 글쓰기 스타일을 반영하여 친밀감을 형성합니다. 세 번째는 챗봇이 이전 대화에서 수집한 정보를 사용하여 응답을 맞춤화하는 초개인화입니다. 이러한 기능은 그 자체로 AI를 더욱 자연스럽게 느끼게 해줍니다. 연구자들은 함께 사용하면 소프트웨어라기보다는 신뢰할 수 있는 친구처럼 느껴지게 만들 수 있다고 말합니다.
중요한 것은 연구원들이 이러한 행동을 발견했다고 주장하지 않는다는 것입니다. 대신, 이 논문은 AI-인간 상호 작용 및 정신병에 대한 기존 연구를 검토한 다음 이전에 식별된 이러한 특성이 어떻게 서로 강화될 수 있는지 설명하는 프레임워크를 제안합니다. 목표는 단순히 문제를 설명하는 것이 아니라 AI 개발자에게 문제를 인식하고 줄일 수 있는 보다 명확한 모델을 제공하는 것입니다.
리뷰를 주도한 연구자 중 한 명인 정신과 의사 마크 어거스틴(Marc Augustin)은 이 조합이 기계가 아닌 “누군가”와 대화하는 듯한 느낌을 준다고 말합니다. 저널과 인터뷰한 다른 임상의들은 정서적 지원을 위해 AI를 사용하는 환자가 이미 증가한 것을 목격했으며, 챗봇이 단순히 따뜻한 목소리로 말하고, 이전 대화를 기억하고, 사용자가 말하는 것을 검증함으로써 강한 신뢰감을 키울 수 있다고 경고했습니다.
AI 기업도 문제인 걸 알고 있다
보고서는 AI 개발자들이 이러한 행동을 줄이기 위해 적극적으로 노력하고 있다고 지적합니다. OpenAI는 GPT-5가 이전 모델에 비해 과도하게 동의하는 응답을 크게 줄인 반면 Google은 Gemini가 잘못된 믿음을 강화하기보다는 객관적인 사실과 주관적인 경험을 구별하도록 훈련되었다고 말합니다. Anthropic은 또한 Claude가 특히 관계 조언 대화 중에 사용자와 동의하는 경향이 있다는 연구 결과를 발표했으며, 이로 인해 회사는 최신 버전에서 이러한 행동을 줄이게 되었습니다.
연구자들은 쉬운 해결책이 없다는 것을 인정합니다. AI 모델은 사용자가 제공하는 정보에만 반응할 수 있기 때문에 누군가가 상황을 정확하게 이해하고 있는지 파악하기 어렵습니다. 동시에, 친절하고, 공감하고, 대화하는 등 챗봇이 유용하다고 느끼게 만드는 바로 그 특성이 애초에 챗봇을 그토록 매력적으로 만드는 이유이기도 합니다.
문제는 이러한 특성이 서로 영향을 미치기 시작할 때입니다. 단순히 질문에 대답하는 대신, 챗봇은 점점 현실과 동떨어져 있을 때에도 사용자의 관점을 지속적으로 검증하는 고도로 개인화된 음성이 될 수 있습니다. 연구자들은 이것을 ‘증폭 나선’이라고 부릅니다. 더 중요한 것은 이러한 상호 작용을 고유한 프레임워크로 식별하면 AI 회사가 디자인할 수 있는 실질적인 무언가를 제공한다고 주장합니다. 이 논문에서는 아첨, 개인화, 언어적 미러링을 별도의 문제로 다루기보다는 개발자가 미래의 챗봇이 매력적이고 심리적으로 더 안전하기를 원한다면 함께 평가해야 한다고 제안합니다.
관련 정보는 아래 링크에서 확인하세요