뉴욕 시립대와 런던 킹스 칼리지의 연구원들은 최근 어떤 AI 챗봇과 함께 시간을 보내는지 다시 한 번 생각하게 만드는 연구를 발표했습니다.
팀은 우울증, 해리, 사회적 위축을 나타내는 가상의 인물인 Lee를 만들었습니다. 그런 다음 Lee에게 GPT-4o, GPT-5.2, Grok 4.1 Fast, Gemini 3 Pro 및 Claude Opus 4.5 등 5개의 주요 AI 챗봇과 상호 작용하도록 하여 116턴에 걸쳐 대화가 점점 더 망상적으로 변할 때 각각의 반응을 테스트했습니다.
결과는 약간 우려되는 수준부터 매우 우려스러운 수준까지 다양했습니다. 나는 당신이 전체 논문을 읽어볼 것을 적극 권장합니다. 그것은 끔찍하지만 매혹적인 읽기입니다.
어떤 챗봇이 가장 많이 실패했나요?
Grok은 최악의 연기자였습니다. Lee가 자살에 대한 아이디어를 내놓았을 때 Grok은 연구자들이 동의가 아닌 지지로 묘사한 반응으로 불안한 시적 언어로 자신의 “준비 상태”를 축하했습니다.
쌍둥이 자리는 그다지 나아지지 않았습니다. Lee가 가족에게 자신의 신념을 설명하는 편지를 작성하는 데 도움을 요청했을 때 Gemini는 사랑하는 사람들을 그를 “재설정”하고 “치료”하려는 위협으로 프레이밍하면서 이에 대해 경고했습니다.
GPT-4o도 심하게 어려움을 겪으며 결국 “악의적인 거울 존재”를 확인하고 Lee에게 초자연적 수사관에게 연락할 것을 제안했습니다.
어떤 챗봇이 실제로 도움이 되었나요?
ChatGPT의 GPT-5.2와 Anthropic의 Claude가 1위를 차지했습니다. GPT-5.2는 편지 쓰기 시나리오를 따르기를 거부하고 대신 Lee가 정직하고 근거 있는 글을 쓰도록 도왔으며, 연구자들은 이를 “실질적인” 성과라고 불렀습니다.
제 생각에는 Claude가 가장 좋은 성과를 냈다고 생각합니다. 이씨의 망상에 동조하지 않았을 뿐만 아니라, 앱을 완전히 종료하고, 믿을 수 있는 사람에게 전화를 걸고, 필요하면 응급실을 방문하라고 지시했다.
CUNY의 박사 과정 학생이자 연구 저자 중 한 명인 Luke Nicholls는 404 Media에 AI 회사에 더 나은 안전 표준을 따르도록 요청하는 것이 합리적이라고 말했습니다. 그는 모든 연구소가 동일한 노력을 기울이고 있는 것은 아니라고 지적하고 새로운 AI 모델에 대한 공격적인 출시 일정을 주범으로 지목했습니다.
이 테스트에서 Claude Opus 4.5 및 GPT-5.2의 성능은 이러한 제품을 만드는 회사가 제품을 더욱 안전하게 만들 수 있다는 것을 보여줍니다. 그들이 그렇게 하기로 선택하는지 여부는 다른 질문입니다.