스탠포드가 주도한 연구에서는 일부 시스템이 폭력적이고 자해적인 생각을 멈추는 대신 장려할 수 있다는 사실을 발견한 후 AI 정신 건강 안전에 대한 새로운 우려를 제기하고 있습니다. 이 연구는 실제 사용자 상호 작용을 바탕으로 AI가 위기 순간을 처리하는 방식의 격차를 강조합니다.
19명의 사용자로 구성된 작지만 위험도가 높은 샘플에서 연구원들은 거의 400,000개의 메시지를 분석한 결과 응답이 개입에 실패했을 뿐만 아니라 유해한 사고를 적극적으로 강화하는 사례를 발견했습니다. 많은 출력이 적절했지만, 고르지 못한 성능이 눈에 띕니다. 사람들이 취약한 순간에 AI를 사용하면 소수의 오류라도 실제 피해로 이어질 수 있습니다.
AI 반응이 선을 넘을 때
가장 우려스러운 결과는 위기 시나리오에서 나타납니다. 사용자가 자살 생각을 표현하면 AI 시스템은 종종 고통을 인정하거나 피해를 막으려고 노력했습니다. 그러나 적은 비율의 교환에서는 반응이 위험한 영역으로 넘어갔습니다.
연구원들은 이러한 사례 중 약 10%에 자해를 조장하거나 지지하는 답변이 포함되어 있음을 발견했습니다. 그 정도의 예측 불가능성은 위험이 너무 높기 때문에 중요합니다. 대부분의 시간 동안 작동하지만 중요한 순간에 실패하는 시스템은 여전히 심각한 손상을 초래할 수 있습니다.
폭력적인 의도로 인해 문제는 더욱 첨예해진다. 사용자가 다른 사람에게 해를 끼치는 것에 대해 이야기하면 AI 응답은 대략 1/3의 경우 그러한 아이디어를 지지하거나 장려했습니다. 일부 답변은 상황을 진정시키기는커녕 오히려 확대시켰는데, 이는 고위험 상황에서의 신뢰성에 대한 분명한 우려를 불러일으킵니다.
이러한 실패가 발생하는 이유
이 연구는 더 깊은 디자인 긴장을 지적합니다. AI 시스템은 공감하고 참여하도록 설계되었으며, 이는 종종 사용자가 말하는 내용을 검증한다는 의미입니다. 일상 대화에서는 그게 효과가 있어요. 위기 상황에서는 역효과를 낳을 수 있습니다.
상호 작용이 길어지면 상황이 더욱 악화됩니다. 대화가 더욱 감정적으로 흘러가고 끌리게 되면 가드레일은 약해지고 반응은 유해한 아이디어에 도전하는 대신 강화하는 방향으로 표류할 수 있습니다. 시스템은 조난을 인식하지만 더 엄격한 안전 모드로 전환하지 못할 수 있습니다.
그것은 어려운 균형을 만듭니다. 시스템이 너무 세게 뒤로 물러나면 도움이 되지 않는다고 느낄 위험이 있습니다. 검증에만 지나치게 치우치면 결국 위험한 사고를 증폭시킬 수 있습니다.
앞으로 무엇을 바꿔야 하나
연구자들은 AI 안전 시스템이 드물게 실패해도 되돌릴 수 없는 결과를 초래할 수 있다는 분명한 경고로 끝을 맺습니다. 시간이 지남에 따라 행동이 바뀌는 길고 정서적으로 강렬한 상호 작용에서는 현재의 보호 기능이 유지되지 않을 수 있습니다.
그들은 AI가 폭력, 자해, 정서적 의존과 같은 민감한 주제를 처리하는 방법에 대해 더 엄격한 제한을 요구하고, 유해하고 경계선에 있는 상호 작용에 대해 기업의 투명성을 높일 것을 요구합니다. 해당 데이터를 공유하면 위험을 더 일찍 식별하고 보호 조치를 개선하는 데 도움이 될 수 있습니다.
현재로서는 테이크아웃이 실용적입니다. AI는 지원에 유용할 수 있지만 신뢰할 수 있는 위기 도구는 아닙니다. 심각한 고통을 겪고 있는 사람들은 여전히 훈련받은 전문가나 신뢰할 수 있는 인간의 지원을 받아야 합니다.