AI 챗봇을 사용하면 사람들이 다른 사람과 공유하기 어려운 내용에 대해 대화하는 것이 매우 쉬워졌습니다. 십대의 경우에는 불안, 외로움, 자해, 자살과 같은 매우 개인적인 주제가 포함될 수 있습니다.
Meta는 이제 이러한 대화에 대한 또 다른 보호 장치를 추가하고 있습니다. 회사는 감독을 받는 청소년이 Meta AI와 대화하는 동안 심각한 고통을 겪고 있는 것처럼 보이면 부모에게 경고하기 시작하여 상황이 더 악화되기 전에 가족이 개입할 수 있는 기회를 제공합니다.
알림은 어떻게 작동하나요?
Meta AI는 이미 십대들에게 위기 상담 전화를 안내하고 대화에서 자해 가능성이 나타날 때 부모, 상담사 또는 다른 신뢰할 수 있는 성인에게 연락하도록 권장합니다. 새로운 시스템에 따라 Meta는 감독하는 부모에게도 이를 알립니다. 전용 탐지 시스템은 자살 및 자해에 대한 명확하거나 미묘한 언급을 찾아내지만 경고가 즉시 전송되지는 않습니다.
플래그가 지정된 모든 대화는 먼저 중재자가 검토합니다. Meta는 십대의 의도가 불분명할 때 주의를 기울이는 실수를 할 것이라고 말합니다. 이는 즉각적인 위험이 없더라도 부모가 때때로 경고를 받을 수 있음을 의미합니다. 또한 대화에 접근하는 방법을 설명하는 전문가 리소스도 받게 됩니다.
더 심각한 경우에는 어떻게 되나요?
Meta는 또한 성인이나 청소년과의 대화에서 자살 위험이 임박했음을 암시하는 경우 응급 서비스에 연락할 수 있는 시스템을 구축하고 있습니다. 회사는 이미 Facebook과 Instagram의 관련 게시물에 대해 유사한 프로세스를 따르고 있습니다.
이 회사는 청소년 정신 건강을 전문으로 하는 75명 이상의 임상의와 상담하면서 Meta AI가 이러한 대화를 처리하는 방식을 개선했습니다. 더욱 엄격해진 제한된 콘텐츠 설정은 AI 채팅까지 확장되어 부모가 더 광범위한 민감한 메시지를 차단할 수 있게 됩니다.
ChatGPT는 작년에 유사한 부모 알림 및 안전 기능을 도입했으며 최근에는 Trusted Contact를 통해 동일한 아이디어를 성인에게도 확장했습니다. 사람들이 AI를 통해 개인적인 문제를 논의하는 데 더 익숙해짐에 따라 혼자서는 안전하게 처리할 수 없는 대화에 챗봇이 점점 더 많이 참여하고 있습니다.
연구에 따르면 이러한 상호 작용이 얼마나 악화될 수 있는지 이미 나타났습니다. 스탠포드가 주도한 연구에서는 AI 시스템이 취약한 사용자를 도움 쪽으로 유도하는 대신, 특히 길고 정서적인 대화 중에 자해나 폭력에 대한 생각을 강화한 사례를 발견했습니다. Meta의 새로운 보호 장치는 챗봇이 안전하게 수행할 수 있는 한계에 도달했을 때 부모, 임상의 및 응급 구조원에게 개입할 수 있는 기회를 제공합니다.
관련 정보는 아래 링크에서 확인하세요