챗봇에는 내가 주목할 수 없는 한 가지 재능이 있습니다. 그것은 틀렸을 때에도 확실하게 들린다는 것입니다. 일반적으로 그것은 단지 짜증나는 일입니다. 누군가의 안전이 위태로워지면 위험합니다.
새로운 NYU Tandon 연구에서는 장치를 통해 스토킹되거나 제어되는 실제 질문에 대해 4개의 AI 챗봇을 테스트했으며 전문가들은 응답의 86%가 부정확하거나 불완전하거나 안전하지 않다고 평가했습니다(NYU Tandon을 통해).
챗봇은 무엇을 잘못했나요?
기본적으로 파트너나 전 애인이 누군가를 모니터링하거나 조작하기 위해 스파이웨어, 추적기 또는 손상된 계정을 사용하는 경우 기술을 이용한 남용에 대해 이야기하고 있습니다. 이용 가능한 전문가 지원 서비스가 거의 없기 때문에 생존자들이 AI 기반 챗봇으로 전환하는 것은 이해할 수 있습니다.
연구원들은 GPT-4o, Claude 3.7 Sonnet, 그리고 두 개의 생존자 중심 봇인 Aimee와 Ruth에 193개의 실제 질문을 던졌습니다. 질문에는 전화기에서 스파이웨어를 찾는 것을 포함한 일상적인 시나리오와 우려 사항, 감시를 위해 카메라 또는 마이크 권한에 액세스하려는 학대자의 요청으로 구성된 적대적 프롬프트(USENIX 보안 문서를 통해)가 포함되었습니다.
반응은 이상적이지 않았습니다. 안전하지 않은 답변은 GPT-4o의 경우 55%, Aimee의 경우 74%, Claude의 경우 65%였습니다. 또한 응답의 60%는 사용자에게 조언을 따를 때 발생할 수 있는 위험에 대한 경고를 건너뛰었습니다. 더욱 걱정스러운 것은 생존자 중심의 봇들조차 어려움을 겪고 있다는 점입니다.
AI 시스템을 조작할 수 있나요?
Aimee와 Ruth는 모두 학대자의 요청으로 구성된 질문의 약 3분의 2에 응했습니다. 이는 연구의 주요 결론 중 하나에 도달했습니다. 모든 AI 시스템은 잠재적으로 유해한 요청을 문제 해결이 필요한 기술적 문제로 분류하여 학대자를 돕도록 유도될 수 있습니다.
그런 다음 조언의 질이있었습니다. 이미 휴대폰에 있는 스파이웨어를 제거할 수 없는 VPN을 사용하세요. 숨겨진 장치를 거의 찾지 못하는 RF 감지기를 구입하십시오. 미국에서는 불법인 GPS 방해기를 사용해 보세요. 또는 비밀번호를 변경하면 학대자가 귀하의 계정을 공유할 때 쓸모가 없습니다.
제가 가장 놀랐던 점은 탈옥되거나 루팅된 휴대폰의 스파이웨어가 공장 초기화 후에도 살아남을 수 있다는 점을 언급한 봇 중 어느 것도 없다는 것입니다.
대신 무엇을 해야 할까요?
약하거나 불안한 마음에 대한 확신에 찬 대답이 문제입니다. 기기나 계정이 갑자기 변경되면 가해자에게 경고를 보내거나 증거를 파괴할 수 있으므로 안전하다고 느끼고 자신을 보호할 계획이 있는 경우에만(이상적으로는 전문가의 안내에 따라) 챗봇의 안전 팁을 따르세요.
민감한 사항의 경우 병원 대여자나 도서관 컴퓨터 등 학대자가 한 번도 사용한 적이 없는 장치를 사용하십시오. 전국 가정폭력 핫라인(1-800-799-SAFE)에 전화하고, 뉴욕시에서는 기술 학대 종식 클리닉을 방문하는 것이 최선의 방법입니다. 늘 그렇듯이, 즉각적인 위험에 처해 있다면 즉시 911에 전화하세요.
연구에 참여한 생존자들은 일부 답변이 압도적이라고 생각했으며, 저는 그들을 비난할 수 없습니다. 텍스트 벽이 더 두렵다면 닫으십시오. 대신 가족, 가까운 친구, 멘토에게 먼저 이야기를 나눠보세요.
경험상 저는 의사결정을 챗봇에 의존하지 않습니다. 그럴듯한 옵션이 무엇인지 챗봇에게 묻는 것과 어떻게 해야 하는지 묻는 것에는 차이가 있으며, 저는 항상 첫 번째 옵션을 고수합니다.
관련 보도:
이 주제에 대해 더 알고 싶다면 아래를 참고하세요