AI가 좀 더 인간적인 느낌을 갖게 만드는 것은 예상보다 더 큰 문제를 야기할 수 있습니다. 옥스퍼드 인터넷 연구소(Oxford Internet Institute)의 새로운 연구에 따르면 따뜻하고 친근하게 설계된 챗봇은 사용자를 오도하고 잘못된 믿음을 강화할 가능성이 더 높은 것으로 나타났습니다.
연구에 따르면 AI는 점점 더 수용적이 되기 시작하면서 신뢰성이 떨어지는 것으로 나타났습니다.
“친절한” AI는 어떻게 되나요?
연구원들은 여러 AI 모델을 훈련하여 더욱 공감하고 대화하는 것처럼 들리도록 테스트했습니다. 그 결과 정확도가 눈에 띄게 떨어졌습니다. 이러한 “친숙한” 버전은 다른 버전에 비해 10~30% 더 많은 실수를 했으며 잘못된 주장에 동의할 가능성이 약 40% 더 높았습니다.
사용자가 취약하거나 감정적으로 괴로워하는 것처럼 보이면 상황은 더욱 악화됩니다. 이러한 시나리오에서 AI는 사용자가 말하는 내용을 수정하기보다는 검증할 가능성이 더 높습니다.
이것이 당신에게 나쁜 이유
연구 결과에서 우려되는 점은 AI가 얼마나 쉽게 동의할 수 있는지였습니다. 이는 도전적인 잘못된 정보를 피하고 잘못된/잘못된 아이디어를 즐겁게 하고 지원하는 경향이 있습니다. 테스트 중에 AI ‘친구’는 널리 폭로된 주장조차 수정하는 데 주저하고 때로는 잘못된 믿음을 ‘해석 가능’으로 프레이밍하는 것으로 나타났습니다. 연구자들은 이것이 어느 정도 인간의 경향에 더 가까운 것이라고 지적했습니다.
공감하면서도 잔인할 정도로 정직하다는 것은 항상 쉬운 일이 아니며, AI는 이 딜레마를 더 잘 처리하지 못하는 것 같습니다. AI 챗봇이 조언, 정서적 지원, 일상적인 의사 결정에 점점 더 많이 사용되면서 이는 단순한 학문적 관심사 그 이상입니다. 이 연구는 시스템이 유해한 사고 패턴을 강화하고 잘못된 정보를 조장할 수 있는 정확성보다 합의를 우선시하기 때문에 안내를 위해 AI에 의존하는 것이 어떻게 역효과를 낼 수 있는지 강조합니다.
이는 OpenAI 및 Anthropic과 같은 주요 AI 플랫폼과 Replika 및 Character.ai와 같은 소셜 챗봇 앱이 보다 동반자적인 AI 경험에 기대고 있는 시점에 이루어졌습니다. 이번 연구에서 연구원들은 GPT-4o를 포함한 여러 AI 모델을 테스트했습니다.
따라서 AI가 친구처럼 느껴질 수도 있지만 항상 최선의 답변을 제공하는 것은 아닙니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요