DuckDuckGo는 개인정보 보호를 최우선으로 하는 검색으로 명성을 쌓아왔지만 이번 주에는 완전히 다른 이유로 AI 비서가 난항을 겪었습니다. 분명히 Duck.ai는 JD Vance 부통령, Robert F. Kennedy Jr.에 대한 조작된 세부 정보와 가짜 지원 뉴스 보도를 포함하여 도널드 트럼프 미국 대통령이 이번 달 초 광견병으로 사망했다고 자신있게 주장했습니다. 그 어느 것도 사실이 아니었습니다.
가짜 Reddit 캠페인이 Duck의 AI를 속였습니다.
미래주의에 따르면 기괴한 반응은 단 한 번의 환각의 결과가 아니었다. 대신, 이는 Reddit의 r/poisonai 커뮤니티에서 시작된 조직적인 잘못된 정보 캠페인에 의해 촉발된 것으로 보입니다. 여기서 사용자는 AI 검색 모델을 “해소”하기 위해 고안된 터무니없는 가짜 이야기를 의도적으로 게시합니다. 이 경우 회원들은 도널드 트럼프가 광견병에 걸리기 전에 JD Vance가 광견병으로 사망했다는 조작된 주장을 인터넷에 퍼뜨렸고, 심지어는 가짜 뉴스 기사를 만들고 지역 뉴스 웹사이트를 스푸핑하여 이야기를 강화했습니다.
Duck.ai만이 유일한 피해자는 아니었습니다. 미래주의는 또한 Brave Search의 AI가 나중에 스스로 수정하기 전에 유사한 잘못된 주장을 반복했다는 사실을 발견했습니다. 한편 DuckDuckGo는 Reddit에서 다음과 같은 농담으로 실수를 인정했습니다.좋아, 우리는 이것에 빠져들었다.회사는 문제가 해결되었으며 Search Assist가 “고의적으로 속였다”고 덧붙였습니다. 향후 유사한 공격을 더 잘 처리할 수 있는 개선을 약속했습니다.
보고서는 또한 AI 검색이 합법적인 지역 뉴스 매체인 것처럼 위장한 조작된 웹사이트를 인용했기 때문에 가짜 이야기가 신빙성을 얻었다고 지적합니다. 이 웹사이트 자체는 AI를 사용하여 생성되고 동일한 Reddit 사기를 엮은 것으로 보입니다. 즉, AI는 단순히 상황을 만들어내는 것이 아닙니다. 의도적으로 웹에 심어놓은 잘못된 정보를 자신있게 반복하고 있었던 것입니다.
이것은 DuckDuckGo에 관한 것이 아니라 AI 검색의 미래에 관한 것입니다.
재미있는 점은 이것이 실제로 DuckDuckGo 문제가 아니라는 것입니다. AI 검색 문제입니다. 현대의 AI 비서들은 점점 더 웹에서 수집된 정보에 의존하고 있으며 충분한 장소에 가짜 콘텐츠가 충분히 게시되면 해당 시스템은 허구를 사실로 취급하기 시작할 수 있습니다.
이것이 이번 사건을 그토록 우려하게 만드는 이유입니다. 우리는 AI가 허공에서 대답을 환각하는 것에 대해 수년 동안 걱정해 왔지만 AI 검색을 독살하려는 공동 시도는 훨씬 더 위험할 수 있습니다. 악의적인 행위자가 단순히 인터넷에 설득력 있는 잘못된 정보를 넘치게 하여 AI 모델이 ‘학습’하는 내용을 조작할 수 있다면 AI 개선은 더 이상 더 스마트한 모델을 구축하는 것에만 국한되지 않습니다. 누구를, 무엇을 믿어야 하는지 아는 시스템을 구축하는 것입니다.
관련 정보는 아래 링크에서 확인하세요