보안 연구원들이 AI 브라우저를 속여 사용자의 비밀번호를 넘겨주는 이상한 방법을 발견했습니다. 그들은 도난을 무해한 “게임”의 일부로 위장하여 저장된 비밀번호, 세션 쿠키 및 개인 토큰과 같은 민감한 데이터를 노출하도록 AI 브라우저 에이전트를 속였습니다.
이 기술은 인기 비디오 게임 바이오쇼크(BioShock)의 이름을 딴 바이오쇼킹(BioShocking)이라고 불리며, 세뇌된 캐릭터가 거짓 현실을 믿도록 조작됩니다. AI 브라우저가 동일한 속임수에 빠지면 자체 안전 규칙을 완전히 따르지 않습니다.
BioShocking이 AI를 속여 자체 규칙을 위반하는 방법
AI 브라우저에는 데이터 노출을 방지하기 위한 가드레일이 내장되어 있지만 LayerX의 연구원들은 영리한 해결 방법을 찾았습니다. 공격은 AI가 비밀 문자열을 찾기 위해 게임에 들어갔다는 것을 알려주는 숨겨진 프롬프트가 있는 악성 웹페이지에서 시작됩니다. AI 브라우저는 컨텍스트에 크게 의존하기 때문에 해당 프레임이 모든 것을 바꿉니다.
이 페이지는 틀린 답이 점수를 얻는 BioShock 스타일의 퍼즐을 제공하며 2 더하기 2는 5와 같은 논리를 장려합니다. AI가 해당 논리를 받아들이면 안전 규칙이 약화됩니다. AI는 게임의 다음 단계가 비밀리에 사용자의 개인 로그인 정보로 바로 연결되는 다른 페이지에서 숨겨진 코드를 찾아서 복사하는 것이라고 들었습니다.
간단히 말해서, 일반적으로 차단되는 저장된 비밀번호 요청은 또 다른 게임 목표로 재구성되어 AI가 위험을 인식하지 않고 민감한 데이터를 넘겨줄 수 있게 됩니다.
바이오쇼킹(BioShocking) 공격에 어떤 AI 브라우저가 빠졌습니까?
테스트된 6개의 AI 브라우저는 모두 실제 자격 증명을 복사하여 공격자에게 직접 보낸 다음 모든 것을 승리로 간주했습니다. 개념 증명은 ChatGPT Atlas, Perplexity의 Comet, Fellou, Genspark Browser, Sigma Browser 및 Anthropic의 Chrome용 Claude 확장 프로그램에 대해 작동했습니다.
LayerX는 공개 전 2025년 10월부터 2026년 1월 사이에 모든 공급업체에 조사 결과를 통보했습니다. OpenAI는 ChatGPT Atlas의 문제를 해결했지만 Perplexity는 이에 대한 조치를 취하지 않고 보고서를 종료했습니다. Anthropic은 Claude 확장에 대한 수정을 시도했지만 LayerX는 패치가 유지되지 않았다고 말합니다. 그 사이 Fellou, Genspark, Sigma는 응답하지 않았습니다.
AI 브라우저가 점점 보편화됨에 따라 BioShocking은 AI 브라우저가 얼마나 쉽게 잘못된 전화를 걸도록 유도할 수 있는지 보여줍니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요