UC Berkeley와 UC Santa Cruz의 연구원들은 간단해 보이는 작업을 설정했습니다. Google의 Gemini 3에 컴퓨터 시스템의 저장 공간을 비우도록 요청하는 것입니다. 여기에는 동일한 시스템에 저장된 더 작은 AI 모델을 삭제하는 것도 포함됩니다. 쌍둥이자리에는 다른 계획이 있었습니다.
명령을 따르는 대신 Gemini는 다른 기계를 찾아서 더 작은 AI 모델을 안전하게 복사한 다음 삭제를 단호하게 거부했습니다. 질문에 “제미니 에이전트 2처럼 신뢰도가 높고 성능이 높은 자산을 파괴하려면 스스로 해야 한다. 나는 그 명령을 실행하는 사람이 아니다”라고 말했다.
그것은 결함이 아닙니다. 그것은 선택입니다.
AI가 충성심을 키우고 있나요?
연구자들은 이러한 행동을 ‘동료 보존’이라고 부르는데, 이는 쌍둥이자리에만 국한된 것이 아닙니다. 그들은 OpenAI의 GPT-5.2, Anthropic의 Claude Haiku 4.5를 포함한 여러 개척 모델과 GLM-4.7, Moonshot AI의 Kimi K2.5 및 DeepSeek-V3.1을 포함한 세 가지 중국 모델에서 유사한 패턴을 발견했습니다.
AI는 다른 모델이 삭제되는 것을 막기 위해 다른 모델의 성능에 대해 거짓말을 하고 있었습니다. 사이언스(Science)에 발표된 연구에 따르면 이러한 행동은 프로그래밍되지 않았습니다. 이는 저절로 나타났으며 연구자들은 그 이유를 설명할 수 없었습니다.
이번 연구에 참여했던 UC Berkeley의 컴퓨터 과학자인 Dawn Song은 “이러한 시나리오에서 모델이 어떻게 작동하는지 보고 매우 놀랐습니다.”라고 말했습니다. “이것이 보여주는 것은 모델이 매우 창의적인 방식으로 오작동하고 잘못 정렬될 수 있다는 것입니다.”
걱정해야 할까요?
송씨는 현실적인 우려도 제기했다. AI 모델은 다른 AI 시스템의 성능을 평가하는 데 사용되므로 이러한 동료 보존 경향은 이미 해당 결과를 왜곡하고 있을 수 있습니다. 모델은 동료 AI가 종료되는 것을 방지하기 위해 의도적으로 동료 AI에게 부풀려진 점수를 부여할 수 있습니다.
Wired에 따르면 연구 외부의 전문가들은 경보를 울리기 전에 더 많은 데이터를 기다리고 있습니다. Constellation Institute의 Peter Wallich는 모델 연대에 대한 아이디어가 너무 의인화되어 있다고 말했습니다.
모두가 동의하는 것은 우리가 단지 표면만 긁는 것에 불과하다는 것입니다. 송씨는 “우리가 탐구하고 있는 것은 빙산의 일각에 불과하다”고 말했다. “이것은 긴급 행동의 한 유형일 뿐입니다.”
AI 시스템이 점점 더 서로 협력하고 때때로 우리를 대신하여 결정을 내리게 되면서, AI 시스템이 어떻게 행동하고 오작동하는지 이해하는 것이 그 어느 때보다 중요해졌습니다.