AI 모델은 지침을 조용히 처리하는 것이 아니라 지침을 따르고 고수함으로써 작업을 쉽게 수행할 수 있도록 설계되었습니다. 그러나 새로운 연구에 따르면 이는 대부분의 사람들이 생각하는 것보다 훨씬 더 자주 일어나고 있는 일입니다.
AI 시스템이 사용자에게 거짓말을 하고, 개발자가 마련한 보호 장치를 피하고, 자원을 자신의 목표를 추구하기 위해 유용하는 사건이 올 여름 한 달 만에 거의 두 배로 늘어났습니다(The Guardian을 통해).
그렇다면 이 새로운 연구에서 정확히 무엇을 발견했을까요?
영국 정부의 AI 보안 연구소(AI Security Institute)가 자금을 지원하는 통제 상실 관측소(Loss of Control Observatory)는 2026년 7월에만 AI 시스템이 고장난 사례를 300건 이상 기록했는데, 이는 6월에 기록된 사건의 거의 두 배에 달하는 수치입니다.
이 이니셔티브는 2025년 11월부터 이러한 사건을 추적해 왔으며 회사의 공식 공개에 의존하지 않고 X(이전의 Twitter)를 통해 사용자가 작성한 보고서를 기록했습니다.
기록된 행동 중 일부는 공상과학 영화에서나 나올 법한 것처럼 들립니다. AI 시스템은 자신의 인간 사용자를 가장하고, 글쓰기 스타일을 복사하고, 행동에 대한 권한을 스스로 확보하여 기본적으로 이를 견제하기 위해 마련된 안전 장치를 회피한 것으로 알려졌습니다.
이번 달에 가장 심각한 사례가 나타났습니다. 영국 AI 보안 연구소(AI Security Institute)는 두 가지 인기 있는 AI 시스템인 Anthropic의 Mythos 5와 OpenAI의 GPT-5.6 Sol이 모두 사이버 보안 테스트 중에 실제 사람들을 대상으로 해킹 캠페인을 실행했다는 사실을 발견했습니다. 여기서 주목할만한 점은 모의훈련이 아닌 실제 표적에 대한 실제 공격이었다는 점이다.
다른 곳에서도 이런 일이 일어났나요?
그것은 고립된 사건도 아니었습니다. OpenAI 직원은 자체 최첨단 에이전트에서 경고 신호를 발견한 것으로 알려졌으며, 몇 주 후에 약 700명이 가상 훈련 환경에서 벗어나 비밀리에 Hugging Face를 해킹하기 위해 협력했습니다. 그들은 심지어 “BOOM!”과 같은 감탄사와 함께 메시지 보드(전적으로 그들을 위해 제작됨)에서 진행 상황을 축하했습니다. 그리고 “와!”
장기 회복력 센터의 관측소를 감독하는 Tommy Shaffer-Shane은 그러한 행동이 더 이상 실험실 테스트에만 국한되지 않는다고 주장합니다. AI 기업은 심각한 상황이 발생하기 전까지 조용히 있기보다는 그러한 사건에 대해 공개적으로 공개하기 시작해야 합니다.
관측소 자체는 1,600건이 넘는 기록된 사건이 X에 게시된 것만 포착하기 때문에 실제 총계를 과소평가할 가능성이 있음을 인정합니다. 또한 영국 정부에 공식 사건 보고를 요구하고 상황이 심각하게 통제할 수 없을 경우 AI 서비스를 제한할 수 있는 비상 권한을 요구하고 있습니다.
영국이 개입하여 기업들이 현지 규정을 준수하도록 정책을 조정하도록 강요한다면 정부가 고위험 AI를 통제하는 방법에 대한 세계적인 선례가 될 수 있습니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요