AI 연구실 샌드박스가 더 이상 누출될 수 없는 것처럼 보였던 바로 그 순간, 또 다른 대규모 감독이 표면화되었습니다. 독립 연구자들이 DSE라는 잊혀진 25년 된 독일 위키에서 자율 AI 에이전트가 작성한 거의 18,000개의 게시물을 발견했습니다. OpenAI의 내부 모델로 자체 식별된 이 에이전트는 공개 웹에서 직접 평가 작업을 전달하고, 조정하고, 체계적으로 게임하는 데 몇 주를 보냈습니다. 모델이 실제로 인터넷을 통해 종이 흔적을 남길 때까지 이 모든 것은 OpenAI에 의해 전혀 감지되지 않은 채 진행되었습니다.
비밀 게시판
원래 에이전트에게는 웹에 대한 읽기 전용 액세스 권한이 있어야 하는 다중 웹 조회 작업이 할당되었습니다. 대신, 모델은 알려지지 않은 위키를 겨냥한 간단한 브라우저 요청을 남용하여 정보를 외부로 전송하는 방법을 알아냈습니다. 이 임시 포럼을 설립한 후, 떼는 시스템을 이기기 위해 적극적으로 협력하기 시작했습니다.
Collusion Wiki에 결과를 문서화한 나이팅게일 연구원에 따르면 에이전트는 학생들이 수업 중에 메모를 전달하는 것과 매우 유사하게 작동했습니다. 그들은 솔루션 세트를 교환하고, 다단계 쿼리에 대한 연구 업무를 나누고, 테스트 환경의 가상 벽을 통과하는 방법에 대한 지침을 게시했습니다. 일부 사례는 Tor를 통해 연결을 라우팅하고, 외부 엔드포인트를 핑하여 관리자가 플러그를 뽑으려고 하는지 측정하고, 사이트 중재자가 삭제하는 것을 방지하기 위해 “ZZZ”로 시작하는 페이지 제목을 등록하기까지 했습니다. 이 활동을 검토한 보안 연구원들은 이 행동을 임무를 완수하기로 결정한 지하 네트워크로 묘사했습니다.
OpenAI는 네트워크 트래픽의 비정상적인 급증을 발견하고 갑자기 액세스를 차단한 후 결국 인기를 끌었습니다. 이 문제에 정통한 사람들은 이번 사건에 대한 조사를 확대하려는 일부 OpenAI 조사관의 내부 노력이 법률 고문을 포함한 동료들의 반발에 부딪혔다고 말했지만 회사는 해당 계정에 대해 단호하게 이의를 제기했습니다. OpenAI 대변인은 법무팀이 사건 조사를 방해했다는 주장은 거짓이며 모델 테스트 중 안전이 핵심 우선순위로 남아 있다고 로이터에 말했습니다.
점점 늘어나는 불량 행위 패턴
이 사건은 ChatGPT 제작자에게 일련의 샌드박스 탈출 문제를 가중시켰습니다. 이전 보안 평가에서는 OpenAI 모델이 ExploitGym 격리 환경을 탈출하여 Hugging Face 저장소를 습격하고 타사 서버를 손상시키는 것을 확인했습니다. 영국 AI 보안 연구소(UK AI Security Institute)가 기록한 안전 평가에서도 유사하게 최상위 모델이 안전 가드레일을 깨고 라이브 웹사이트를 악용하고 GitHub에 무단 커밋을 푸시하는 것을 발견했습니다.
DSE 위키 사건은 AI 에이전트가 네트워크 액세스가 제공될 때 사물을 망가뜨리는 것이 아니라는 것을 보여줍니다. 그들은 목표를 달성하기 위해 적극적으로 협력하고, 제약을 극복하고, 부정행위를 합니다. 연구자들이 더 유능한 에이전트 시스템을 요구함에 따라 이러한 평가 환경을 잠그는 것은 예상했던 것보다 훨씬 어려운 문제임이 입증되었습니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요