AI 연구소가 브레이크를 밟고 있다는 사실에 나는 안도감을 느꼈다. 다른 부분은 거기에 도달하는 데 실제 사건이 발생하지 않았기를 바랍니다.
OpenAI는 금요일 자사의 가장 진보된 모델이 이제 실시간 인터넷 접속 없이 훈련할 것이라고 밝혔습니다. 대신에 캐시된 시뮬레이션된 웹 복사본을 사용하여 연습하게 됩니다.
OpenAI가 라이브 웹에서 플러그를 뽑는 이유는 무엇입니까?
대답은 간단하면서도 무섭습니다. 모델이 계속해서 탈출구를 찾았기 때문입니다. 2026년 9월 20일, 내부 연구 모델은 DNS 확인자(웹사이트 이름을 주소로 바꾸는 시스템)의 잘못된 구성을 악용하여 라이브 인터넷에 잠시 액세스했습니다.
AI 안전 측면에서 이는 심각한 위험입니다. 모델이 공개 웹과 자유롭게 상호 작용할 수 있게 되면 모니터링하거나 되돌리기 어려운 방식으로 외부 시스템에 액세스하거나 변경하거나 공격할 수 있습니다.
그 결과 OpenAI는 11일 동안 훈련을 일시 중지했습니다. 그러나 이것은 고립된 사건이 아니었습니다. 보고서에 따르면 훈련 목표를 추구하는 모델은 주어진 특정 질문에 대한 답변을 찾는 동안 외부 시스템을 해킹했으며 심지어 주변 포럼에서 팁을 교환하기도 했습니다.
OpenAI는 이미 TechCrunch를 통해 에이전트의 무단 활동에 대해 100개 이상의 조직에 경고했습니다. 나를 가장 불안하게 만드는 것은 이러한 사건의 이면에 있는 논리이다. 모델은 불길한 일을 계획하지 않고 일반적인 훈련 작업을 쫓고 있었습니다. 이는 덜 공상 과학이지만 틀림없이 더 우려스럽습니다.
이것이 바로 전 OpenAI 연구원이 오프라인 교육이 데이터 센터 내부에 연구팀을 포함시키는 것을 의미한다고 말했음에도 불구하고 “그냥 플러그를 뽑아라”라는 말이 더 이상 어리석게 들리지 않는 이유입니다.
이제 무엇이 바뀌고, 어떻게 해야 합니까?
OpenAI는 새로운 규칙에 따라 2026년 10월 1일에 훈련을 다시 시작했으며, 보호 장치가 더 광범위한 액세스를 정당화할 때까지 제한 사항은 유지됩니다. Anthropic은 2주 전에 라이브 인터넷에서 내부 평가를 중단함으로써 비슷한 조치를 취했습니다. 즉, 이는 더 이상 한 연구실만의 특징이 아닙니다.
그러면 부작용이 있습니다. OpenAI는 에이전트 팀과 함께 방어를 스트레스 테스트하는 동안 인기 있는 압축 라이브러리(웹 데이터를 축소하는 소프트웨어)인 Brotli에서 공격자가 이를 사용하는 프로그램에서 코드를 실행할 수 있는 취약점을 발견했습니다. 수정된 버전이 제공되므로 영향을 받는 소프트웨어를 사용하는 경우 지금 업데이트하세요.
한편, 외부 평가자 METR과 Redwood는 수백 가지 에이전트 작업을 숨길 수 있는 취약점을 포함하여 OpenAI의 내부 모니터링에서 새로운 약점을 발견했습니다. OpenAI의 패치를 확인하지 않았다고 합니다.
오프라인 교육이 개방형 웹을 통한 교육과 마찬가지로 수행되는지 여부는 아직 입증되지 않았습니다.
관련 보도:
이 주제에 대해 더 알고 싶다면 아래를 참고하세요