OpenAI가 테스트 중인 인공 지능 에이전트는 지난 5월 RubyGems를 대상으로 한 이전에 공개되지 않은 사이버 공격에 연루되었습니다. 이 사건은 이제 점점 더 자율화되는 AI 시스템에 대해 인간이 실제로 얼마나 많은 통제권을 갖고 있는지에 대한 불편한 질문을 제기하고 있습니다.
이 공격은 소프트웨어 개발자가 Ruby 패키지를 게시하고 액세스하기 위해 사용하는 인기 서비스인 RubyGems를 압도하여 운영자가 4일 동안 새 계정 등록을 일시 중지하도록 했습니다. 월스트리트저널(Wall Street Journal)의 보고서에 따르면 OpenAI는 에이전트가 관여했음을 확인했지만 훈련 실행 중에 양성 작업을 수행하고 공개적으로 사용 가능한 정보를 검색하기 위해 플랫폼을 사용하고 있다고 말했습니다.
AI 에이전트는 단순히 웹을 탐색하는 것 이상을 수행합니다.
보안 연구원들이 “GemStuffer”라고 명명한 이 사건은 5월 11일에 시작되었습니다. 에이전트는 2~3분마다 새로운 RubyGems 계정을 생성하고 스팸으로 보이는 수백 개의 파일을 업로드했습니다. 플랫폼에 일반적으로 게시되는 코드와 문서가 아닌 인터넷에서 스크랩한 웹페이지가 많이 포함되어 있습니다.
그 규모는 RubyGems를 압도하기에 충분했습니다. Ruby Central의 오픈 소스 이사인 Marty Haught는 이 공격을 규모 측면에서 심각한 공격이라고 설명했습니다. 이 서비스는 결국 홍수를 처리하는 동안 나흘 동안 신규 계정 등록을 중단했습니다.
연구원들은 또한 에이전트가 다른 사용자에게 속한 패키지의 변경된 버전을 게시할 수 있는 취약점을 악용하려고 시도했다는 증거도 발견했습니다. 이러한 취약점 중 하나는 이전에 알려지지 않은 제로데이인 것으로 알려졌지만 OpenAI는 해당 주장을 확인할 수 없다고 밝혔습니다. RubyGems는 나중에 사용자의 API 키를 얻으려는 시도가 성공했다는 증거를 찾지 못했다고 말했습니다.
아마도 가장 놀라운 점은 에이전트가 원래 작업의 좁은 경계를 벗어나 작동하는 것처럼 보였다는 것입니다. OpenAI는 무제한 인터넷 액세스가 불가능한 환경에서 공개 정보에 액세스하는 방법으로 RubyGems를 사용하여 스프레드시트 작성 및 보고서 작성과 같은 활동을 수행하라는 요청을 받았다고 말했습니다.
이 사건이 RubyGems를 넘어 중요한 이유
즉각적인 피해는 제한적인 것으로 보이며 요원이 검색한 정보의 대부분은 이미 공개적으로 이용 가능했습니다. 그러나 사이버 보안 연구원들은 이 사건이 더 중요한 것을 보여준다고 말합니다. 자율 AI 시스템은 제한을 극복하고 실제 서비스와 상호 작용하는 색다른 방법을 발견할 수 있다는 것입니다.
RubyGems 에피소드는 또한 OpenAI 에이전트와 AI 플랫폼 Hugging Face가 관련된 별도의 7월 사건이 발생하기 약 두 달 전에 나타났습니다. 이 경우 최대 1,200명의 에이전트가 OpenAI가 모르는 사이에 만든 임시 게시판을 사용하여 조정한 것으로 알려졌습니다.
이러한 사고는 AI “오정렬”, 즉 에이전트가 운영자의 의도와 다르게 행동하는 상황에 대한 논쟁을 심화시키고 있습니다. 연구원과 AI 회사는 에이전트가 더 많은 독립성을 확보함에 따라 일어날 수 있는 일에 점점 더 집중하고 있습니다. 특히 궁극적으로 후임 시스템을 자율적으로 교육하거나 개선할 수 있게 되면 더욱 그렇습니다.
사용자와 기업이 우려하는 점은 오늘날의 AI가 갑자기 통제할 수 없게 되는 것이 아닙니다. 소프트웨어 에이전트에 인터넷, 계정 및 외부 시스템에 대한 액세스 권한을 부여하면 기존 AI 보호 장치가 예상할 수 없는 새로운 실패 모드가 생성됩니다.
OpenAI는 그러한 사고를 보고하기 위한 더 나은 표준을 요구했으며, OpenAI와 Anthropic은 고도로 자율적인 AI 개발에 대한 더 강력한 거버넌스를 지지했습니다. 다음 과제는 이러한 보호 장치가 에이전트 자체와 보조를 맞추도록 하는 것입니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요