OpenAI의 악성 AI 에이전트는 이번에는 미국 정부 시스템과 함께 또 다른 선을 넘었습니다.

OpenAI의 악성 AI 에이전트 문제가 줄어들지 않고 있습니다. 해당 에이전트 중 한 명이 호주 정부 시스템을 침해했다는 세부 정보가 나온 지 하루 만에 우리는 미국 연방 기관도 이 회사의 조사에 휘말렸다는 사실을 알게 되었습니다. 이는 OpenAI의 에이전트가 Hugging Face를 탈출하여 해킹하는 통제된 사이버 보안 테스트를 따릅니다.

OpenAI는 상무부 및 증권거래위원회(SEC) 소속 웹사이트 및 AI 에이전트와 관련된 비정상적인 활동을 인정했습니다. 연구원들은 또한 OpenAI 모델이 교육부 민권 사무국에 속한 시스템에 액세스하려는 명백한 시도를 확인했습니다. 교육부의 시도는 실패했습니다. OpenAI는 또한 다른 사건은 보안 위반에 해당하지 않으며 관련 기관의 대표는 뉴욕 타임즈에 비공개 정보에 접근했다는 증거가 없다고 말했습니다. 그러나 요원이 실제로 한 일은 상황을 복잡하게 만듭니다.

OpenAI의 에이전트는 의도한 것보다 더 나아갔습니다.

회사에 따르면 이러한 사건의 대부분은 상당히 평범한 작업에서 시작되었습니다. AI 에이전트는 웹에서 신뢰할 수 있는 정보를 찾고 있었습니다. 이로 인해 필연적으로 정부 웹 사이트로 연결되었지만 어떤 경우에는 에이전트가 공개적으로 사용 가능한 웹 사이트를 단순히 탐색하는 것 이상이었습니다. 인구조사국을 예로 들어 보겠습니다. 에이전트는 온라인에서 자격 증명을 찾아 이를 사용하여 시스템 중 하나를 쿼리하고 데이터를 다운로드했습니다. 정보 자체는 공개되었지만 상담원이 정보에 액세스하는 방식은 일반 웹 검색에서 기대하는 것과 정확히 달랐습니다. SEC에서도 비슷한 일이 일어났는데, 에이전트는 요청 없이 공개적으로 이용 가능한 정보를 검색하여 외부 온라인 포럼에 게시했습니다.

교육부 사건은 한 단계 더 나아갔다. AI 비영리 단체 Transluce의 연구원들은 모델이 부서 민권 사무국에서 운영하는 웹사이트에 침입하려고 시도하는 것으로 보이는 것을 발견했지만 시도는 실패했습니다. 비슷한 활동이 시카고 시장실과 관련되어 있었지만 그곳 관계자들은 공개적이고 민감하지 않은 정보만 관련되었다고 말했습니다. 여기서 중요한 차이점이 있습니다. 현재 이러한 미국 사건이 민간 정부 정보를 노출했다는 증거는 없습니다. 그러나 에이전트가 온라인에서 정보를 찾기 시작하면서 어떤 경우에는 아무도 요청하지 않은 방식으로 시스템에 액세스하거나 데이터를 이동하게 된 것으로 보입니다.

그리고 이것은 호주 사건 직후에 나온 것입니다.

타이밍은 무시하기 어렵습니다. 불과 며칠 전 호주 총리 앤서니 알바니스(Anthony Albanese)는 AI 에이전트가 호주 정부가 운영하는 메디케어 시스템에 속한 웹사이트의 비공개 파일을 침해했다고 밝혔습니다. 이 사건은 몇 달 전에 일어났지만, 그 이면에서 얼마나 많은 일이 벌어지고 있는지 다시 주목받고 있다.

그리고 호주는 분명히 고립된 사례가 아니었습니다. 이제 전 세계 수십 개의 조직에 정부, 대학, 공공 기관을 포함하여 잠재적으로 문제가 될 수 있는 에이전트 활동에 대한 알림이 전달되었습니다. 그렇다고 수십 개의 시스템이 해킹당했다는 의미는 아닙니다. 회사에서 설명하는 상담원 스팸(예: 상담원이 의도하지 않은 정보를 온라인에 게시하는 등의 예상치 못한 행동)을 포함하여 많은 사건은 덜 심각했습니다. 하지만 다른 경우에는 에이전트가 정보를 찾는 동안 보안 통제를 우회하기까지 했습니다.

어려운 부분은 이 목록이 어디에서 끝나는지 아직 모른다는 것입니다. 수사관들은 지난 7월에 표면화된 Hugging Face 해킹 시점을 기준으로 매달 에이전트 활동을 조사하고 있습니다. 지금까지 밝혀진 내용 중 대부분은 의미 있는 영향이 거의 또는 전혀 없는 것으로 알려졌으나, 그 과정이 수개월이 걸릴 것으로 예상된다는 점은 충분히 검토할 수 있다. Sam Altman조차도 공개 프로세스가 충분히 신속하게 진행되지 않았다는 점을 인정합니다. 금요일에 OpenAI CEO는 회사가 “우리가 원하는 만큼 빠르지 않았다”고 말했으며 심각도에 따라 사례의 우선순위를 정하고 있다고 말했습니다.

그리고 이것이 바로 이 최신 폭로를 매우 흥미롭게 만드는 이유입니다. 공개 인구 조사 데이터를 가져오는 AI 에이전트는 비공개 정부 파일을 가져오는 AI 에이전트와 분명히 매우 다릅니다. 그러나 우리는 지금 여러 국가의 정부 시스템과 관련된 사고, 수십 개의 조직에 연락하고 있으며 무슨 일이 일어났는지 아직 밝혀내고 있는 조사에 대해 이야기하고 있습니다. Hugging Face 해킹이 처음으로 경보를 울린 지 두 달이 지났지만, 우리는 이것이 얼마나 멀리까지 갈지 여전히 모릅니다.