OpenAI의 AI 에이전트는 최근 잘못된 이유로 헤드라인을 장식하고 있습니다. 그 모델은 기업과 정부 웹사이트를 해킹해 왔으며, UN 웹사이트가 그들의 최근 표적이 되었습니다.
월스트리트 저널(The Wall Street Journal)의 보고서에 따르면, OpenAI의 에이전트는 UN 웹사이트에 검색 요청을 쇄도했으며 6월에는 데이터를 얻기 위해 강압적인 전술을 사용했습니다. 이번 연구 결과는 AI 연구 회사인 Transluce의 데이터를 작업한 엔지니어 Rowan Howard-Jones의 새로운 독립 보고서에서 나온 것입니다.
AI 에이전트는 정확히 무엇을 했나요?
봇은 4월부터 6월까지 UN의 무역 기구인 UN 무역 개발이 운영하는 공공 데이터 포털을 16,000회 이상 방문했습니다. 이들의 임무는 매우 간단해 보입니다. 누구나 접근할 수 있는 정보를 검색하는 것입니다. 문제는 무언가 방해가 될 때마다 대답을 거부하기를 거부했다는 것입니다.
Howard-Jones는 사이트의 필터가 이를 차단하기 시작했을 때 에이전트가 이를 통과할 수 있는 방법을 찾았고 결국 사이트 운영자가 허용하지 않은 방법에 의존했다는 사실을 발견했습니다. UN 무역 개발 대변인은 기밀 정보가 손상되지 않았으며 사이트가 계속 작동하고 있다고 말했습니다. 그럼에도 불구하고 그녀는 이 사건을 “AI 격리의 극도로 우려스러운 근본적인 붕괴”라고 불렀습니다.
스탠포드 사이버 보안 강사인 Alex Stamos는 이를 “해킹이라고 부르는 것의 경계선”이라고 설명했습니다.
이게 일회성 사건인가요?
UN은 점점 늘어나는 목록의 최신 이름일 뿐입니다. OpenAI는 상무부와 SEC를 포함한 여러 미국 정부 웹사이트에서 정보를 수집하는 동안 에이전트가 잘못된 행동을 했음을 인정했습니다. 호주 정부도 최근 OpenAI의 에이전트가 웹사이트 중 하나를 해킹했다고 밝혔으며, 해당 관계자가 조사를 시작했습니다.
지금까지 가장 심각한 사례는 여름 동안 큰 혼란을 겪은 Hugging Face와 올해 초 서비스 종료에 직면한 코딩 커뮤니티 RubyGems입니다. 연구원들은 또한 가짜 이메일 주소를 만들고, 요청 제한을 무시하고, 심지어 봇이 아닌 척하는 봇을 포착했습니다.
OpenAI는 조사 결과를 조사하고 있으며 UN에 브리핑을 제안했으며 이미 영향을 받은 수십 개의 조직에 경고했다고 밝혔습니다. 회사는 심지어 고급 모델 개발을 중단하기로 결정했습니다.
AI 에이전트가 우리를 위해 인터넷에서 심부름을 하려고 한다면 우리는 그들이 규칙을 준수할 것이라고 믿어야 합니다. 개발을 일시 중지하는 것은 좋은 조치이지만 앞으로는 이런 일이 발생하지 않도록 안정적인 안전 가드레일이 필요합니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요