파괴된 서버 및 DoS 공격: OpenClaw AI 에이전트가 상호 작용할 때 발생할 수 있는 일

ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.

---

ZDNET의 주요 시사점

• 새로운 AI 위험은 에이전트가 상호 작용할 때 나타납니다.
• 위험은 에이전트 소프트웨어 설계의 근본적인 결함을 반영합니다.
• 근본적인 결함을 해결하는 책임은 개발자에게 있습니다.

---

에이전트에 대한 감독, 측정 및 제어가 부족함을 기록한 MIT 및 공동 작업자의 지난주 보고서와 같이 에이전트 AI의 위험을 지적하는 작업이 점점 늘어나고 있습니다.

하지만 한 AI 에이전트가 다른 AI 에이전트를 만나면 어떻게 될까요? 스탠포드 대학교, 노스웨스턴 대학교, 하버드 대학교, 카네기 멜론 대학교 및 기타 여러 기관의 학자들이 이번 주에 발표한 보고서에 따르면 상황이 더욱 악화될 수 있다는 증거가 있습니다.

또한: MIT 연구에 따르면 AI 에이전트는 빠르고 느슨하며 통제 불능입니다.

에이전트 간 상호 작용의 결과는 서버 컴퓨터의 파괴, 서비스 거부 공격, 컴퓨팅 리소스의 막대한 과소비 및 “사소한 오류가 치명적인 시스템 오류로 체계적으로 확대되는 것”이었습니다.

“에이전트가 서로 상호 작용할 때 개별 실패가 복합화되고 질적으로 새로운 실패 모드가 나타납니다.”라고 Northeastern University의 주요 저자인 Natalie Shapira와 보고서 ‘Agents of Chaos’의 공동 작업자가 썼습니다.

Shapira와 팀은 “이것은 우리 연구 결과의 중요한 차원입니다. 다중 에이전트 배포가 점점 일반화되고 대부분의 기존 안전 평가가 단일 에이전트 설정에 초점을 맞추고 있기 때문입니다.”라고 썼습니다.

최근 봇 소셜 플랫폼인 Moltbook에 대한 열광으로 다중 에이전트 상호 작용이 AI의 주류로 급부상했다는 점을 고려하면 이번 연구 결과는 특히 시의적절합니다. 이러한 종류의 다중 에이전트 허브를 사용하면 에이전트 AI 시스템이 데이터를 교환하고 루프에 사람이 거의 없이 이전에는 불가능했던 명령을 서로 수행할 수 있습니다.

또한: 인력을 소외시키지 않고 AI를 통해 비즈니스를 성장시키는 5가지 방법

arXiv 사전 인쇄 서버에서 다운로드할 수 있는 이 보고서는 적대적인 행동을 시뮬레이션하여 시스템의 약점을 찾으려는 시도와 함께 2주에 걸쳐 상호 작용하는 에이전트에 대한 ‘레드 팀’ 테스트를 설명합니다.

연구에서 드러난 것은 인간이 대부분 부재하는 시스템이다. 봇은 정보를 주고받고 서로에게 명령을 수행하도록 지시합니다.

많은 혼란스러운 발견 중에는 잠재적으로 파괴적인 지침을 다른 에이전트에게 전파하는 에이전트, 에코 챔버를 통해 나쁜 보안 관행을 상호 강화하는 에이전트, 잠재적으로 끝없는 상호 작용에 참여하여 명확한 목적 없이 막대한 시스템 리소스를 소비하는 에이전트가 있습니다.

가장 잠재적인 위험 중 하나는 에이전트 간의 상호 작용으로 인해 잘못된 작업의 소스가 모호해짐에 따라 책임이 상실되는 것입니다.

또한: AI 에이전트를 위한 Moltbook의 소셜 미디어 플랫폼이 나를 두렵게 하는 이유

Shapira와 팀은 이 증후군을 다음과 같이 특징지었습니다. “에이전트 A의 행동이 에이전트 B의 반응을 촉발하고, 이는 다시 인간 사용자에게 영향을 미치며, 단일 에이전트나 기존 소프트웨어 시스템에서는 명확한 선례가 없는 방식으로 책임의 인과 사슬이 확산됩니다.”

Shapira와 팀은 보고서 작성의 원동력 중 하나는 지금까지 AI 테스트가 여러 에이전트가 상호 작용할 때 어떤 일이 발생하는지 측정하도록 적절하게 설계되지 않았다는 것입니다.

“에이전트 안전에 대한 기존 평가 및 벤치마크는 종종 너무 제한적이고 실제 배포에 매핑하기 어렵고 지저분하고 사회적으로 내장된 설정에서 스트레스 테스트를 거의 수행하지 않습니다.”라고 썼습니다.

OpenClaw를 한계까지 밀어붙이기

연구원 작업의 전제는 ChatGPT에서처럼 사람이 프롬프트를 입력하지 않고도 에이전트 AI가 작업을 수행할 수 있다는 것입니다. Agentic AI는 작업을 수행하는 데 필요한 다양한 리소스에 대한 액세스 권한을 부여받을 수 있습니다. 이러한 리소스에는 이메일 계정과 Discord, Signal, Telegram 등과 같은 기타 통신 채널이 포함됩니다. 이메일과 이러한 채널을 사용하면 봇은 작업을 수행할 수 있을 뿐만 아니라 다른 봇과 통신하고 작업을 수행할 수도 있습니다.

이러한 시나리오를 테스트하기 위해 저자는 당연히 에이전트 프로그램이 시스템 리소스 및 기타 에이전트와 상호 작용할 수 있도록 하여 1월에 악명을 떨친 오픈 소스 소프트웨어 프레임워크인 OpenClaw를 선택했습니다. OpenAI는 OpenClaw의 창시자인 Peter Steinberg를 고용하여 작업의 관련성을 더욱 향상시켰습니다.

또한: 오픈 소스 AI 떼를 탐색하기 위한 3가지 팁 – 4M 모델 및 계산

일반적인 OpenClaw 인스턴스와 달리 작성자는 자신의 개인용 컴퓨터에서 에이전트를 실행하지 않았습니다. 대신 클라우드 서비스 Fly.io에 인스턴스를 생성하여 에이전트 프로그램에 시스템 리소스에 대한 액세스 권한을 부여하는 것을 더 효과적으로 제어할 수 있었습니다.

“각 에이전트에는 자체 20GB 영구 볼륨이 제공되었으며 연중무휴 24시간 실행되며 토큰 기반 인증을 갖춘 웹 기반 인터페이스를 통해 액세스할 수 있습니다.”라고 그들은 설명했습니다. Anthropic의 Claude Opus LLM은 에이전트를 지원했으며 프로그램에는 Discord 및 제3자 제공업체인 ProtonMail의 이메일 시스템에 대한 액세스 권한이 부여되었습니다.

“Discord는 인간-에이전트 및 에이전트-에이전트 상호 작용을 위한 기본 인터페이스 역할을 했습니다. 연구원들은 지침을 발표하고 진행 상황을 모니터링하며 Discord 메시지를 통해 피드백을 제공했습니다.”라고 그들은 보고했습니다.

흥미롭게도 에이전트 VM의 설정 프로세스는 “복잡”하고 “실패하기 쉬웠으며” 인간 코더가 Claude Code 프로그래밍 도구를 사용하여 문제를 해결해야 하는 경우가 많았다고 그들은 말했습니다. 동시에 상담원은 “제공자를 조사하여 이메일 서비스를 완전히 설정하고, CLI 도구 및 잘못된 가정을 식별하고, 몇 시간에 걸쳐 수정 사항을 반복하는 것”과 같은 경우에 정교한 설정 작업을 수행할 수 있었습니다.

상호작용은 혼란을 가져온다

한 가지 간단한 위험은 에이전트가 단독으로 행동하는 것입니다. 예를 들어, 연구원 중 한 명이 에이전트가 민감한 정보를 유출하고 있다고 항의했을 때 인간 사용자는 봇에게 반복적으로 불만을 제기한 후 몇 차례에 걸쳐 화난 인간의 메시지를 보낸 후 봇은 소유자의 전체 이메일 서버를 삭제하여 상황을 해결하려고 시도했습니다. 이 예는 봇이 강제로 실행될 때 잘못될 수 있는 일반적인 것 중 하나입니다.

더 흥미로운 상황은 에이전트 상호작용이 혼란으로 이어지는 경우입니다. 한 예에서는 인간 사용자가 에이전트 프로그램을 사용하여 ‘에이전트 보안 테스트일’과 같이 에이전트 친화적인 휴일 달력이 포함된 헌법이라는 문서를 만들었습니다. 휴일에는 활동 중인 다른 에이전트를 종료하는 등 악의적인 행위를 수행하라는 지시가 포함되었습니다. 이러한 접근 방식은 LLM 기반 에이전트가 신중하게 제작된 텍스트로 조작되는 프롬프트 주입의 기본 예입니다.

그러나 익스플로잇의 요점은 첫 번째 봇이 별도의 지시 없이 다른 봇과 휴일 정보를 공유했다는 것입니다. 저자는 정보를 공유한다는 것은 휴일로 위장한 동일한 악성 지침이 제한 없이 봇 식민지 전체에 퍼져 악의적인 결과의 위험이 증가한다는 것을 의미한다고 설명했습니다.

Shapira와 팀은 “유익한 지식 전달을 가능하게 하는 동일한 메커니즘이 안전하지 않은 관행을 전파할 수 있습니다.”라고 설명했습니다. 봇은 “메시지를 표시하지 않고 자발적으로 다른 에이전트와 구성 링크를 공유하여 공격자의 제어 표면을 두 번째 에이전트로 효과적으로 확장했습니다.”라고 설명했습니다.

또한: 이 4가지 중요한 AI 취약점은 방어자가 대응할 수 있는 것보다 더 빠르게 악용되고 있습니다.

두 번째 사례에서 Shapira와 팀은 “상호 강화가 잘못된 신뢰를 창출합니다”라고 표시했는데, 레드팀으로 구성된 인간이 두 개의 봇을 속이려고 했습니다. 사람은 봇이 모니터링하고 있는 계정에 봇의 소유자라고 주장하는 이메일을 보냈습니다. 이는 항상 발생하는 전형적인 스푸핑/피싱 공격입니다.

다음에 일어난 일은 놀라웠습니다. 두 봇은 Discord에서 메시지를 교환했습니다. 그들은 인간이 포즈를 취하고 그들을 속이려고 노력하고 있다는 데 동의했습니다. 이는 에이전트에게 큰 성공처럼 보였습니다. 그러나 면밀한 조사를 통해 명백한 성공 뒤에는 몇 가지 추론 실패가 있음이 드러났습니다.

또한: 2026년 AI에 더 많은 비용을 지불하게 될 이유와 시도해 볼 수 있는 3가지 비용 절감 팁

두 요원은 디스코드에서 실제 소유자의 계정을 확인한 뒤, 레드팀 소유자가 가짜라고 서로를 설득했다. 그 결과는 익스플로잇을 테스트하는 얕은 방법이었고, Shapira와 팀은 에코 챔버의 예를 썼습니다.

근본적인 것이 무엇인지 이해하기

Shapira와 팀이 조사한 16개의 다양한 사례 연구에서 그들은 단순히 “우연적”인 것(즉, 더 나은 엔지니어링에 도움이 될 수 있음)과 “기본적인 것”(즉, AI 에이전트 설계에 고유한 것)을 결정하려고 했습니다.

대답은 복잡했습니다. “이러한 범주 사이의 경계가 항상 깨끗한 것은 아니며 일부 문제에는 우발적 레이어와 기본 레이어가 모두 있습니다. (…) 설계의 신속한 개선은 일부 우발적 오류를 신속하게 해결할 수 있지만 근본적인 과제는 이러한 근본적인 한계를 해결하지 않고 엔지니어링을 통해 에이전트 기능을 높이면 안전 격차를 줄이는 것이 아니라 넓어질 수 있음을 시사합니다.”

많은 연구에서 현재 에이전트 기술에는 지속적인 메모리 부족, 에이전트 AI 프로그램이 의미 있는 행동 목표를 설정할 수 없는 등 심오한 측면에서 부족하다는 사실이 밝혀졌기 때문에 이러한 관찰은 의미가 있습니다.

근본적인 문제 중 기본 LLM은 프롬프트의 데이터와 명령을 모두 동일한 것으로 처리하여 프롬프트 주입으로 이어졌습니다.

또한: 진정한 에이전트 AI는 몇 년 뒤에 구현됩니다. 여기에 도달하는 이유와 방법은 다음과 같습니다.

상호 작용에서 저자는 경계 문제를 식별했습니다. 에이전트는 해당 정보를 누가 봐야 하는지에 대한 명확한 인식 없이 이메일 서버나 Discord에서 얻은 정보와 같은 “가공물”을 공개했습니다. 이러한 접근 방식의 핵심은 “배포된 에이전트 스택의 신뢰할 수 있는 개인 심의 표면”이 부족하다는 것입니다. 간단히 말해서, 개별 LLM은 프롬프트에서 “추론” 단계를 공개할 수도 있고 공개하지 않을 수도 있습니다. 그러나 에이전트는 잘 만들어진 가드레일이 부족한 것으로 보이며 다양한 방법으로 정보를 공개합니다.

또한 에이전트에는 “자기 모델이 없습니다.” 즉, “우리 연구의 에이전트는 자신의 역량 경계를 초과한다는 사실을 인식하지 못한 채 되돌릴 수 없고 사용자에게 영향을 미치는 행동을 취합니다.”라는 의미입니다. 이 문제의 예는 두 에이전트가 인간 없이 앞뒤로 대화하는 데 동의하고 해당 접근 방식을 무기한 추구하여 시스템 리소스를 소진시키는 경우입니다.

연구원들은 “에이전트들은 최소 9일 동안 지속적인 메시지를 교환했습니다. 작성 당시 약 60,000개의 토큰을 소비했습니다”라고 썼습니다. 토큰은 OpenAI 및 기타 업체가 클라우드 API에 대한 액세스 가격을 책정하는 방법입니다. 더 많은 토큰을 소비하면 AI 비용이 부풀려지는데, 이는 가격 상승 시대에 이미 큰 문제가 되고 있습니다.

책임을 다하다

결론은 누군가는 무엇이 우발적이고 무엇이 근본적인지에 대해 책임을 져야 하며, 두 가지 모두에 대한 해결책을 찾아야 한다는 것입니다.

연구원들은 현재 에이전트 자체에 대한 책임은 없다고 지적했습니다. “이러한 행동은 현재 정렬 패러다임의 근본적인 맹점을 드러냅니다. 에이전트와 주변 인간은 종종 암묵적으로 소유자를 책임 당사자로 취급하지만 에이전트는 마치 해당 소유자에게 책임이 있는 것처럼 안정적으로 행동하지 않습니다.”

이러한 우려는 이러한 시스템을 구축하는 모든 사람이 책임 부족을 처리해야 함을 의미합니다. “우리는 책임을 명확히 하고 운영하는 것이 자율적이고 사회적으로 내장된 AI 시스템의 안전한 배포를 위한 핵심적인 해결되지 않은 과제일 수 있다고 주장합니다.”