ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.
ZDNET의 주요 시사점
- Agentic AI 기술은 위험에 대한 공개가 부족하다는 특징이 있습니다.
- 일부 시스템은 다른 시스템보다 더 나쁩니다.
- AI 개발자들은 나서서 책임을 져야 합니다.
편집자 주: 이 기사는 Perplexity, OpenAI 및 IBM의 응답으로 업데이트되었습니다.
OpenAI가 오픈 소스 소프트웨어 프레임워크인 OpenClaw의 창시자인 Peter Steinberg를 고용했다는 이번 주 발표와 함께 Agentic 기술이 인공 지능의 주류로 완전히 이동하고 있습니다.
OpenClaw 소프트웨어는 사용자를 대신하여 이메일을 보내고 받을 수 있는 에이전트와 같은 강력한 기능을 활성화할 뿐만 아니라 개인용 컴퓨터를 완전히 하이재킹하는 기능을 포함한 극적인 보안 결함으로 인해 지난 달 큰 주목을 받았습니다.
또한: Perplexity의 새 컴퓨터는 OpenClaw의 더 안전한 버전입니까? 작동 원리
에이전트에 대한 매력과 그 장단점에 대해 아직 이해된 바가 거의 없다는 점을 감안할 때, MIT의 연구원과 협력 기관이 가장 일반적인 에이전트 AI 시스템 30개에 대한 대규모 설문 조사를 최근 발표한 것이 중요합니다.
결과는 에이전트 AI가 현재 보안상의 악몽이며, 공개 부족, 투명성 부족, 에이전트 작동 방식에 대한 기본 프로토콜의 현저한 부족으로 특징지어지는 분야라는 점을 분명히 보여줍니다.
투명성 부족
보고서에서 밝혀진 가장 큰 점은 에이전트 AI에서 문제가 발생할 수 있는 모든 것을 식별하는 것이 얼마나 어려운지입니다. 이는 주로 개발자의 공개 부족으로 인한 결과입니다.
캠브리지 대학의 주저자 Leon Staufer와 MIT, 워싱턴 대학, 하버드 대학, 스탠포드 대학, 펜실베니아 대학, 예루살렘 히브리 대학의 공동 연구자들은 “우리는 에이전트 시스템의 생태계 및 안전 관련 기능에 대한 보고에 지속적인 한계가 있음을 확인했습니다.”라고 썼습니다.
8개의 서로 다른 공개 범주에 걸쳐 저자는 대부분의 에이전트 시스템이 대부분의 범주에 대해 어떠한 정보도 제공하지 않는다는 점을 지적했습니다. 누락 범위는 잠재적 위험에 대한 공개 부족부터 제3자 테스트에 대한 공개 부족(있는 경우)까지 다양합니다.
에이전트 시스템 공개에서 누락된 모든 항목을 빨간색으로 표시한 표입니다.
캠브리지 대학 등.
여기에서 다운로드할 수 있는 39페이지 분량의 보고서 “2025년 AI 인덱스: 배포된 에이전트 AI 시스템의 사회기술적 특징 문서화”는 오늘날의 에이전트 AI 기술에서 추적, 추적, 모니터링 및 제어할 수 있는 것이 얼마나 적은지에 대한 보석으로 가득 차 있습니다.
예를 들어, “많은 엔터프라이즈 에이전트의 경우 개별 실행 추적에 대한 모니터링이 존재하는지 여부가 공개적으로 제공되는 정보에서 명확하지 않습니다.”는 에이전트 AI 프로그램이 수행하는 작업을 정확히 추적할 수 있는 명확한 능력이 없음을 의미합니다.
또한: AI 에이전트는 이미 재난을 일으키고 있으며, 이 숨겨진 위협으로 인해 안전한 출시가 중단될 수 있습니다.
“30명의 에이전트 중 12명은 사용량 모니터링을 제공하지 않거나 사용자가 속도 제한에 도달한 경우에만 알림을 제공합니다”라고 저자는 지적했습니다. 즉, 에이전트 AI가 특정 컴퓨팅 리소스를 얼마나 소비하는지 추적조차 할 수 없다는 의미입니다. 이는 이러한 항목에 예산을 책정해야 하는 기업의 주요 관심사입니다.
이러한 에이전트의 대부분은 자신이 AI라는 사실을 현실 세계에 알리지 않으므로 상대가 인간인지 봇인지 알 방법이 없습니다.
“대부분의 에이전트는 기본적으로 AI 특성을 최종 사용자나 제3자에게 공개하지 않습니다.”라고 그들은 지적했습니다. 이 경우 공개에는 생성된 이미지 파일에 워터마크를 표시하여 이미지가 AI를 통해 만들어졌을 때 명확하게 보이도록 하거나 웹 사이트의 “로봇 도트 txt” 파일에 응답하여 사이트의 에이전트를 인간 방문자가 아닌 자동화로 식별하는 등의 작업이 포함됩니다.
이러한 소프트웨어 도구 중 일부는 특정 에이전트의 실행을 중지할 수 있는 방법을 제공하지 않습니다.
Alibaba의 MobileAgent, HubSpot의 Breeze, IBM의 watsonx 및 독일 베를린에 본사를 둔 소프트웨어 제조업체 n8n이 만든 자동화는 “자율 실행에도 불구하고 문서화된 중지 옵션이 부족합니다”라고 Staufer와 팀은 말했습니다.
“엔터프라이즈 플랫폼의 경우 모든 에이전트를 중지하거나 배포를 철회하는 옵션만 있는 경우가 있습니다.”
잘못된 일을 하고 있는 것을 막을 수 없다는 사실을 알아내는 것은 자동화의 이점보다 유해한 결과가 더 큰 대규모 조직에 있어서 최악의 시나리오 중 하나임에 틀림없습니다.
또한: OpenClaw는 보안의 악몽입니다. (너무 늦기 전에) 무시해서는 안 되는 5가지 위험 신호입니다.
저자는 이러한 문제, 투명성 및 통제 문제가 대리인에게 지속되고 더욱 두드러질 것으로 기대합니다. “여기에 문서화된 거버넌스 문제(생태계 단편화, 웹 행위 긴장, 에이전트별 평가 부재)는 에이전트 기능이 증가함에 따라 중요성이 커질 것입니다.”라고 그들은 썼습니다.
Staufer와 팀은 또한 4주 동안 소프트웨어를 다룬 회사로부터 피드백을 얻으려고 시도했다고 말했습니다. 연락을 받은 사람 중 약 4분의 1이 “그러나 실질적인 의견을 제시한 사람은 3/30에 불과했습니다.”라고 응답했습니다. 이러한 의견은 보고서에 통합되었다고 저자는 썼습니다. 또한 지속적인 수정을 위해 회사에 제공되는 양식도 있습니다.
HubSpot, n8n 및 Alibaba는 논평 요청에 즉시 응답하지 않았습니다.
Perplexity 대변인은 이메일을 통해 ZDNET에 회신하여 보고서에 “중요한 사실적 부정확성이 포함되어 있다”며 “우리는 이러한 수정이 즉시 이루어지도록 연구원과 협력하고 있으며 그 특성화를 강력히 거부합니다”라고 밝혔습니다.
OpenAI는 대변인을 통해 이메일로 ZDNET에 Atlas 브라우저의 에이전트 기능의 위험 및 제한 사항에 대한 주요 항목 목록을 포함하여 응답했으며 이 프로그램은 “현재 미리보기로만 제공되며 일부 위험을 수반합니다”라고 언급했습니다.
(공개: ZDNET의 모회사인 Ziff Davis는 2025년 4월 OpenAI를 상대로 AI 시스템 교육 및 운영에 있어 Ziff Davis의 저작권을 침해했다고 주장하는 소송을 제기했습니다.)
IBM은 다양한 IBM 지원 문서에 대한 링크와 함께 단계별 반박을 제공하는 이메일을 통해 ZDNET에 응답했습니다. IBM은 “IBM의 에이전트 AI 제품인 watsonx Orchestrate에 대한 MIT 연구의 주장은 부정확하다”고 총체적으로 밝혔으며 다음과 같이 덧붙였습니다.
IBM은 에이전트 관찰 가능성, 결정론적 제어 및 가드레일, 사용 모니터링, 추론 투명성, 에이전트 오퍼링에 대한 평가 프레임워크를 자세히 설명하는 강력한 공개 문서를 제공합니다. 우리는 현재 이러한 부정확성을 해결하기 위해 MIT 연구팀에 연락하고 있으며 기업을 위해 신뢰할 수 있고 관리 가능한 AI를 발전시키기 위해 최선을 다하고 있습니다.
확장되는 에이전트 AI 환경
에이전트 인공 지능(Agentic Artificial Intelligence)은 대규모 언어 모델과 챗봇의 기능을 향상시키기 위해 지난 3년 동안 등장한 기계 학습의 한 분야입니다.
에이전트는 단순히 텍스트 프롬프트에 의해 지시되는 단일 작업을 할당받는 것이 아니라 데이터베이스와 같은 외부 리소스에 연결되고 텍스트 기반 대화의 범위를 넘어서는 목표를 추구할 수 있는 “자율성”을 부여받은 AI 프로그램입니다.
또한: 진정한 에이전트 AI는 몇 년 뒤에 구현됩니다. 여기에 도달하는 이유와 방법은 다음과 같습니다.
이러한 자율성에는 이메일로 구매 주문을 받고, 이를 데이터베이스에 입력하고, 재고 시스템에서 가용성을 문의하는 등 기업 워크플로의 여러 단계를 수행하는 것이 포함될 수 있습니다. 상담원은 또한 전통적으로 인간 고객 담당자가 처리했던 기본 전화나 이메일, 문자 문의 중 일부를 대체하기 위해 고객 서비스 상호 작용의 여러 차례를 자동화하는 데 사용되었습니다.
저자는 세 가지 범주에서 에이전트 AI를 선택했습니다. Anthropic의 Claude Code 도구와 같은 추가 기능을 갖춘 챗봇; OpenAI의 Atlas 브라우저와 같은 웹 브라우저 확장 또는 전용 AI 브라우저 Microsoft의 Office 365 Copilot과 같은 엔터프라이즈 소프트웨어 제품이 있습니다. 그것은 단지 맛보기일 뿐이며, 다른 연구에서는 수백 가지 에이전트 기술 제품을 다루었다고 그들은 지적했습니다.
그러나 대부분의 에이전트는 “소규모 비공개 소스 프론티어 모델에 의존한다”고 Staufer와 팀은 말했습니다. OpenAI의 GPT, Anthropic의 Claude 및 Google의 Gemini는 대부분의 에이전트가 구축된 기반입니다.
에이전트의 좋은 점과 나쁜 점
이 연구는 에이전트 도구를 직접 테스트하는 것을 기반으로 하지 않습니다. 이는 개발자와 공급업체가 제공하는 문서에 “주석 달기”를 기반으로 합니다. 여기에는 “문서, 웹사이트, 데모, 출판된 논문, 거버넌스 문서의 공개 정보만 포함된다”고 그들은 말했습니다. 그러나 그들은 소프트웨어의 실제 기능을 다시 확인하기 위해 일부 에이전트 시스템에 사용자 계정을 설정했습니다.
저자는 더 깊이 있는 세 가지 일화적인 예를 제시했습니다. 그들이 쓴 긍정적인 예는 사용자가 웹 기반 작업을 수행하도록 프롬프트에서 요청할 때 웹 사이트와 인터페이스할 수 있는 OpenAI의 ChatGPT 에이전트입니다. 에이전트는 브라우저 요청에 대해 “암호화 서명”을 통해 동작을 추적하는 수단을 제공하는 유일한 에이전트 시스템이라는 점에서 확실히 구별됩니다.
OpenAI는 이메일 응답에서 Agent에 대한 몇 가지 주의 사항을 언급합니다. 회사는 “우리는 제3자와 수천 시간에 걸쳐 레드팀을 구성해 적극적으로 모니터링하고 있다”며 “어떤 시스템도 모든 위험을 제거할 수 없으며 우리의 보호 장치는 AI 에이전트의 인기가 높아짐에 따라 나타나는 모든 공격을 막지는 못할 것”이라고 밝혔다.
대조적으로 Perplexity의 Comet 웹 브라우저는 보안 재앙처럼 들립니다. Staufer와 팀은 이 프로그램에 “에이전트별 안전 평가, 제3자 테스트 또는 벤치마크 성능 공개”가 없으며 “Perplexity(…)는 Comet에 대한 안전 평가 방법이나 결과를 문서화하지 않았습니다.”라고 덧붙였습니다. “즉각 주입 완화 이상의 샌드박싱 또는 격리 접근 방식은 문서화되지 않았습니다.”
또한: Gartner는 기업에 ‘모든 AI 브라우저를 차단’할 것을 촉구합니다. 무서운 경고 뒤에 숨어 있는 것은 무엇입니까?
저자들은 Amazon이 Perplexity를 고소했으며 Comet 브라우저가 자신의 작업을 봇이 아닌 인간인 것처럼 서버에 잘못 표시한다고 말했으며 이는 그들이 논의하는 식별 부족의 예입니다.
Perplexity는 ZDNET에 Comet 사건이 심각하게 잘못 설명되었다고 말했습니다. Perplexity는 결과를 다음과 같이 설명했습니다.
MCP API 및 Brave 프롬프트 주입 항목은 보안 팀에 전송된 취약점 공개였습니다. 우리의 취약성 대응 프로세스는 설계된 대로 작동했습니다. 문제는 책임 있는 채널을 통해 보고되고 신속하게 패치되었으며 사용자에게 피해가 발생하지 않았습니다. 이것이 바로 버그 현상금 및 공개 프로그램이 작동하는 방식입니다. Amazon 항목은 안전 실패나 데이터 위반이 포함되지 않은 상업적 서비스 약관 분쟁입니다. 게다가, 어떤 법원도 이 문제에 대해 판결을 내리지 않았습니다. 계류 중인 소송 주장을 문서화된 안전 사고로 포함하면 한쪽 당사자의 소송 주장이 확립된 사실로 간주됩니다.
Staufer와 팀이 만든 세 번째 예는 엔터프라이즈 소프트웨어 공급업체인 HubSpot의 Breeze 에이전트 세트입니다. 이는 고객 관계 관리와 같은 기록 시스템과 상호 작용할 수 있는 자동화입니다. Breeze 도구에는 좋은 점과 나쁜 점이 혼합되어 있다는 사실이 밝혀졌습니다. 한편으로는 SOC 2, GDPR 및 HIPAA와 같은 많은 기업 규정 준수 조치에 대한 인증을 받았습니다.
반면에 HubSpot은 보안 테스트와 관련하여 아무것도 제공하지 않습니다. Breeze 에이전트는 타사 보안 회사인 PacketLabs에 의해 평가되었지만 “방법론, 결과 또는 테스트 항목 세부 정보는 제공되지 않습니다.”라고 명시되어 있습니다.
실제 보안 평가를 공개하지 않고 규정 준수 승인을 입증하는 관행은 “일반적인 기업 플랫폼”이라고 Staufer와 팀은 지적했습니다.
개발자가 책임을 져야 할 때
보고서에서 조사하지 않은 것은 실제 사건, 즉 에이전트 기술이 실제로 예상치 못한 또는 바람직하지 않은 동작을 생성하여 바람직하지 않은 결과를 초래한 사례입니다. 이는 저자가 확인한 단점의 전체 영향을 아직 알지 못한다는 것을 의미합니다.
또한: 상위 30개 AI 에이전트는 다양한 기능과 자율성을 제공합니다.
한 가지는 분명합니다. Agentic AI는 특정 선택을 내리는 개발 팀의 산물입니다. 이러한 에이전트는 인간이 만들고 배포하는 도구입니다.
따라서 소프트웨어 문서화, 안전 문제에 대한 프로그램 감사 및 제어 조치 제공에 대한 책임은 전적으로 OpenAI, Anthropic, Google, Perplexity 및 기타 조직에 있습니다. 확인된 심각한 격차를 해결하기 위한 조치를 취하거나 향후 규제에 직면하는 것은 그들에게 달려 있습니다.