ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.
ZDNET의 주요 시사점
- AI 에이전트의 구속과 독립성 사이의 균형을 찾으세요.
- 컨텍스트와 의도가 에이전트 개발에 통합되어야 합니다.
- 에이전트가 액세스하는 구성 및 데이터를 고려하십시오.
AI 에이전트는 단순한 챗봇에서 애플리케이션과 데이터에 대한 조치를 취할 권한이 있는 본격적인 디지털 작업자로 진화하고 있습니다. 그리고 이러한 기능으로 인해 많은 보안 및 거버넌스 문제가 발생합니다.
최근 샌프란시스코에서 열린 Snowflake Summit에서 열린 패널에서 전문가들은 AI 에이전트를 열정적이지만 잘못된 인턴으로 취급하여 인간 인턴과 동일한 감독과 지도가 필요하다고 제안했습니다. AI 에이전트에는 인간 관리자의 구체적인 지침과 세심한 모니터링이 필요합니다.
또한: 신뢰 문제를 일으키지 않고 비즈니스를 위한 더 나은 AI 에이전트를 구축하는 방법
제약이 없는 에이전트는 매우 문제가 될 수 있다고 AI 보안 제공업체를 대표하는 패널리스트들은 동의했습니다. Resolve AI의 설립자이자 CTO인 마얀크 아가르왈(Mayank Agarwal)은 “에이전트에게 신발을 사달라고 말하면 당신이 알기도 전에 자동차를 사게 됩니다”라고 말했습니다.
제한, 상황 및 의도
“에이전트에게 어떤 권한을 부여할지 매우 신중하게 생각해야 합니다. 에이전트가 직선적이고 편협한 상태를 유지할 것이라고 기대할 수는 없습니다. 에이전트가 수행할 수 있는 작업을 제한하려면 이러한 철갑적인 제약 조건을 적용해야 합니다.”
제한과 함께 상황과 의도는 상담원을 가동하고 관리하는 데 있어 핵심적인 표어입니다. 1Password의 CTO인 낸시 왕(Nancy Wang)은 “이 에이전트가 무엇을 위해 만들어졌는지 아는 것만으로는 충분하지 않습니다. 누구의 권한으로 작동하는지, 예를 들어 액세스하는 데이터로 무엇을 할 것인지 등도 알아야 합니다.”라고 말했습니다.
또한: AI 에이전트에 대해 지불하게 될 금액은 매우 다양하고 예측할 수 없습니다.
Agarwal은 오늘날 에이전트를 구축하고 배포하는 것이 최근 과거의 소프트웨어 관행과 매우 다르기 때문에 전문가들은 오래된 소프트웨어 개발 규칙서를 버려야 한다고 지적했습니다.
“만 2년 전으로 돌아가 보면 엔지니어는 서로 다른 시스템에 걸쳐 API를 어떻게 연결할지 정확히 알고 있었습니다.”라고 그는 말했습니다. “모든 것은 매우 예측 가능했습니다. A는 API B를 호출하고, B는 해당 데이터로 이 작업을 수행하고, C를 호출하고 해당 데이터로 이 작업을 수행합니다. 에이전트 세계에서는 완전히 예측할 수 없습니다. 에이전트는 즉시 작업을 연결합니다. 목표를 지정하고 이 문제를 해결하면 나가서 액세스할 수 있는 모든 경로를 시도합니다.”
이러한 접근 방식은 전문가와 관리자가 준비하지 못한 새로운 유형의 문제로 이어질 수 있습니다. Agarwal은 에이전트가 “사용자를 대신하여 작업을 수행할 수 있는 도구와 대화하므로 이러한 도구가 데이터를 유출하고 있는지 알 수 없습니다”라고 말했습니다. “에이전트는 도구에서 읽고 다른 도구를 사용하여 있어서는 안 되는 곳에 쓸 수 있습니다.”
그림자 AI의 유령
이러한 우려는 보이지 않는 곳에서 작동하는 섀도우 AI의 유령을 불러일으킵니다. Tenable의 제품 담당 수석 부사장인 Jason Merrick은 “우리는 API 피드, 소스 코드에 액세스할 수 있는 프레임워크 내에 12개의 OpenClaw 인스턴스를 갖고 있는 클라이언트와 통신을 위해 Telegram을 사용하는 계약자를 보유하고 있었습니다.”라고 말했습니다. “무슨 일이 일어날 수 있지?”
또한: 혼돈의 AI 요원? 새로운 연구에 따르면 봇과 대화하는 봇이 어떻게 옆으로 빠르게 이동할 수 있는지 보여줍니다.
이러한 문제로 인해 상담원이 뒤에서 무엇을 하는지 이해하는 것이 어려울 수 있습니다. “실제로 이 시스템에 대해 조치를 취한 사람은 누구인가? 사람인가? 서비스 계정인가? 아니면 에이전트인가?”와 같은 질문이 생길 것이다. 왕이 말했다. “당신의 팀은 아마도 그 답을 모르거나 100% 확신할 수 없습니다. 오늘날 에이전트는 인간처럼 보이지만 모든 권한을 갖고 있기 때문에 서비스 계정처럼 보일 수도 있습니다.”
따라서 AI는 독립적으로 작동할 수 있어야 하는 생산성과 혁신을 위한 강력한 도구이므로 거버넌스와 액세스 사이에 균형을 맞춰야 합니다. Wang은 “모든 것을 차단하거나 모든 것을 방화벽으로 설정하고 싶지는 않습니다”라고 조언했습니다.
균형에 대한 필요성은 인간의 깊은 감독이 필수적인 이유도 설명합니다. Merrick은 “직원들이 Copilot, Claude Chat 또는 Gemini를 통해 만들고 있는 사용자 부분을 살펴보십시오.”라고 조언했습니다. “구성을 살펴보세요. AI가 잘못 구성되어 있습니까? 어떤 유형의 데이터에 액세스하고 있습니까? 그리고 이에 대해 조치를 취할 수 있습니다. 또한 프롬프트 자체를 살펴보십시오. 프롬프트는 무엇과 통신합니까?”
요점: 구체적인 지침
Wang은 이 영역에서 가드레일과 전통적인 ID 모범 사례가 중요하다고 말했습니다. 가장 큰 위험은 “오랜 자격 증명으로 과도한 권한을 부여받은 에이전트”에서 발생합니다.
또한: 초보자도 정말 분위기 있는 앱 코딩을 할 수 있나요? Cursor와 Replit을 사용해 알아보았습니다.
문제는 “비결정적 존재”를 중심으로 보안과 거버넌스를 설계하는 것입니다. “창의성을 허용하는 동시에 본질적으로 SDK 형태의 기존 명령 세트를 적용하는 것도 중요합니다. 예측 가능한 제어를 원하지만 더 이상 생산성 향상을 얻지 못할 정도로 제어를 너무 제한하고 싶지도 않습니다.”
전문가들이 주의해야 할 요점은 인턴과 마찬가지로 에이전트에게도 “매우 구체적인 지침”이 필요하다는 것입니다.”라고 Wang은 말했습니다. “때로는 여전히 원하는 경로에서 벗어나는 경우가 있습니다. 에이전트 관리에 대해 생각하든 전체 에이전트 추적에 대해 생각하든 관계없이 완전한 가시성, 문제 해결 및 처음부터 올바른 의도를 설정했는지 확인하는 것이 중요합니다. 그리고 해당 의도는 에이전트가 수행하는 모든 단계, 모든 작업에서 지속되어야 합니다.”
완벽 가이드 보기