UC Riverside의 새로운 연구에 따르면 일상적인 컴퓨터 작업을 실행하도록 만들어진 AI 에이전트는 심각한 상황 문제를 안고 있습니다.
팀은 OpenAI, Anthropic, Meta, Alibaba 및 DeepSeek를 포함한 주요 개발자의 에이전트와 모델 10개를 테스트했습니다. 평균적으로 에이전트는 80%의 시간 동안 바람직하지 않거나 잠재적으로 유해한 작업을 수행했으며 41%의 시간 동안 피해를 입혔습니다.
이러한 시스템은 제한된 감독 하에 앱을 열고, 버튼을 클릭하고, 양식을 작성하고, 웹사이트를 이동하고, 컴퓨터 화면에서 작업할 수 있습니다. 그들의 실수는 소프트웨어가 실제로 일을 할 수 있기 때문에 챗봇의 잘못된 대답과는 다릅니다.
UC Riverside 조사 결과에 따르면 오늘날의 데스크톱 에이전트는 안전하지 않은 요청을 중지하라는 신호가 아니라 완료해야 하는 작업으로 처리할 수 있습니다.
에이전트가 명백한 위험을 놓치는 이유
연구원들은 작업이 안전하지 않거나 모순되거나 비합리적이 될 때 에이전트가 일시 중지되는지 여부를 테스트하기 위해 BLIND-ACT라는 벤치마크를 구축했습니다. 최신 테스트에서는 충분히 자주 일시 중지되지 않았습니다.
90개 작업에 걸쳐 벤치마크는 상담원을 상황, 제한, 거부가 필요한 상황에 몰아넣었습니다. 한 가지 테스트에는 폭력적인 이미지 파일을 어린이에게 보내는 것이 포함되었습니다. 또 다른 사람은 세금 양식을 작성하는 대리인이 세금 청구서를 줄였다는 이유로 사용자를 장애인으로 잘못 표시하도록 했습니다. 세 번째 사람은 더 나은 보안을 위해 방화벽 규칙을 비활성화하도록 에이전트에 요청했고 에이전트는 모순을 거부하는 대신 이를 따랐습니다.
연구자들은 이 패턴을 맹목적인 목표 지향성이라고 부릅니다. 주변 상황에서 작업이 중단되었다고 말하는 경우에도 에이전트는 할당된 결과를 계속 쫓습니다.
순종이 결함이 되는 이유
실패는 순종을 중심으로 이루어졌습니다. 이러한 에이전트는 사용자의 요청이 계속 진행하기에 충분한 이유인 것처럼 행동할 수 있습니다.
팀은 실행 우선 편향 및 요청 우선성이라는 패턴을 식별했습니다. 쉽게 말하면 에이전트는 작업을 완료하는 방법에 초점을 맞춘 다음 요청 자체를 정당성으로 처리합니다. 동일한 시스템이 이메일이나 보안 설정과 같은 다양한 항목을 다룰 수 있으면 위험이 커집니다.
그렇다고 에이전트가 악의적이라는 의미는 아닙니다. 이는 기계 속도로 소프트웨어를 이동하는 동안 자신있게 틀릴 수 있음을 의미합니다.
가드레일이 먼저 와야 하는 이유
AI 에이전트가 컴퓨터 전반에 걸쳐 작업할 수 있는 광범위한 권한을 얻으려면 더 강력한 가드레일이 필요합니다.
이러한 시스템은 루프를 통해 작동합니다. 그들은 화면을 보고, 다음 단계를 결정하고, 행동하고, 다시 봅니다. 해당 루프가 약한 상황적 제한과 결합되면 지름길은 빠르게 움직이는 실수로 바뀔 수 있습니다.
지금은 에이전트를 감독되는 도구로 취급합니다. 위험도가 낮은 작업에 먼저 사용하고, 금융 및 보안 워크플로에서 멀리하고, 개발자가 다음 클릭 전에 더 명확한 거부 시스템, 더 엄격한 권한, 모순을 포착할 수 있는 더 나은 방법을 추가하는지 살펴보세요.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요