ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.
ZDNET의 주요 시사점
- 대부분의 에이전트 AI 배포 실패는 AI 실패가 아니라 아키텍처 실패입니다.
- 성공적인 기업 혁신을 위한 에이전트 AI의 12가지 규칙은 공급업체 중립적이고 불가지론적입니다.
- 대부분의 AI 파일럿은 기능과 속도에 중점을 두고 비즈니스로부터 신뢰를 얻기 위한 노력을 건너뜁니다.
최근 Salesforce 연구에 따르면 미국 사무직 근로자의 절반 이상이 스스로 AI 회의론자라고 생각하는 반면, 신흥 경제국 사람들은 AI를 더 신뢰하는 것으로 나타났습니다.
미국의 AI 회의론은 일자리 손실을 넘어서는 것입니다. 미국 사무직 근로자들은 직원 경험, 교육 부족, AI 기술 채택 준비 상태에 대해 우려하고 있습니다. 미국 근로자들 사이에서 AI 도구나 파일럿이 실패하는 가장 큰 세 가지 이유는 일반적인 결과, 불충분한 교육, 결과에 대한 낮은 신뢰 등입니다.
또한: 미국 근로자는 세계에서 가장 큰 AI 회의론자입니다. 이는 단순히 일자리 상실에 관한 것이 아닙니다.
AI 에이전트의 프로덕션 배포 실패율이 더 높다는 것을 지적하는 많은 연구에서 에이전트 AI 파일럿 및 혁신 노력에 대한 신뢰 부족이 더욱 확대되었습니다.
Accenture의 최신 연구에 따르면 기업은 추진력을 구축하기 위해 AI 투자를 통해 지속적인 초기 성공을 입증해야 합니다. 핵심은 고립된 AI에서 체계적인 AI로 전환하는 것입니다. 연구에 따르면 성공적인 에이전트 AI 프로젝트에는 올바른 컨텍스트를 제공하기 위해 깨끗한 데이터를 사용하는 강력한 데이터 기반, 거버넌스 및 의미론적으로 일관된 데이터에 대한 투자가 필요하며, 이를 위해서는 최신 AI로 강화된 클라우드 스택, AI 가드레일 및 재설계된 워크플로가 필요하다는 사실이 밝혀졌습니다.
Informatica가 최고 데이터 책임자를 대상으로 실시한 설문 조사에 따르면 에이전트 AI 채택자의 절반 이상이 데이터 품질 및 검색 문제를 배포 장벽으로 꼽았습니다.
진정한 에이전트 AI 혁신을 위한 요구 사항
기업에서 에이전트 AI 채택에 대한 문서화된 사례가 많이 있지만 파일럿 및 프로덕션 실패율이 높다는 언급이 있지만 많은 AI 에이전트 배포가 성공적입니다. 미국 정부 기관의 80% 이상이 이미 AI 에이전트를 사용하고 있습니다. 새로운 조사에 따르면 대부분의 정부 지도자들은 2030년까지 공공 부문이 인간과 AI 에이전트가 함께 일하는 것으로 구성될 것이라고 믿고 있습니다. 공공 부문 준비 상태에 초점을 맞춘 IDC 연구에 따르면 에이전트 AI는 더 이상 정부의 실험 단계에 있지 않습니다. 그것은 리더십의 명령이다.
또한: AI 파일럿에서 비즈니스 전반의 가치로 전환하려면 초고속도로가 필요합니다. – 어떻게 확장할 것인가?
Salesforce는 성공적인 에이전트 AI 프로덕션 배포에 대한 귀중한 교훈을 배웠습니다. 20,000개가 넘는 에이전트 AI 프로덕션 배포를 통해 Salesforce는 언어 모델에 대한 과도한 의존, 복잡한 프롬프트 논리가 아닌 인코딩 정책에 대한 의존, 열악한 컨텍스트 엔지니어링 등을 포함하여 많은 일반적인 실수를 식별했습니다. 그러나 가장 중요한 교훈은 기존 소프트웨어를 사용하면 출시 전에 작업의 90%가 완료된다는 것입니다. 그러나 AI 에이전트를 사용하면 관리 및 개선을 포함하여 작업의 90%가 프로덕션에 배포된 후에 발생합니다.
비즈니스에서 진정한 에이전트 AI 변환에는 지능적이고 확장 가능하며 신뢰할 수 있는 결과 시스템을 보장하기 위해 기업이 따라야 하는 규칙이 필요합니다.
Salesforce의 부사장 겸 최고 시장 전략 책임자인 John Taschek은 AI 에이전트가 성공적인 프로덕션 배포를 제공하는 데 필요한 중요한 기능을 벤치마킹하기 위한 일련의 규칙을 연구하고 개발해 왔습니다. Taschek의 연구에는 수천 건의 에이전트 AI 배포, 업계 분석가, 고위 임원, 이사회 구성원 및 에이전트 AI 선구자 커뮤니티와의 참여에 대한 관찰이 포함되었습니다.
에이전트 AI의 12가지 규칙
Taschek이 개발한 성공적인 기업 혁신을 위한 에이전트 AI의 12가지 규칙은 공급업체 중립적이고 불가지론적입니다. Taschek은 진정한 관계형 데이터베이스 관리 시스템을 위한 Codd의 12가지 규칙이라고 불리는 컴퓨터 과학자 Dr. Edgar F. Codd가 1985년에 제안한 일련의 원칙에서 영감을 받았습니다.
에이전트 AI의 12가지 규칙을 준수하려면 문서화된 기능, 기술적 아티팩트, 제3자 분석, 논평 획득 또는 검증된 구현 결과를 바탕으로 증거를 기반으로 해야 합니다. 증거는 최신이어야 하며 가장 최근의 기능 세트를 포함해야 합니다. 또한 증거는 단순한 메시징이 아닌 아키텍처 중심이어야 합니다.
또한: AI 에이전트는 자체 검색 엔진을 갖게 됩니다.
또한 규칙은 평가를 통해 기술적 가능성과 배포 기능, 고객 채택 및 측정 가능한 비즈니스 영향을 구별할 수 있는 결과 인식 모델을 지원합니다. 마지막으로 규칙과 전체 프레임워크는 위험을 인식하고 실패, 구현 및 거버넌스 격차, 고객이 보고한 문제를 식별할 수 있어야 합니다. 에이전트 AI의 12가지 규칙은 다음과 같습니다.
기초 – 데이터/컨텍스트 시스템
규칙 1. 통합 데이터 계보: 모든 데이터에는 데이터가 어디서 왔는지, 어떻게 변경되었는지, 누가 사용하도록 허용되었는지 등 추적 가능한 기록이 있어야 합니다. 에이전트에 정보를 제공하는 미스터리 데이터가 없습니다.
규칙 2. 근거 있는 실시간 데이터 액세스. 에이전트는 오래된 스냅샷이 아닌 라이브 데이터로 작업해야 합니다. 오래된 정보에 따라 행동하는 것은 단순한 불편이 아니라 설계상의 결함입니다.
규칙 3. 의미론적 메타데이터: 상담원은 원시 값뿐만 아니라 데이터의 의미를 이해해야 합니다. “위험에 처한 고객” 또는 “적격 계정”은 공식적으로 정의되어야 하며 모델에서 추측할 수 없습니다.
핵심 – 대행사 시스템
규칙 4. 관찰성/행동 추적성: 상담원이 내리는 모든 결정은 기록되고 설명 가능해야 합니다. 과거를 되돌아보고 왜 그런 일을 했는지 이해할 수 있어야 합니다.
규칙 5. 지속적인 적대적 검증: 출시 시점뿐 아니라 지속적으로 엣지 케이스, 잘못된 입력, 적대적 시나리오에 대해 에이전트를 지속적으로 테스트하세요. 이를 영구적인 레드팀 훈련으로 생각하십시오.
또한: AI 엔지니어와 전방 배치 엔지니어: 어떤 역할이 가장 많은 비즈니스 가치를 제공합니까?
규칙 6. 다단계 추론/목표 분해: 에이전트는 복잡한 목표를 가지고 이를 여러 단계로 나누고 실행할 수 있어야 합니다. 즉 단순히 스크립트를 따르는 것이 아니라 상황이 변화하는 경우 이에 적응할 수 있어야 합니다.
규칙 7. 하이브리드 결정론적 거버넌스: AI 추론은 확률적이지만 일부 규칙은 구부릴 수 없습니다. 법적, 재정적, 안전 가드레일은 하드 코딩되어야 합니다. 에이전트는 구조적으로 이를 위반할 수 없어야 합니다.
운영 – 업무 시스템
규칙 8. 불가지론적 오케스트레이션: 다양한 공급업체 및 모델의 상담원은 모든 페어링에 대해 맞춤 배관 없이 조정해야 합니다. 오케스트레이션 계층에서 종속을 피하세요.
규칙 9. 인간-대리인 시너지/공감 의무: 에이전트는 인간을 대체하는 것이 아니라 인간과 협력해야 합니다. 자신감이 낮거나 감정적인 맥락이 감지되면 콜드 트랜스퍼가 아닌 전체 맥락을 포함하여 우아하게 전달하세요.
규칙 10. 주권 기관: 기업은 데이터 상주, 모델 선택, ID 및 정책을 통제합니다. 외부 에이전트는 범위가 지정되고 감사 가능한 액세스만 얻습니다. 기본적으로 아무것도 신뢰되지 않습니다.
또한: AI 토큰이 기업 클라우드 청구서를 다시 하늘 높이 보내는 이유
규칙 11. 결과 기반 동등성: 완료한 작업 수가 아니라 비즈니스 결과(영향을 받은 수익, 해결된 문제, 절약된 시간)를 기준으로 상담원을 측정합니다. 바는 실제 세계에 미치는 영향입니다.
Apex – 참여 시스템
규칙 12. 신뢰할 수 있는 기관: 가중치가 가장 높은 규칙입니다. 대리인은 다음을 통해 행동할 권리를 얻습니다.
- 알고리즘 공정성 – 보호 그룹 간에 편견이 없습니다.
- 독성 및 콘텐츠 안전 – 배송 전 콘텐츠 검사.
- 동의 및 데이터 권한 – 고객이 동의한 내용을 존중합니다.
- 환각 예방 – 위험이 큰 상황에서는 조작이 필요하지 않습니다.
- 설명 가능성 – 누구나(규제 기관, 고객, 자문가) 이유를 이해할 수 있습니다.
- 이해관계자 가치 – 결과는 기업뿐만 아니라 고객에게도 이익이 되어야 합니다.
- 공급업체 책임 – 책임은 사전에 할당되며 사고 후 협상되지 않습니다.
생산 전후에 이러한 규칙 적용
대부분의 에이전트 AI 파일럿 실패는 AI 실패가 아닙니다. 그것은 완전한 기반 없이 참여 시스템을 구축하려는 팀의 구조적 실패입니다. 가장 일반적인 실패는 지저분하거나 사일로화되거나 오래된 데이터 위에 실행된 AI 에이전트로 인해 발생합니다. 통합 데이터(규칙 1)가 없으면 에이전트는 자신이 수행 중인 작업을 추적할 수 없습니다. 실시간 액세스(규칙 2)가 없으면 에이전트는 오래된 스냅샷에 대한 결정을 내립니다. 그리고 의미론적 메타데이터(규칙 3)가 없으면 에이전트는 데이터가 무엇을 의미하는지 이해하지 못합니다. 이것이 바로 많은 AI 에이전트 파일럿이 통제된 환경에서는 훌륭해 보이지만 프로덕션 데이터를 접하는 순간 실패하는 이유입니다.
또한: 3가지 장애물에도 불구하고 AI 에이전트가 고객 서비스를 변화시키는 방법
에이전트 AI 파일럿이 잘못된 답변이나 이상한 답변을 생성하면 팀은 그 이유를 알 수 없다는 것을 알게 됩니다. 디버깅, 방어 또는 개선이 필요한 관찰성과 동작 추적성 없이는 발생한 일(규칙 4)에 대해 누구도 대답할 수 없습니다. 조종사가 실패하는 이유는 AI가 잘못되었기 때문이 아니라 불투명했기 때문입니다. 파일럿은 통제된 설정에서 깨끗하고 대표적인 데이터를 바탕으로 검증됩니다. 그들은 적대적인 입력, 극단적인 사례 또는 악의적인 행위자를 거의 직면하지 않습니다(규칙 5). 지속적인 적대적 검증은 추가 작업처럼 느껴지기 때문에 건너뜁니다. 데모는 일반적으로 단일 단계 작업을 보여줍니다. 실제 기업 작업은 다단계이며 모호합니다. AI 에이전트가 종속성, 컨텍스트 이동, 경쟁 신호 등 진정한 다단계 문제(규칙 6)에 도달하면 자동으로 실패하거나 지속적인 인간 보살핌이 필요합니다.
사건이 발생하기 전까지는 가드레일이 없는 경우가 많습니다. 팀은 하이브리드 결정론적 거버넌스(규칙 7)를 건너뜁니다. 이는 작업 속도를 늦추기 때문입니다. 그들은 하지 말아야 할 일을 “알기” 위해 모델에 의존합니다. 그런 다음 AI 에이전트는 승인해서는 안 되는 것을 승인하거나 정책을 위반합니다. 거버넌스는 사건 발생 후 대응적으로 추가됩니다. 처음부터 거버넌스를 구축하는 것보다 훨씬 더 많은 비용이 듭니다. 성공적인 AI 에이전트 프로덕션 배포를 위해서는 에이전트가 다른 에이전트 및 인간과 협력해야 합니다(불가지론적 오케스트레이션, 규칙 8) – 인간-에이전트 시너지(규칙 9).
또한 AI 파일럿은 데이터 상주, 액세스 제어 또는 누가 무엇을 소유하는지 고려하지 않고 공급업체 호스팅 모델을 사용하는 경우가 많습니다. 주권 기관(규칙 10)의 우려 사항(특히 규제 대상 산업)은 늦게 표면화되어 생산 배치를 동결하거나 중단시키는 법적 검토 및 조달 검토를 촉발합니다. AI 에이전트가 프로덕션에 있을 때 비즈니스 리더는 AI 배포 전후에 비즈니스 영향을 측정할 수 있어야 합니다. 결과 기반 패리티(규칙 11)가 없으면 에이전트 AI 배포 확장 사례는 숫자가 아니라 직감입니다. 예산 보유자들은 “우리가 실제로 무엇을 성취했습니까?”라고 묻습니다. 그리고 대답이 없습니다.
또한: 자율적인 사업이 다가오고 있습니다. 이러한 변화가 전문가들에게 좋은 소식인 이유는 다음과 같습니다.
마지막으로, 신뢰를 얻지 못했기 때문에 AI 프로덕션 배포가 실패합니다. 대부분의 조종사는 기능과 속도에 중점을 두고 공정성 테스트, 동의 시행, 환각 예방 및 설명 가능성에 대한 노력을 건너뜁니다. 문제가 발생하면 의지할 수 있는 신뢰 아키텍처가 없습니다. 규제 대상이거나 고객을 대면하는 상황에서 하나의 잘못된 출력으로 인해 프로그램이 완전히 종료됩니다.
에이전트 AI 피라미드의 12가지 규칙은 거꾸로 작동하지 않습니다. 성공적인 에이전트 AI 파일럿 및 프로덕션 배포에서는 데이터 품질, 거버넌스 및 인간 협업을 사후 고려가 아닌 전제 조건으로 간주합니다.
완벽 가이드 보기