3가지 모범 사례를 통해 ‘인간 수준 상담사’에게 적절한 출발을 제공하세요.

또한: 신뢰 문제를 일으키지 않고 비즈니스를 위한 더 나은 AI 에이전트를 구축하는 방법

데이터 액세스의 첫 번째 규칙은 해를 끼치지 않는 것입니다. 여성 건강 애플리케이션 Flow인 Databricks 클라이언트에는 맞춤형 평가 및 조언을 위해 이 앱을 사용하는 7,500만 명의 사용자가 있습니다.

Wiley는 “그들은 앱 사용자에게 더 강력하고 강력한 피드백과 조언, 지침 및 통찰력을 제공하기를 원한다는 과제를 안고 있습니다.”라고 설명했습니다. “그러나 이것은 매우 민감한 데이터이기 때문에 믿을 수 없을 정도로 조심해야 합니다. 따라서 그들이 원하는 것은 앱 사용자가 다른 앱 사용자의 정보가 포함된 응답을 받는 것입니다.”

또한: Tasklet을 사용하여 5분 만에 업무용 앱을 구축하고 코드 없는 꿈이 실현되는 것을 지켜보았습니다.

Wiley는 이러한 데이터 유출을 방지하기 위해 거버넌스 시스템이 ‘이 도구나 이 데이터는 누구나 사용할 수 있는 데이터입니다. 여기에 있는 데이터는 사용자만 사용해야 합니다’라고 매우 선택적으로 말할 수 있어야 한다고 Wiley는 말했습니다.

자산 관리자인 프랭클린 템플턴(Franklin Templeton)은 고객에게 포트폴리오 보고서를 보낼 때 비슷한 수준의 주의를 기울였습니다. “(펀드 고객으로서) 내가 원하는 마지막 일은 재정 고문으로부터 (다른 사람의) 귀하의 정보에 관한 이메일을 받는 것입니다.”라고 그는 말했습니다.

“종종 우리가 보는 것은 고객이 사용 사례에 대해 매우 흥미를 갖고 이를 추진하기 시작한 다음 이러한 벽 중 하나에 부딪혀 아, 우리의 질문이나 응답은 사용자마다 달라야 한다고 말하는 것입니다.”라고 그는 말했습니다. “그리고 그것은 프롬프트에서 제안될 뿐만 아니라 시행되어야 합니다. 결정론적으로 강요된.”

데이터의 점 연결하기

거버넌스의 다음 부분은 질문을 정의하고 답변이 필요한 리소스를 식별하는 것입니다.

Wiley는 “내 질문을 완벽한 데이터와 일치시켜 내 질문을 뒷받침하는 올바른 모델과 해당 응답을 얻으려면 어떻게 해야 합니까?”라는 과제를 제시했습니다. 목표는 사람이 계속 또 다른 질문을 하게 되는 챗봇처럼 에이전트 AI 프로그램을 ‘트랜잭션’으로 만드는 것을 피하는 것입니다.

또한: 데이터 리더 5명에게 AI를 사용하여 자동화하고 통합의 악몽을 종식시키는 방법에 대해 물었습니다.

인간 사용자가 주제에 대해 자동으로 더 깊이 이해할 수 있도록 연결된 많은 데이터 조각을 찾을 수 있도록 에이전트를 설계하십시오.

Wiley는 Edmunds Mind라는 자동차 판매를 효율적으로 관리하기 위해 내부용 에이전트 정보 도구를 만든 온라인 자동차 구매 운영업체인 Edmunds를 인용했습니다. 이는 잠재적 구매의 더 많은 측면을 병합하도록 설계되었습니다.

Wiley는 “어떤 자동차가 판매하기에 가장 좋은 컨버터블인지, 가격이 얼마인지 묻는 것보다 훨씬 더 포괄적인 방식으로 목록 데이터와 가격 데이터 외에 교통 데이터와 인구통계학적 데이터를 살펴봄으로써 어떤 자동차 판매점에 서비스가 부족한지 물어볼 수 있습니다”라고 설명했습니다.

이러한 에이전트는 “응답이 고품질 응답인지 확인하기 위해 잠재적으로 일련의 전체 단계를 수행합니다”라고 그는 말했습니다. “나는 (사용자로서) 모든 정보를 모델에 전달하는 데 책임이 없습니다.”

거버넌스를 구현하기 위해 데이터 카탈로그라는 것이 두 가지 작업을 수행합니다. 첫째, IT 관리자가 구조화된 데이터와 구조화되지 않은 데이터, 외부 도구 호출을 위한 모델 컨텍스트 프로토콜, 호출되는 도구를 포함하여 에이전트가 액세스할 수 있는 모든 것을 볼 수 있는 “단일 창”입니다.

또한: 비즈니스 실패의 위험 없이 성과를 거두는 에이전트적 AI 전략 구축

둘째, 카탈로그는 에이전트의 신원, 에이전트가 액세스할 수 있는 정보, 사용자의 신원을 포함한 신원을 강제합니다. 카탈로그는 에이전트 활동 전체에서 해당 ID를 추적하여 데이터를 분할된 상태로 유지하므로 해당 ID가 권한을 부여하는 범위 내에서 에이전트와 사용자만 액세스할 수 있습니다.

“디자인의 최우선 원칙”으로 처음부터 거버넌스에 주의를 기울이면 고객이 “이러한 일을 자유분방하게 하는” 고객보다 에이전트를 생산에 투입할 가능성이 훨씬 더 높아집니다. “그것은 실제로 디자인의 고의성에 달려 있습니다.”

그것이 맞는지 어떻게 알 수 있나요?

두 번째 요소는 모델에서 나오는 내용을 평가하는 방법에 대해 매우 신중하게 생각하는 것입니다.

Flow의 앱 개발자가 “정확성을 추구할 때 이러한 에이전트가 말해야 할 내용을 말하고 있는지 여부를 평가하는 사람들은 실제로 프로그래머가 아니라 의사였습니다. 소프트웨어 프로그래머는 에이전트를 관리하는 오케스트레이션 시스템이라는 것을 작성하지만 ‘여기 이 응답에는 추가 컨텍스트나 색상이 필요하거나 무엇을 가지고 있는지’라고 말하는 사람은 의사입니다”라고 Wiley는 말했습니다.

평가는 프로그램 수명 전반에 걸쳐 여러 수준에서 진행되고 있다고 Wiley는 말했습니다. “에이전트는 무엇을 질문받았고 무엇에 대답했을 뿐만 아니라 생각의 모든 중간 단계에서 정확히 무엇을 하고 있었으며 올바른 대답을 얻는 것과 일치했습니까?”

또한: 이 AI 전문가는 당신이 코더라도 직업 종말은 오지 않을 것이라고 말합니다. 그 이유는 다음과 같습니다.

문제가 있는 경우 에이전트를 평가 단계로 되돌리고 다시 배포한 다음 “사람들이 정말 갈망하는 자동화된 학습 유형의 에이전트를 구축할 수 있도록 루프를 계속 유지하세요.”

정확성 덕분에 Flow는 사용자 경험의 품질로 차별화된 애플리케이션을 시장에 제공할 수 있게 되었다고 Wiley는 말했습니다. 더 광범위하게는 거버넌스와 마찬가지로 에이전트의 결과를 평가할 수 있는 기업이 생산에 들어갈 가능성이 6배 더 높다고 그는 덧붙였습니다.

작은 것이 아름답다

세 번째 문제인 비용은 거버넌스와 평가라는 처음 두 가지 작업을 올바르게 수행한 결과이기 때문에 더 쉽습니다. Wiley는 “솔직히 이 두 가지 작업을 수행할 수 있게 되면 나머지 부분은 구현 세부 사항이 됩니다”라고 말했습니다.

하지만 처음부터 비용을 고려해야 합니다.

또한: 에이전트 관리 플랫폼의 상승과 위험

Wiley는 “이 문제에 관해 고객과 대화하는 데 많은 시간을 소비합니다.”라고 말했습니다. “이것이 합리적인 비용 범위 내에서 오늘 우리가 해결할 수 있는 문제입니까? 그리고 합리적인 비용 범위 내에서 문제를 해결할 수 있다고 가정하면 실제로 회사의 바늘이 움직일까요?”

Wiley는 계속해서 “구현에 있어 중요한 고려 사항이 있습니다. 작게 시작하여 에이전트를 관리하고 검증할 수 있는 속도로 구축하는 것을 고려하는 것입니다. 우리는 다양한 수준의 야망을 가진 회사를 보고 있으며 야망은 훌륭합니다. (그러나) 모든 소프트웨어 프로젝트에서는 더 작고 원자적인 개별 조각을 구축하여 작업을 테스트하고 확인할 수 있으며, 그런 다음 이를 훨씬 더 큰 작업을 수행할 수 있는 더 큰 종류의 기능 연합으로 구축할 수 있습니다.”라고 말했습니다.

초점의 예로 Wiley는 서비스 기술자가 현장에 가서 장비를 수리해야 하는 편의점 체인인 7-Eleven을 예로 들었습니다. 올바른 매뉴얼이 없으면 여행은 낭비가 되거나 예상보다 더 복잡한 작업이 됩니다.

상담원이 수많은 문서에 액세스하도록 함으로써 회사는 기술자들에게 “최고의 보조자”를 제공할 수 있다고 Wiley는 말했습니다. “여기서 그들은 이 기계에 대해 제기된 모든 단일 문제와 모든 단일 매뉴얼 및 사양을 검색할 수 있으며 더 이상 친구에게 전화하여 ‘이 문제를 본 적이 있습니까?’라고 묻지 않습니다.”라고 Wiley는 말했습니다.

또한: 진정한 에이전트 AI는 몇 년 뒤에 구현됩니다. 여기에 도달하는 이유와 방법은 다음과 같습니다.

또 다른 예는 베일러 대학(Baylor University)으로, 전화를 받는 사람이 포괄적인 메모를 할 시간이나 에너지가 없을 때 에이전트를 사용하여 예비 학생과의 모든 통화 녹음을 검토하여 학교에 대한 학생의 결정 요인과 같은 요소를 분석합니다.

“그들은 이전에는 결코 들을 수 없었던 깊이까지 고객의 말을 경청함으로써 이제 자신의 조직에 대해 더 많은 것을 배울 수 있습니다”라고 Wiley는 말했습니다.

전체 워크플로를 상담원으로 대체하려는 시도는 아마도 성공률이 낮을 것이라고 그는 말했습니다.

Wiley는 “조직에서 사용하는 ERP나 SaaS 시스템을 교체하려는 경우 마지막으로 할 일은 ‘새로운 총계정원장 시스템을 원합니다’라는 단일 프롬프트로 시작하는 것입니다.”라고 말했습니다. “나는 그것을 구성요소별로 추적할 것이다.”

결과는 무엇입니까?

Wiley는 에이전트로부터 업계의 재정적 투자 수익에 대한 구체적인 수치를 얻기는 아직 이르다고 말했습니다. “우리는 아마도 기업들이 웹 페이지에 투자하고 있지만 아직 이 모든 것의 목적을 실제로 이해하지 못하는 웹상의 2001년과 같은 시대에 앉아 있을 것입니다.”

고무적인 일화적인 사례가 있습니다. Franklin Templeton의 투자 포트폴리오 분석 자동화를 통해 회사는 고객 포트폴리오의 격차와 같은 신제품 기회에서 1,500만 달러가 넘는 금액을 식별할 수 있었습니다.

또한: 이 여행사의 AI 출시로 만족도가 73% 증가한 방법: 비즈니스를 위한 5단계 플레이북

기업은 KPI(핵심 성과 지표)가 올바른 방향으로 움직이는 것을 확인합니다. 예를 들어 7-Eleven에서는 장비의 최초 수리 비율이 25% 증가하고 수리 시간이 40% 단축되어 비용 절감으로 이어질 수 있습니다.

마지막 요소는 구상, 구축, 배포에 필요한 시간입니다. Wiley의 관점에서 보면 에이전트 AI 초기에는 “데이터가 깨끗하고 올바른 위치에 있는지 확인”하는 것이 중요합니다.

처음부터 데이터를 정리하면 프로젝트의 ‘속도’가 빨라질 것이라고 그는 말했습니다. “그렇다면 소프트웨어 개발자, 데이터 과학자, 에이전트 개발자… 그들은 빠르게 작업을 수행할 수 있을 것입니다. ‘데이터의 상태가 양호하다면 오늘 오후에 작업을 수행할 수 있습니다(에이전트 시스템을 구축하고 배포한다는 의미). 데이터의 상태가 대략적인 경우 실제 문제는 데이터를 순서대로 가져오는 데 시간이 얼마나 걸리는지입니다.'”