ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.
ZDNET의 주요 시사점
- 기업들은 다양한 방법으로 AI 에이전트를 탐색하고 있습니다.
- 전문가는 이러한 기술을 활용하는 방법을 고려해야 합니다.
- 측정, 협업, 실험이 핵심입니다.
AI 에이전트는 모든 전문적인 역할에 영향을 미칠 것입니다. 회사에서 아직 에이전트 사용을 시작하지 않았다면 기성 소프트웨어 제품이나 대규모 언어 모델 및 데이터 소스를 활용하는 내부 도구를 통해 곧 에이전트를 사용하게 될 것입니다.
자신의 역할에 상담원을 사용하는 방법을 모색하는 전문가는 모범 사례 지침을 찾는 것이 좋습니다. 그러한 정보 소스 중 하나는 Thomson Reuters Labs의 CTO인 Joel Hron입니다. 그는 정보 서비스 회사가 생성 AI, 기계 학습 및 에이전트 기술을 활용하도록 돕고 있습니다.
또한: 걱정되는 AI 에이전트가 당신을 대신할 것인가? 직장에서 불안을 행동으로 바꾸는 5가지 방법
Hron은 Thomson Reuters가 AI 혁신을 강화하기 위해 사내 모델과 기성 도구를 혼합하여 사용한다고 ZDNET에 말했습니다. Hron과 그의 팀은 거대 기술 기업의 첨단 연구실의 발전뿐만 아니라 회사가 독점 지식과 자산을 활용할 수 있도록 보장합니다.
“우리가 잘하는 일의 핵심을 살펴보면 인간의 전문 지식과 정보를 종합하여 전문가에게 다시 제공할 수 있는 판단을 내릴 수 있다는 것입니다.”라고 그는 말했습니다.
“전문 지식을 전달하는 방법에 대한 전달 메커니즘은 현재 진화하고 있습니다. 전통적으로는 소프트웨어를 통해 전달되었습니다. 그러나 에이전트 또는 에이전트와 소프트웨어를 통해 전달되는 경우가 점점 늘어나고 있습니다.”
Hron은 AI 기반 법률 조사 도구인 Westlaw Advantage와 연구원처럼 통찰력을 검토하고 전략을 수립하는 회사의 Deep Research 에이전트를 포함하여 Thomson Reuters의 몇 가지 주요 행위적 성과를 지적합니다.
또한: AI 에이전트는 빠르고, 느슨하며, 통제 불능이라고 MIT 연구 결과가 나왔습니다.
이러한 탐구를 통해 Hron은 전문가가 신뢰할 수 있는 에이전트 AI 시스템을 구축하는 데 사용할 수 있는 네 가지 주요 교훈을 배웠다고 말했습니다.
1. 성공 측정
Hron은 가장 먼저 집중해야 할 영역은 평가라고 말했습니다. “좋은 것이 어떤 것인지 알아야 합니다.”
이렇게 평가에 초점을 맞추는 것은 당연한 요구 사항처럼 들리지만, Hron은 이를 올바르게 하고, 정량화하고, 체계화하는 것이 어려운 과정이라고 말했습니다.
“우리는 지난 3년 동안 이것이 좋은 AI 시스템을 구축하는 데 가장 중요한 것 중 하나라고 말해왔고, 에이전트 시대인 오늘날에도 계속해서 그렇습니다.”라고 그는 말했습니다.
Hron: “우리는 여전히 인간 전문가의 신뢰를 원합니다.”
톰슨 로이터
Hron의 팀은 여러 가지 방법으로 에이전트의 성공을 추적하고 측정합니다. 첫째, 새로운 모델의 긍정적인 잠재적 성능에 대한 좋은 초기 지표를 제공하는 공개 벤치마크를 활용합니다.
또한: AI 시대에 비즈니스에서 실수할 수 없는 5가지 보안 전술과 이것이 중요한 이유
둘째, 자동화된 평가를 위한 강력한 지침이 포함된 자체 내부 벤치마크를 개발했습니다. “단순히 ‘생성된 답변이 좋은 답변에 얼마나 가깝습니까?’라고 말하는 것이 아니라 ‘글쎄, 답변이 좋은 이유는 무엇입니까?’를 실제로 정의하는 프로세스입니다.”
마지막으로 Thomas Reuters는 인간을 루프에 유지하여 평가가 자동화된 평가 이상의 단계를 수행하도록 보장합니다.
“자동 평가는 우리 개발팀이 플라이휠을 더 빠르게 구동하는 데 도움이 되며 상대적으로 많은 아이디어를 상대적으로 빠르게 테스트할 수 있다는 점이 좋습니다. 하지만 출시하기 전에 우리는 여전히 인간 전문가의 신뢰와 성능 평가를 원합니다.”라고 그는 말했습니다.
“이러한 접근 방식에 대한 지속적인 의존을 통해 우리는 시장에서 좋은 성능을 발휘하는 훌륭한 제품을 출시할 수 있었습니다. 저는 인간의 의견이 우리가 그 일을 잘 수행하고 자신감을 갖고 수행할 수 있는 중요한 요소라고 생각합니다.”
2. 전문가들을 한 자리에 앉히세요
Hron은 전문가들에게 에이전트가 수행하는 작업과 시간이 지남에 따라 어떻게 작동하는지 깊이 이해하라고 조언했습니다.
“사용자 경험에 대한 인식을 긴밀하게 결합하는 것이 점점 더 중요해지고 있습니다.”라고 그는 말했습니다. “인간 AI 협력자와 같은 에이전트 시스템을 생각한다면 인간과 에이전트는 공통 언어와 작업에 사용할 공통 인터페이스가 필요합니다.”
또한: 기업 AI 에이전트가 궁극적인 내부자 위협이 될 수 있는 이유
Hron은 이러한 공통 언어와 인터페이스가 인간에게 행위적 사고 과정에 대한 귀중한 통찰력을 제공해야 하며 그 반대의 경우도 마찬가지라고 말했습니다.
“이 영역은 새롭고 중요한 UI 경험이며 에이전트에 대한 깊은 기술적 이해와 좋은 사용자 경험을 긴밀하게 결합하는 것이 중요하다고 생각합니다.”
많은 전문가들이 인간과 상담원 결합의 중요성에 대해 이야기하는 동안 Hron은 성공의 열쇠는 간단하다고 말했습니다. 즉, 비즈니스 팀을 하나로 모으는 것입니다.
“이 프로세스는 과학적이지 않습니다. 디자이너가 데이터 과학자와 함께 앉아 무슨 일이 일어나고 있는지 이야기하도록 강요하는 것입니다.”라고 그는 말했습니다. “두 집단의 사람들이 더 가까워질수록, 그리고 그들이 더 자주 함께 앉을 수 있게 될수록, 두 영역을 넘나드는 사고의 삼투 현상이 더 잘 생길 것입니다.”
3. 검증된 역량을 개발하라
Hron은 당신이 다르게 믿게 만드는 어떤 과대 광고에도 불구하고 전문가들은 에이전트와 그들을 강화하는 모델이 전지적이지 않다는 점을 인식해야 한다고 말했습니다.
Hron은 AI 모델이 코드 작성, 계획 실행, 다단계 추론이라는 세 가지 측면에서 개선되고 있다고 말했습니다. 최신 기술을 통해 다른 소프트웨어 도구를 통해 모델 기능을 확장할 수 있습니다.
그는 “이 개발이 회사로서 우리에게 의미하는 바는 부정적인 것보다 더 긍정적인 것입니다. 왜냐하면 우리가 수십 년 동안 시장에 판매해 온 수백 개의 애플리케이션을 모두 가져와서 분해할 수 있다면 우리는 전문가를 위한 입증된 역량을 갖게 된다는 의미이기 때문입니다”라고 말했습니다.
또한: AI 프로젝트의 90%가 실패합니다. 실패하지 않도록 보장하는 3가지 방법은 다음과 같습니다.
“이러한 요소를 에이전트를 위한 도구로 분해할 수 있다면 실제로 이러한 모델의 기능을 상당히 확장할 수 있으며 이것이 바로 에이전트의 미래입니다.”
Hron은 에이전트 AI를 태양 아래 모든 것을 시도하는 전지적 모델로 보는 대신 사람들이 이미 사용하고 있는 입증된 기능에 에이전트에 액세스할 수 있는 권한을 부여하라고 조언했습니다. 이것이 그의 팀의 초점입니다.
“우리는 시스템을 살펴보며 스스로에게 묻습니다. ‘좋아, 우리는 수년 동안 인간 사용자를 위해 이것을 구축했습니다. 이제 에이전트가 이 시스템을 사용하려면 어떤 인체 공학이 필요합니까? 모든 경우에 반드시 인간이 아닌 에이전트와 작업하는 데 도움이 되도록 프로세스를 어떻게 조정합니까? 그리고 이러한 접근 방식은 도구의 모양, 느낌 및 성능에 대해 무엇을 의미합니까?'”
4. 방화벽 너머를 살펴보세요
Thomson Reuters Labs는 최근 Anthropic, AWS, Google Cloud, OpenAI 및 Thomson Reuters의 수석 AI 연구원들을 위한 빌더 주도 포럼인 Trust in AI Alliance를 시작하여 신뢰가 에이전트 시스템에 어떻게 적용되는지 논의했습니다.
Hron은 신뢰할 수 있는 AI에 대한 광범위한 업계 대화를 알리기 위해 공개적으로 교훈을 공유하는 Alliance가 그의 팀의 고위 구성원이 업계 개척자로부터 모범 사례를 배울 수 있도록 돕습니다.
“우리는 이러한 모델이 어떻게 작동하는지에 대한 설명 가능성과 투명성에 초점을 맞추려고 노력하고 있습니다.”라고 그는 말했습니다.
또한: AI 테스트를 중단하고 책임감 있게 확장을 시작할 수 있는 5가지 방법
Hron은 기술 개척자들과 그들의 모델이 0의 정확도에서 90%까지 도달하는 데 필요한 시간과 노력을 크게 줄였다고 말했습니다.
“하지만 우리는 90% 게임에 참여하고 있지 않습니다.”라고 그는 말했습니다. “우리는 99%와 99.9%의 게임을 하고 있으며, 9~29%의 추가 정확도를 얻는 방법을 고려해야 합니다. 이것이 바로 신뢰의 차이입니다.”
이 과정의 일환으로 Thomson Reuters는 학술 기관과도 협력하고 있습니다. 지난해 말, 회사는 임페리얼 칼리지 런던(Imperial College London)에 공동 프론티어 AI 연구소(Frontier AI Research Lab)를 설립하기 위한 5년 파트너십을 발표했습니다.
Hron은 “이러한 이니셔티브에서 우리는 마지막 29%의 정확성에 초점을 맞췄습니다. 왜냐하면 우리가 제품을 시장에 출시할 때 사람들이 우리로부터 구매하려고 하는 것이기 때문입니다.”라고 말했습니다.
“선구적인 기술 조직은 가능한 것의 한계를 계속해서 밀어붙일 것입니다. 그러나 우리에게 마진은 법률, 세금 및 규정 준수 분야에서 경쟁 우위를 확보하고 상실하는 곳입니다. 따라서 이것이 바로 우리가 정말로 바로잡아야 하는 것입니다.”