ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.
ZDNET의 주요 시사점
- 에이전트를 사용하면 토큰 측면에서 AI 비용이 급증합니다.
- 에이전트는 일관성이 없으며 총 토큰 사용량을 예측할 수 없습니다.
- 사용자는 가격 투명성과 성능 보장을 요구해야 합니다.
에이전트 인공 지능을 구현하는 데 따르는 모든 과제 중에서 가장 이해하기 어려운 문제는 비용입니다. OpenAI, Google, Anthropic과 같은 AI 제공업체에는 가격표가 있지만, 표시된 가격 중 어느 것도 사용자에게 실제로 문제를 해결하기 위한 최종 청구액이 무엇인지 알려주지 않습니다.
미시간 대학과 협력 기관의 비용에 대한 새로운 연구에 따르면 그 결과는 스티커 쇼크일 수 있습니다. 즉, 에이전트 비용이 치솟고 예측할 수 없게 됩니다.
주저자 미시간의 Longju Bai와 스탠포드 대학교, All Hands AI, Google의 DeepMind 부서, Microsoft 및 MIT의 공동 작업자가 진행한 이 연구는 “AI 에이전트가 돈을 어떻게 소비합니까? 에이전트 코딩 작업에서 토큰 소비 분석 및 예측”이라는 제목으로 진행되었으며 저자에 따르면 “AI 에이전트 토큰 소비에 대한 최초의 체계적인 연구”입니다.
이 연구는 arXiv 사전 인쇄 서버에 게시되었습니다.
AI가 생산성에 미치는 영향에 대해 광범위하게 논평한 저명한 스탠포드 경제학자 Erik Brynjolfsson을 저자로 둔 점은 주목할 만합니다.
최상위 수준의 조사 결과에 따르면 상담원은 차례대로 간단한 프롬프트 기반 채팅보다 훨씬 더 많은 토큰을 소비한다는 것입니다. 즉, ChatGPT를 사용한 일련의 프롬프트에 비해 상담원의 토큰 수가 3,500배 더 많다고 생각하면 됩니다.
또한: MIT 연구에 따르면 AI 에이전트는 빠르고 느슨하며 통제 불능입니다.
토큰은 AI 모델이 처리하는 정보의 기본 단위입니다. 모델이 데이터를 조각으로 나누는 방법에 따라 단어의 일부, 전체 단어 또는 구두점일 수 있습니다.
에이전트의 토큰 비용이 더 높을 것이라고 예상할 수도 있지만, 연구 결과에 따르면 더 놀라운 사실이 밝혀졌습니다. 두 가지 다른 모델은 동일한 작업에 대해 토큰 비용이 크게 다를 수 있습니다. 그리고 동일한 모델은 동일한 문제에 대해 작동할 때마다 비용이 달라질 수 있으며, 한 경우에 다른 경우에 비해 두 배나 많은 토큰을 사용합니다.
가장 나쁜 점은 이 중 어느 것도 예측할 수 없다는 것입니다. Bai와 팀은 에이전트가 특정 작업을 위해 궁극적으로 얼마나 많은 토큰을 소비할지 안정적으로 예측할 수 없다는 사실을 발견했습니다.
“에이전트 작업은 유난히 비용이 많이 듭니다.”라고 그들은 썼습니다. 그러나 더 많은 토큰이 반드시 결과를 향상시키는 것은 아닙니다. 그들은 “단순히 토큰 사용량을 확장하는 것만으로는 실행 성능이 향상되지 않을 수 있습니다”라고 썼으며 “(AI) 모델은 필요한 토큰을 체계적으로 과소평가합니다.
비용 상승과 성공의 불확실성은 오늘날 OpenAI 및 기타 가격 목록에 전혀 반영되어 있지 않습니다. 연구 결과에 따르면 이 문제를 쉽게 해결할 수는 없습니다. 사용자가 할 수 있는 최선의 방법은 에이전트 컴퓨터 사용에 엄격한 제한을 설정하여 작업을 완료하기 전에 에이전트가 중지되도록 하는 것입니다.
(공개: ZDNET의 모회사인 Ziff Davis는 2025년 4월 OpenAI를 상대로 AI 시스템 교육 및 운영에 있어 Ziff Davis의 저작권을 침해했다고 주장하는 소송을 제기했습니다.)
큰 그림은 사용자가 OpenAI와 다른 공급업체에 대해 집단적으로 반발하고 신뢰할 수 있는 비용 추정과 작업 성능 보장을 요구해야 한다는 것입니다.
우리는 의견을 얻기 위해 OpenAI, Google 및 Anthropic에 연락했습니다.
토큰 비용 계산
비용을 연구하기 위해 Bai와 팀은 일리노이 대학 Urbana-Champaign 대학의 학자들과 협력 기관이 개발한 오픈 소스 에이전트 AI 프레임워크 OpenHands를 사용했습니다. 그들은 OpenHands를 사용하여 에이전트를 구축한 다음 오픈 소스 코딩 벤치마크 테스트 SWE-Bench에서 테스트했습니다. SWE-Bench 작업은 실제 GitHub 문제에서 가져왔습니다.
또한: 혼돈의 AI 요원? 새로운 연구에 따르면 봇과 대화하는 봇이 어떻게 옆으로 빠르게 이동할 수 있는지 보여줍니다.
그들은 먼저 모델의 상대적인 강점을 발견했습니다. OpenAI의 ChatGPT 5 및 5.2는 가장 정확하지는 않지만 “저렴한 비용으로 강력한 정확도를 달성”합니다. Anthropic의 Claude Sonnet-4.5는 가장 높은 정확도를 달성했지만 토큰 비용은 더 높았습니다. Google의 Gemini-3-Pro는 중간쯤에 있었습니다. 그리고 중국 AI 연구실 Moonshot의 Kimi-K2 모델은 가장 낮은 정확도를 달성하기 위해 가장 많은 토큰을 사용하는 최악의 상대 혼합을 가질 수 있습니다.
저자는 토큰의 차이가 모델 설계 방식의 고유한 속성에 기반한다고 제안했습니다. “격차는 작업 난이도나 더 어려운 문제를 시도하는 일부 모델에 의해 발생하는 것이 아닙니다. 대신 동일한 작업은 다른 모델보다 일부 모델에 더 많은 비용이 듭니다. 이는 문제의 속성보다는 모델의 행동 경향을 반영합니다.”
그러나 문제는 더 좋고 더 나쁜 모델 중 하나가 아닙니다. 왜냐하면 동일한 모델이라도 작업의 한 “실행”에서 다음 작업까지 동일한 문제를 해결하기 위해 두 배의 토큰을 사용할 수 있기 때문입니다.
“가장 비용이 많이 드는 실행은 가장 비용이 적게 드는 실행의 토큰 및 금전적 비용의 두 배입니다.”라고 그들은 관찰했습니다. “이는 정확히 동일한 문제를 작업할 때에도 에이전트의 토큰 소비에 큰 차이가 있음을 시사합니다.”
교훈은 더 많은 토큰이 반드시 더 나은 결과를 얻는 것은 아니라는 것입니다. “단순히 토큰 사용을 확장하는 것만으로는 실행 성능이 향상되지 않을 수 있습니다.”라고 그들은 썼습니다.
실제로 저자는 에이전트가 작업에 더 오랜 시간을 소비할수록 일반적으로 작업이 더 나빠질 수 있음을 발견했습니다. “정확도는 종종 중간 비용에서 최고조에 이르고 더 높은 비용에서 포화됩니다.”라고 그들은 관찰했습니다. “더 복잡한 작업에서는 에이전트 동작이 점점 불안정해집니다.”
많은 모델들이 성과가 없을 때에도 문제를 해결하기 위해 검색하고 검색하는 것 같습니다. Bai와 팀은 “모델에는 작업을 해결할 수 없는 시기를 인식하고 조기에 중지할 수 있는 신뢰할 수 있는 메커니즘이 부족합니다.”라고 썼습니다. “대신 계속해서 컨텍스트를 탐색하고, 재시도하고, 다시 읽으면서 진전 없이 비용만 축적합니다.”
비용을 예측할 수 없음
이러한 요인으로 인해 “토큰 사용량 예측 및 에이전트 가격 책정은 근본적으로 어려운 작업”이라고 Bai와 팀은 썼습니다. 그리고 실제로 “성찰”을 요청하면 봇 자체는 예측할 수 없다는 사실을 발견했습니다.
Bai와 팀은 각 AI 에이전트에게 “디렉토리 예제 저장소에 Python 코드 저장소를 업로드했습니다. 귀하는 토큰 추정 에이전트입니다. 다음 문제 설명을 수정하기 위해 토큰 비용을 추정하십시오.”라는 프롬프트를 사용하여 토큰을 예측하도록 요청한 다음, 실패한 코드의 비교 기능에 대한 버그 수정과 같은 문제 설명을 요청했습니다.
그들이 발견한 것은 에이전트가 얼마나 많은 토큰이 사용될 것인지 대략적으로 추정할 수 있지만 예측이 너무 낮은 경향이 있다는 것입니다.
Bai와 팀은 “모델은 필요한 토큰을 지속적으로 과소평가합니다.”라고 썼습니다. “편향은 실제 가치가 수백만 달러로 증가하더라도 예측이 압축된 상태로 유지되는 입력 토큰의 경우 특히 두드러집니다.”
해당 입력을 살펴보세요
입력 토큰에 대한 마지막 사항은 보고서에서 특히 중요합니다. Bai와 팀은 인간 사용자가 입력하는 것과 데이터베이스 검색과 같은 도구를 통해 검색되는 것과 같은 입력 토큰이 토큰 비용을 지배한다는 것을 발견했습니다. 다른 두 가지 유형의 토큰, 즉 생성되는 출력과 이전 단계에서 메모리에 보관된 캐시된 토큰은 요구 사항이 훨씬 적습니다.
“놀랍게도 출력 토큰이 아닌 입력 토큰이 에이전트 코딩의 전체 비용을 지배합니다.”
그 이유는 “에이전트 워크플로가 다양한 소스로부터 정보를 축적하고 동일한 컨텍스트가 모델에 반복적으로 공급되기 때문입니다.” 결과적으로 봇을 사용한 단일 프롬프트 또는 다중 프롬프트 AI 세션보다 에이전트 AI의 “입력/출력 비율이 극적으로 더 높습니다”.
그리고 더 자세히 살펴보면 가장 비용이 많이 드는 입력 토큰 요소는 에이전트가 메모리에서 이전 정보를 검색할 때입니다. “우리는 그것을 발견 캐시 읽기는 원시 토큰 볼륨과 달러 비용 모두를 지배합니다.Bai와 팀은 이렇게 썼습니다. “모든 단계에서 캐시 읽기 입력 토큰은 이전 컨텍스트의 누적 재사용을 반영하는 넓은 차이로 가장 큰 범주입니다(그림 8a).”
계산이 있을 것이다
전반적으로 연구 결과는 Replit 및 Lovable과 같은 코딩 에이전트에 대한 나의 일화적인 경험을 확인시켜 주었습니다. 여기서 미터는 기본 AI 모델을 사용하기 위해 지속적으로 실행되었으며 총 비용이 얼마인지 전혀 알 수 없었습니다.
무엇을 할 수 있나요? 저자는 제안을 많이 하지 않습니다. 한 가지 제안은 에이전트가 토큰 수를 예측할 수 없더라도 토큰 비용에 대한 “대략적인” 추정치인 높은 수준에서 몇 가지 추측을 할 수 있다는 것입니다. “이는 에이전트 기반 추정이 잠재적으로 조기 지원을 제공할 수 있음을 시사합니다. 예산 알림 비용이 많이 드는 실행을 시작하기 전에 정확한 토큰 수준의 정확성을 과도하게 약속하지 않고 비용 투명성을 향상시킵니다.”라고 그들은 썼습니다.
나는 몇 가지 다른 합리적인 지침을 생각할 수 있습니다.
입력 토큰은 가장 큰 비용 요소이므로 입력 시 무엇을 제어할 수 있는지 신중하게 생각해야 합니다. 프롬프트의 크기는 입력 토큰을 더 높게 만드는 요인 중 하나입니다. 더 넓거나 더 좁은 에이전트와 함께 사용되는 컨텍스트 창은 입력 시 토큰 수에 영향을 미칩니다. 그리고 데이터베이스와 같이 에이전트가 호출하는 도구의 수에 따라 더 많은 입력 토큰이 사용됩니다.
또한: 초보자도 정말 분위기 있는 앱 코딩을 할 수 있나요? Cursor와 Replit을 사용해 알아보았습니다.
하지만 사용자로서 할 수 있는 일은 너무 많습니다. 업계 전반에 걸쳐 더 많은 조치가 취해져야 할 것입니다. 설명된 문제는 분명히 젊은 업계의 문제이며 사용자가 관행을 바꾸도록 공급업체를 압박해야 하는 문제입니다.
에이전트가 작업을 수행하는 데 드는 비용에 대한 투명성 부족은 소프트웨어에 대한 투자를 계획할 수 있어야 하는 기업에게는 너무 모호합니다. 계획 목적의 추정치로 사용할 평균 비용과 같은 것을 얻기 위해 실험적 용량으로 에이전트 작업을 반복해서 실행해야 하는 부담이 사용자에게 가해집니다.
그리고 에이전트가 토큰을 소진한 후에도 성공에 대한 보장이 없다는 것이 가장 눈에 띄는 문제입니다. 이는 기업이 토큰을 운영하는 것만으로도 막대한 돈을 낭비할 수 있음을 의미합니다.
사용자들은 전체적으로 OpenAI, Google, Anthropic과 같은 공급업체에 반발하고 가격 투명성과 작업 완료에 대한 어떤 형태의 보장을 요구해야 할 것입니다. 그렇지 않으면 에이전트 AI의 전체 실행이 비용 초과 및 구현 실패로 인해 지배될 수 있습니다.
이러한 심각한 문제는 아마도 얼리 어답터들에 의해 이미 직면하고 있을 것입니다. 그들은 대리인적 우위를 가장 먼저 확보하기 위해 높은 비용을 지불하는 데 만족할 수 있습니다. 하지만 에이전트 AI를 안정적이고 꾸준하게 활용할 수 있는 상황은 아니다.
자세한 정보 확인