AI 산업의 치솟는 전력 수요는 이미 정부, 유틸리티, 기술 기업의 우려가 커지고 있습니다. 그러나 새로운 연구에 따르면 차세대 인공 지능이 이 문제를 훨씬 더 악화시킬 수 있다고 합니다.
한국과학기술원(KAIST) 연구원들이 자율적으로 추론, 계획, 작업 완료가 가능한 AI 시스템인 AI 에이전트의 에너지 비용에 대한 최초의 종합 분석을 발표했습니다. 연구 결과에 따르면 이러한 시스템은 기존 생성 AI 모델보다 쿼리당 최대 136.5배 더 많은 에너지를 소비할 수 있어 미래의 AI를 지원하는 인프라가 미래에 대비할 수 있는지에 대한 새로운 질문을 제기합니다.
더 똑똑한 AI에는 훨씬 더 많은 전기 요금이 부과됩니다.
프롬프트에 대해 단일 응답을 생성하는 기존 챗봇과 달리 AI 에이전트는 복잡한 작업을 해결하면서 반복적으로 LLM(대형 언어 모델) 호출, 웹 검색, 코드 실행, 계산기 사용, 외부 소프트웨어와 상호 작용합니다. 이러한 기능을 사용하면 연구, 프로그래밍 및 작업 공간 자동화에 훨씬 더 유용하게 사용할 수 있지만 훨씬 더 많은 컴퓨팅 리소스도 필요합니다.
KAIST 전기공학부 유민수 교수가 이끄는 연구팀은 AI 에이전트를 데이터센터 워크로드의 새로운 범주로 다루었습니다. 실제 시나리오에서 컴퓨팅 요구 사항을 측정했습니다.
결과는 놀라웠습니다. 연구원들은 AI 에이전트가 기존 사고 연쇄 추론에 비해 응답 지연 시간을 최대 153.7배까지 늘릴 수 있다는 사실을 발견했습니다. 더욱 놀랍게도 이러한 워크로드를 지원하는 고가의 GPU는 외부 도구가 작업을 완료할 때까지 기다리는 동안 실행 시간의 최대 54.5% 동안 유휴 상태로 유지되었습니다. 즉, 하드웨어는 AI 계산을 적극적으로 수행하지 않는 동안에도 계속해서 전력을 소비합니다.
에너지 사용량도 마찬가지로 극적으로 증가합니다. 오늘날의 상용 AI 시스템과 크기가 비슷한 700억 매개변수 언어 모델로 구동되는 AI 에이전트를 실행하려면 쿼리당 평균 348.41와트시가 필요했습니다. 이는 간단한 질문에 답하는 기존 챗봇보다 약 136.5배 더 높은 수치입니다.
더 광범위한 의미를 이해하기 위해 팀은 AI 에이전트가 하루에 137억 건의 요청을 처리하는 미래를 모델링했습니다. 이는 Google의 일일 검색 트래픽과 거의 같습니다. 해당 시나리오에서 AI 인프라에는 약 198.9기가와트의 전력이 필요하며, 이는 미국 전체에서 소비되는 평균 전력의 거의 절반이자 오늘날 AI 데이터 센터의 용량을 훨씬 초과하는 수치입니다.
지능의 숨겨진 비용
이번 연구 결과는 OpenAI, Google, Microsoft, Anthropic 등의 기업이 에이전트 AI에 점점 더 많은 투자를 하여 대화형 챗봇을 넘어선 차세대 도약으로 자리매김하면서 나온 것입니다. 그러나 연구에서는 AI 모델을 개선하는 것만으로는 더 이상 충분하지 않다고 주장합니다. 미래의 발전은 더욱 효율적인 반도체, 향상된 GPU 활용, 더욱 스마트한 데이터 센터 설계 및 확장된 전력 인프라에 똑같이 달려 있을 것입니다.
유 교수는 이번 연구가 AI 경쟁력이 ‘더 스마트한 AI’ 구축에서 더 효율적인 AI 구축으로 이동하고 있음을 보여준다고 말했습니다. 팀은 미래의 AI 개발에는 모델, AI 칩, 서버 및 에너지 시스템을 함께 최적화하여 운영 비용을 관리 가능하게 유지하고 AI가 대규모로 지속 가능하도록 보장하는 공동 설계 접근 방식이 필요하다고 믿습니다.
“동적 추론의 비용: AI 인프라 관점에서 AI 에이전트 및 테스트 시간 확장의 신비화”라는 제목의 이 논문은 올해 초 고성능 컴퓨터 아키텍처(HPCA)에 관한 IEEE 국제 심포지엄에서 발표되었습니다. 연구원들은 또한 AI의 가장 빠르게 성장하고 종종 간과되는 비용 중 하나인 전기 비용을 줄이기 위한 추가 작업을 장려하기 위해 AI 에이전트 벤치마크를 오픈 소스로 공개했습니다.
관련 정보는 아래 링크에서 확인하세요