수년 동안 데이터 센터 CPU 경쟁은 매우 간단한 질문을 중심으로 진행되었습니다. 서버에 코어 수는 얼마나 되며, 한 번에 처리할 수 있는 작업량은 얼마나 됩니까? NVIDIA는 이제 AI 시스템이 점점 더 자율화됨에 따라 이러한 규모 추구가 더 중요한 균형을 이루었다고 주장합니다.
CPU 업계가 코어 수에 너무 집착했나요?
Wccftech와의 인터뷰에서 회사의 Vera 팀은 업계가 칩렛 기반 설계와 더 많은 코어 수로 전환하면서 단일 스레드 성능과 IPC(주기당 명령)가 희생되었다고 말했습니다. AI 에이전트가 연속적인 추론 단계 사이에서 더 빠른 실행을 요구함에 따라 NVIDIA는 CPU에 대한 재고가 필요하다고 믿습니다.
클라우드 데이터 센터가 성장함에 따라 칩 제조업체는 더 많은 워크로드를 한 번에 처리하기 위해 더 많은 코어를 서버에 집어넣는 데 집중했습니다. Chiplet 설계는 하나의 큰 다이에 모든 것을 구축하는 대신 여러 개의 작은 다이에 프로세서를 분할함으로써 이를 가능하게 했습니다. 그러나 NVIDIA의 Vera 팀은 이러한 접근 방식에는 장단점이 있다고 주장합니다. 다이 간에 데이터를 이동하면 통신 지연이 추가되고 메모리 액세스가 복잡해지며 잠재적으로 각 코어가 제공할 수 있는 단일 스레드 성능이 제한될 수 있습니다. 이것이 칩렛을 나쁜 디자인 선택으로 만드는 것은 아니지만 NVIDIA는 더 많은 코어에 대한 업계의 추진이 더 빠른 개별 코어를 희생하면서 이루어졌다고 믿습니다.
“…CPU 설계 측면에서 그 시간 동안 어려움을 겪은 것은 실제로 단일 스레드 성능과 IPC였습니다. 왜냐하면 칩을 채울 때, 칩렛을 사용할 때 말 그대로 칩에 코어당 성능을 설계할 공간이 없기 때문입니다.”
Agentic AI는 이러한 방정식을 바꾸고 있습니다. 단순히 응답을 생성하는 챗봇과 달리 AI 에이전트는 코드를 실행하고, 외부 도구를 호출하고, 정보를 검색하고, 결과를 분석한 후 다음에 수행할 작업을 결정해야 할 수 있습니다. 일부 작업은 동시에 실행될 수 있지만 다른 작업은 다음 단계를 시작하기 전에 완료되어야 합니다. 여기서 단일 스레드 성능, 즉 CPU가 하나의 스레드에서 작업을 얼마나 빨리 처리할 수 있는지가 중요해집니다. NVIDIA는 더 빠른 실행과 더 낮은 대기 시간이 에이전트가 이러한 단계를 더 빠르게 통과하는 데 도움이 될 수 있다고 주장합니다.
GPU에도 연쇄 효과가 있습니다. CPU가 다음 작업을 준비하거나 에이전트의 출력을 처리하는 데 너무 오랜 시간이 걸리는 경우 GPU는 명령을 기다리는 동안 유휴 상태로 남아 귀중한 컴퓨팅 용량을 낭비할 수 있습니다. 개별 작업이 계속 느린 경우 단순히 더 많은 CPU 코어를 추가한다고 해서 반드시 문제가 해결되는 것은 아닙니다. NVIDIA는 CPU가 병목 현상이 발생하지 않고 GPU와 보조를 맞출 수 있도록 에이전트 AI가 코어 수와 코어당 속도 간의 더 나은 균형이 필요하다고 주장합니다.
NVIDIA Vera는 어떻게 싱글 코어 속도를 되살릴 계획인가요?
Vera는 더 빠른 개별 코어와 최신 데이터 센터에 필요한 처리량을 결합하는 것을 목표로 합니다. 맞춤형 LPDDR5X 메모리 하위 시스템과 함께 88개의 맞춤형 Olympus CPU 코어를 모놀리식 컴퓨팅 다이에 포장합니다. NVIDIA는 자사의 2세대 Scalable Coherency Fabric이 주요 x86 칩의 3배인 최대 3.4TB/s의 이분 대역폭을 제공한다고 밝혔습니다. 코어를 단일 컴퓨팅 다이에 유지하면 별도의 칩렛 간의 통신도 방지됩니다. 이는 NVIDIA의 주장이지만 전략은 분명합니다. 즉, 높은 코어 수의 이점을 포기하지 않고 빠르고 효율적인 통신을 우선시한다는 것입니다.
Vera는 또한 NVIDIA가 CPU가 AI 인프라에 적합하다고 보는 방식의 변화를 나타냅니다. Grace CPU는 주로 GPU 기반 시스템의 호스트 역할을 하지만, NVIDIA는 에이전트 AI로 인해 도구 호출, 코드 실행 및 강화 학습을 처리하기 위한 독립형 CPU 랙에 대한 수요가 창출되고 있다고 밝혔습니다. 그렇다고 GPU의 중요성이 줄어들거나 칩렛이 사라진다는 의미는 아닙니다. NVIDIA 자체는 칩렛 설계가 타당할 때 여전히 개방적이라고 말합니다.
더 큰 점은 AI가 좋은 CPU의 모습을 바꾸고 있다는 점입니다. 상담원이 질문에 답하는 것에서 벗어나 다단계 작업을 실행하게 되면서 원시 코어 수만으로는 더 이상 전체 내용을 알 수 없을 수도 있습니다. 다음 전투는 단순히 칩에 더 많은 코어를 집어넣는 것이 아닙니다. 가장 비싼 기계를 대기 상태로 두는 대신 AI 공장을 계속 실행할 수 있을 만큼 각 코어를 빠르게 만드는 것입니다.
관련 보도:
관련 정보는 아래 링크에서 확인하세요