ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.
ZDNET의 주요 시사점
- Nvidia는 AI 인프라의 모든 측면을 포괄하는 5개의 장비 랙을 선보였습니다.
- 엔비디아는 모든 부품이 엔비디아 제품일 때 AI 경제성이 더 좋다고 주장합니다.
- Nvidia의 확장된 야망에는 로봇 공학은 물론 우주 AI까지 포함됩니다.
Nvidia가 이번 주 캘리포니아 새너제이에서 열린 GTC 컨퍼런스에서 언론에 제안한 이미지는 다양한 종류의 데이터 센터 서버 랙을 나타내는 40개의 직사각형 라인입니다. 라벨도 없고, 셰익스피어의 전 작품이 담긴 책장처럼 서 있는 선반, 더 불길하게도 군인들의 방진대처럼 서 있을 뿐입니다.
인상적인 랙 벽이 암시하는 메시지는 아직 그렇지 않더라도 Nvidia가 궁극적으로 데이터 센터의 한쪽 끝에서 다른 쪽 끝까지 모든 처리를 소유하게 될 것이라는 것입니다.
또한: 이 OS는 모든 AI와 대부분의 미래 IT 작업을 조용히 지원합니다.
쇼 무대에서 Nvidia CEO Jensen Huang은 월요일의 기조 연설을 통해 회사의 칩 및 시스템 제품군 확장을 발표했습니다. 기존 제품 라인에는 Vera CPU 칩, Rubin GPU 칩이 포함되어 있으며 이제는 초고속 추론을 위해 LPX라고 하는 새로운 종류의 장비 랙이 여기에 합류했습니다.
AI 추론만을 위한 새로운 랙
올해 말 출시될 LPX 랙은 엔비디아가 지난 12월 AI 스타트업 그로크(Groq)로부터 200억 달러에 라이선스를 받은 지적 재산을 사용해 설계한 칩으로 구성된다.
Nvidia Groq 3 LPU에 구현된 변형된 Groq 접근 방식은 추론 속도와 처리할 수 있는 총 데이터 양 간의 최적의 균형을 달성하기 위해 Rubin GPU와 함께 LPX에서 사용됩니다.
Nvidia의 하이퍼스케일 및 고성능 컴퓨팅 책임자인 Ian Buck은 미디어 사전 브리핑에서 Groq 3 LPU는 “GPU의 극한 FLOPS(초당 부동 소수점 연산)와 LPU의 대역폭을 하나로 결합할 수 있습니다”라고 말했습니다.
또한: 클라우드 공격은 점점 더 빨라지고 치명적입니다. 최선의 방어 계획은 다음과 같습니다.
“언어 처리 장치”를 의미하는 원래 Groq LPU에는 일반 칩 메모리 캐시보다 훨씬 큰 고속 메모리 형태인 500MB의 온칩 SRAM이 있습니다. SRAM은 추론 속도를 높이는 계산의 중간 결과인 “KV 캐시”뿐만 아니라 대규모 언어 모델의 신경 매개변수라고도 불리는 가중치를 보유할 수 있습니다.
GPU와 함께 랙의 LPU를 사용함으로써 LPU의 SRAM은 가장 필요한 데이터를 가져올 수 있으므로 GPU가 수행해야 하는 오프칩 DRAM에서 데이터를 요청할 필요성이 줄어듭니다. 로컬 SRAM 캐시는 지연 시간, 즉 쿼리에 대한 답변을 검색하고 출력하는 데 걸리는 왕복 시간을 극적으로 줄여준다고 Buck은 말했습니다.
Buck은 “하루 종일 쿼리해야 했던 작업이 한 시간 이내에 생성될 것입니다.”라고 말했습니다.
AI의 경제학을 변화시키다
Nvidia는 LPU가 쿼리 처리를 훨씬 더 효율적으로 수행할 수도 있다고 주장합니다. 시장 조사 회사 TechInsights는 Nvidia 거래 이전의 기존 Groq 실리콘을 기반으로 메모리 액세스를 위한 LPU의 “비트당 에너지”가 1/3 피코줄, 즉 DRAM 액세스를 위한 GPU의 6 피코줄보다 20배 적다고 보고했습니다.
토큰당 동일한 금액으로 LPX 랙의 Groq LPU는 메가와트당 초당 35배 많은 토큰을 제공할 것이라고 Buck은 말했습니다. Buck은 백만 토큰당 45달러의 가격으로 초당 500,000개의 토큰을 처리하는 예를 사용했습니다.
또한: 2026년 AI에 더 많은 비용을 지불하게 될 이유와 시도해 볼 수 있는 3가지 비용 절감 팁
토큰을 가져오고 전달하는 속도가 급격히 향상되면 AI 제공업체가 메가와트당 초당 벌 수 있는 수익이 10배 증가한다고 Buck은 말했습니다.
명시적으로 언급되지는 않았지만 현재 DRAM 가격이 급등하고 있는 상황에서 오프칩 DRAM 사용을 줄이는 것이 점점 더 중요해지고 있습니다.
우리에게서 모두 구매하면 더 좋습니다
LPX 랙은 AI 세계에 대한 Huang의 전반적인 홍보의 일부입니다. Vera, Rubin 및 LPU 칩뿐만 아니라 그 위에서 실행되는 소프트웨어까지 방정식의 모든 부분을 판매하여 회사가 더 나은 경제성을 제공한다는 것입니다.
Nvidia의 Buck은 기자들에게 “에너지, 칩, 인프라 자체, 모델 및 애플리케이션의 5개 계층 케이크에서 이 다층 인프라가 수익과 일자리 창출을 주도하고 있습니다”라고 말했습니다.
LPX는 Huang이 말한 다른 4개의 랙과 함께 40개의 직사각형 행에 서 있으며, 이는 완전한 AI 인프라를 위한 그의 회사의 목표를 구성합니다.
72개의 Rubin CPU와 36개의 Vera CPU로 구성된 랙인 Vera-Rubin NVL72가 있습니다. 새로운 CPU 전용 랙인 Vera CPU 랙은 256개의 Vera CPU와 400TB의 DRAM으로 구성됩니다. 모든 GPU에서 KV 캐시를 위한 일종의 저장소 역할을 하는 새로운 종류의 데이터 스토리지 랙인 Bluefield 4 STX 그리고 Nvidia의 이더넷 네트워킹 장비 랙의 최신 버전인 Spectrum-6 SPX가 있습니다.
또한: Nvidia의 물리적 AI 모델은 차세대 로봇의 길을 열어줍니다. 새로운 기능은 다음과 같습니다.
Buck은 Veru CPU 랙이 기존 Intel 또는 AMD 기반 x86 CPU에 비해 너무 많은 에이전트 AI의 모든 작업 속도를 높인다고 설명했습니다.
Buck은 “현재 GPU는 실제로 도구 호출, SQL 쿼리 및 코드 컴파일을 수행하기 위해 CPU를 호출합니다.”라고 말했습니다. “이 샌드박스 실행은 데이터 센터 전반에 걸쳐 에이전트를 교육하고 배포하는 데 있어 중요한 부분이며, 해당 CPU는 빨라야 합니다.”
그는 Vera CPU 랙이 기존 x86 CPU에 비해 단일 스레드 CPU 작업에서 1.5배 더 빠를 수 있다고 말했습니다. 결과적으로 STX 랙은 와트당 성능을 4배, 엔터프라이즈 데이터의 경우 초당 2배의 페이지를 제공하고 GenTech 워크플로우를 실행하는 AI 공장에 필요한 초당 토큰을 5배 더 많이 제공합니다.
Buck은 “결과는 놀랍습니다.”라고 말했습니다.
Buck은 새로운 데이터 스토리지 랙이 “LLM 및 GenTech 워크플로에서 생성된 대규모 키-값 캐시 데이터를 저장하고 검색하는 데 최적화된 고대역폭 공유 레이어”라고 설명했습니다. 랙은 Nvidia Bluefield DPU(데이터 처리 장치, CPU의 동반자)로 구성되어 있지만 STX는 “참조 아키텍처”일 뿐이라고 Buck은 말했습니다. 이는 실제 랙이 Nvidia 파트너에 의해 설계되고 제작된다는 의미입니다.
야망을 넓히다
황의 기조연설에서 드러난 야망의 규모와 폭은 놀랍습니다. 내 동료 Radhika Rajkumar가 자신의 취재에서 자세히 설명했듯이 Huang은 에이전트 AI인 NemoClaw에 대한 자체 제품과 소위 물리적 AI(주로 로봇 공학)에 대한 여러 제품에 대해서도 설명했습니다. Radhika에 따르면 Huang은 위성 기반 서버 배포의 세부 사항이 여전히 모호하지만 우주에서의 AI에 대해서도 언급했습니다.
Buck은 서로 다른 서버의 벽을 “AI 및 모든 산업 전반의 모든 워크로드에 대해 AI 공장에서 최대 가치를 제공하기 위한 극단적인 엔드투엔드 공동 설계”라고 규정했습니다.
또한: Nvidia는 OpenClaw에 투자하지만 보안 계층을 추가합니다 – NemoClaw 작동 방식
이는 또한 Nvidia가 경쟁사인 AMD의 CPU 및 GPU 사용을 고려하거나 Cerebras Systems와 같은 스타트업 도전자의 이국적인 AI 장비 사용을 고려하는 모든 사람에게 가치 제안을 분명하게 알리는 교활한 방법이기도 합니다. Huang은 데이터 센터의 모든 기능을 포괄하는 5개의 장비 랙 포트폴리오를 통해 모든 것이 Nvidia에서 공급될 때 모든 것이 더 효율적으로 작동하고 더 많은 AI 수익을 창출할 것이라고 고객에게 말합니다.
Huang에게 이것은 또한 기존 업체로부터 컴퓨팅 일부를 인수하려는 수십 년 간의 탐구의 정점이기도 합니다. 과거에는 덴버 등 강력한 서버 CPU로 서버 CPU 시장을 장악하려 하기도 했다. 그러나 황은 인텔 제온 CPU의 확고한 힘이 너무 강해 극복할 수 없게 되자 철수해야 했다.
이제 데이터 센터의 전체 부품이 수집된 책장을 통해 Huang의 회사는 컴퓨팅 시대를 정의하고 이전 시대를 정의한 회사를 압도할 준비가 되어 있습니다.