ChatGPT에 질문을 할 때마다 어딘가에 있는 칩이 답을 보내기 위해 경주하고 있습니다. OpenAI는 Broadcom과 공동 개발한 맞춤형 Jalapeño 칩이 현재 시장에 있는 경쟁 칩보다 훨씬 빠르고 효율적으로 작업을 수행한다고 주장하면서 새로운 벤치마크 결과를 공유했습니다.
할라피뇨는 정확히 얼마나 더 빠릅니까?
OpenAI는 칩이 추론을 얼마나 잘 처리하는지 측정하는 SemiAnalytic의 독립적인 벤치마크인 InferenceX를 사용하여 Jalapeno를 테스트했습니다. 추론은 훈련된 AI 모델을 실행하여 응답을 생성하는 프로세스입니다.
세 가지 AI 모델 전반에 걸쳐 Jalapeno는 전력 와트당 1.5~1.9배 더 많은 AI 작업을 제공하고 대기 시간은 1.7~3.6배 낮아져 응답 시간이 눈에 띄게 빨라졌습니다. AI 에이전트와 같은 고도의 대화형 작업의 경우 이러한 이점은 더욱 높아져 성능이 최대 4.1배 향상되었습니다.
대부분의 칩은 속도와 효율성 사이에서 절충안을 강요하지만 OpenAI는 Jalapeno가 처리 중에 시스템의 여러 부분 간에 이동해야 하는 데이터 양을 최소화하여 두 가지를 동시에 관리한다고 말합니다.
OpenAI가 자체 칩을 구축하기로 결정한 이유는 무엇입니까?
OpenAI는 처음부터 Nvidia GPU에 크게 의존해 왔으며 Jalapeno는 자체 하드웨어 설계를 향한 첫 번째 실제 단계입니다. 흥미롭게도 OpenAI의 자체 AI 모델은 칩 자체의 일부를 설계하는 데 도움이 되었으며, 동일한 접근 방식을 통해 소규모 팀이 단 2개월 내에 3개의 추가 AI 모델을 최대 성능으로 끌어올릴 수 있었습니다.
강력한 결과에도 불구하고 OpenAI는 조만간 Nvidia를 포기하지 않습니다. Jalapeno는 새로운 모델을 훈련하는 별도의 컴퓨팅 집약적인 프로세스가 아닌 추론만 처리하기 때문입니다. 이 회사는 2026년 말까지 Jalapeno 칩을 소량 배치하고 2027년에 의미 있는 규모를 확대할 계획이며, 2세대 및 3세대 칩은 이미 무대 뒤에서 구체화되고 있습니다.
OpenAI는 자체 칩을 구축하는 점점 늘어나는 AI 회사 목록에 합류했습니다. Google은 TPU 라인을 보유하고 있으며 Amazon은 맞춤형 실리콘을 추진하고 있으며 Anthropic은 최근 자체적으로 유사한 계획을 확인했습니다. 흥미롭게도 삼성은 Anthropic의 Claude를 사용하여 자체 칩 설계 작업 속도를 높인 것으로 알려졌으며, 이는 하드웨어 개발을 지원하는 AI가 단순한 OpenAI 실험이 아니라 빠르게 업계 표준이 되고 있음을 시사합니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요