AI 인프라의 승부는 GPU 성능표가 아니라 토큰을 얼마나 싸게 뽑느냐로 옮겨갔다
추론 AI 시대, 왜 GPU 한 장으론 부족해졌을까
엔비디아 블랙웰 울트라가 등장한 배경은 AI의 사용 방식이 바뀌었기 때문입니다. 단순 질문에 답하던 AI가 여러 단계를 스스로 생각하는 reasoning AI·agentic AI로 진화하면서, 추론 한 번에 필요한 연산량과 메모리가 폭발적으로 늘었습니다. 기존 GPU 한 장으로는 이 병목을 감당하기 어렵고, 그래서 엔비디아는 랙 전체를 하나의 거대한 GPU처럼 묶는 설계로 방향을 틀었습니다. 그 결과물이 바로 2025년 3월 GTC 2025에서 젠슨 황이 발표한 블랙웰 울트라 플랫폼입니다.
블랙웰 울트라, 숫자로 보면 얼마나 달라졌나
GB300 NVL72 한 랙에는 블랙웰 울트라 GPU 72개와 Grace CPU 36개가 들어갑니다. GPU당 HBM3e 메모리는 최대 288GB로 기존 블랙웰 대비 1.5배이고, 랙 전체 GPU 메모리는 20TB에 달합니다. NVLink 대역폭은 130TB/s, CPU 메모리는 17TB, Arm Neoverse V2 코어는 총 2,592개입니다. FP4 AI 연산은 기존 블랙웰 대비 1.5배, attention layer 가속은 2배, Hopper 플랫폼 대비 AI factory 출력은 최대 50배입니다. 그래서 뭐냐고요? 토큰 하나를 생산하는 비용이 그만큼 낮아진다는 뜻입니다.
실제 추론 성능, 이전 세대와 비교하면
숫자가 아닌 실측 기준으로 보면 차이가 더 선명해집니다. MLPerf Inference v5.1 벤치마크에서 GB300 NVL72는 GB200 NVL72 대비 DeepSeek-R1 오프라인 추론 처리량이 45% 높았다고 엔비디아가 밝혔습니다. 같은 랙 폼팩터에서 소프트웨어가 아닌 하드웨어 세대 교체만으로 이 수치가 나왔다는 점이 핵심입니다. 클라우드·데이터센터 운영자 입장에서는 같은 전력과 공간에서 더 많은 토큰을 뽑을 수 있다는 의미이고, 이는 곧 AI 서비스 단가 경쟁력으로 직결됩니다.
지금 어디까지 왔고, 다음은 무엇인가
2026년 7월 12일 현재 엔비디아 공식 페이지에서 GB300 NVL72는 'Available Now' 상태로, 발표 단계는 끝나고 실제 공급과 데이터센터 도입이 진행 중입니다. 엔비디아 FY2026 연간 매출은 2,159억 달러로 전년 대비 65% 증가했고, 데이터센터 부문이 성장을 이끌었습니다. 블랙웰 울트라는 현재 AI 추론 인프라의 주력 과도기 플랫폼이며, 후속 세대는 Vera Rubin입니다. 엔비디아는 2026년 5월 31일 Rubin 플랫폼의 양산 램프를 발표했고, 더 높은 전력 효율과 메모리·네트워크로 블랙웰 울트라 자리를 이어받을 예정입니다.
지금 당신이 확인해야 할 한 가지
블랙웰 울트라의 핵심은 GPU 스펙 경쟁이 아니라 '토큰 공장' 효율 경쟁으로 판이 바뀌었다는 점입니다. AI 서비스를 운영하거나 클라우드 인프라를 선택해야 하는 분이라면, 지금 당장 확인할 지표는 하나입니다. 사용 중인 클라우드 제공사가 GB300 NVL72 기반 인스턴스를 언제 제공하는지, 그리고 GB200 대비 토큰당 비용이 얼마나 낮아지는지를 비교해 보세요. Rubin 세대 전환 전 블랙웰 울트라 구간이 실질적인 AI 인프라 비용 최적화 타이밍이 될 수 있습니다.
#엔비디아블랙웰울트라 #GB300NVL72 #블랙웰울트라달라진점 #AI추론인프라 #엔비디아GTC2025 #블랙웰울트라성능 #HBM3e #NVLink #데이터센터GPU #DeepSeekR1 #MLPerf #VeraRubin