엑스디노드 메인 히어로 GPU 서버
NVIDIA DGX B200 제품 이미지
NVIDIA DGX B200 제품 이미지

AI 팩토리를 위한 기반

NVIDIA DGX B200

NVIDIA DGX B200

주요 스펙

AI 성능

144 petaFLOPS

메모리

1,440GB

FP32

72 petaFLOPS

최대 소비전력

14.3kW

AI 팩토리를 위한 기반.

NVIDIA DGX 시스템은 모든 규모의 엔터프라이즈AI 인프라를 위한 세계 최고의 솔루션을 제공합니다.

진화하는 혁신으로 뒷받침되는 획기적인 효율성

NVIDIA DGX™ B200은 비교할 수 없는 성능, 효율성 및 규모로 생성 AI의 다음 장을 정의합니다. 8개의 Blackwell GPU로 구성되며 1.4 TB의 대용량 GPU 메모리, 초당 64 TB/s의 HBM3e 메모리 대역폭, 14.4TB/s의 all-to-all 메모리 대역폭을 제공합니다.

진화하는 혁신으로 뒷받침되는 획기적인 효율성

NVIDIA DGX™ B200은 비교할 수 없는 성능, 효율성 및 규모로 생성 AI의 다음 장을 정의합니다. 8개의 Blackwell GPU로 구성되며 1.4 TB의 대용량 GPU 메모리, 초당 64 TB/s의 HBM3e 메모리 대역폭, 14.4TB/s의 all-to-all 메모리 대역폭을 제공합니다.

강력한 AI 성능

NVIDIA Blackwell 아키텍처 기반으로 하는 DGX B200은 DGX H100 대비 3배의 훈련 성능과 15배의 추론 성능을 제공합니다. NVIDIA DGX BasePOD™ 및 NVIDIA DGX SuperPOD™의 기반인 DGX B200은 모든 워크로드에 최첨단 성능을 제공합니다.

강력한 AI 성능

NVIDIA Blackwell 아키텍처 기반으로 하는 DGX B200은 DGX H100 대비 3배의 훈련 성능과 15배의 추론 성능을 제공합니다. NVIDIA DGX BasePOD™ 및 NVIDIA DGX SuperPOD™의 기반인 DGX B200은 모든 워크로드에 최첨단 성능을 제공합니다.

개발에서 배포까지의 파이프라인을 위한 단일 플랫폼

엔터프라이즈는 훈련에서 미세 조정, 추론에 이르는 AI 파이프라인 전 단계에서 복잡한 AI 데이터세트를 처리하기 위해 막대한 컴퓨팅 성능이 필요합니다. NVIDIA DGX B200을 통해 엔터프라이즈는 워크플로우를 가속화하도록 구축된 단일 플랫폼으로 개발자를 무장할 수 있습니다.

개발에서 배포까지의 파이프라인을 위한 단일 플랫폼

엔터프라이즈는 훈련에서 미세 조정, 추론에 이르는 AI 파이프라인 전 단계에서 복잡한 AI 데이터세트를 처리하기 위해 막대한 컴퓨팅 성능이 필요합니다. NVIDIA DGX B200을 통해 엔터프라이즈는 워크플로우를 가속화하도록 구축된 단일 플랫폼으로 개발자를 무장할 수 있습니다.

입증된 인프라 표준

DGX B200은 완전히 최적화된 하드웨어 및 소프트웨어 플랫폼으로, NVIDIA Base Command 및 NVIDIA AI Enterprise 소프트웨어, 풍부한 타사 지원 에코시스템, NVIDIA 전문 서비스의 전문가 조언을 포함한 완전한 NVIDIA AI 소프트웨어 스택이 포함되어 있습니다.

입증된 인프라 표준

DGX B200은 완전히 최적화된 하드웨어 및 소프트웨어 플랫폼으로, NVIDIA Base Command 및 NVIDIA AI Enterprise 소프트웨어, 풍부한 타사 지원 에코시스템, NVIDIA 전문 서비스의 전문가 조언을 포함한 완전한 NVIDIA AI 소프트웨어 스택이 포함되어 있습니다.

NVIDIA Blackwell 아키텍처 기반

NVIDIA Blackwell 아키텍처 기반

새로운 차원의 AI 슈퍼칩

Blackwell 프로세서는 2,080억 개의 트랜지스터를 탑재하고 있으며 NVIDIA를 위해 맞춤 제작된 TSMC 4NP 프로세스를 사용하여 제조되었습니다. 모든 Blackwell 제품은 10TB/s의 칩 간 상호 연결을 통해 연결된 레티클 제한 다이 2개를 제공하여 캐시가 완전히 일관되고 CUDA와 호환되는 단일 GPU 슈퍼칩에서 GPU 다이 2개의 성능을 제공합니다.

새로운 차원의 AI 슈퍼칩

Blackwell 프로세서는 2,080억 개의 트랜지스터를 탑재하고 있으며 NVIDIA를 위해 맞춤 제작된 TSMC 4NP 프로세스를 사용하여 제조되었습니다. 모든 Blackwell 제품은 10TB/s의 칩 간 상호 연결을 통해 연결된 레티클 제한 다이 2개를 제공하여 캐시가 완전히 일관되고 CUDA와 호환되는 단일 GPU 슈퍼칩에서 GPU 다이 2개의 성능을 제공합니다.

2세대 생성형 AI 엔진

FP8(8비트 부동점) 및 FP16(16비트 부동점) 정밀도로 교육을 가속화하는 트랜스포머 엔진 기술을 지원하는 것 외에도 Blackwell은 새로운 생성형 AI 엔진을 도입합니다. 생성형 AI 엔진은 NVIDIA® TensorRT™-LLM 및 NeMo™ Framework 혁신과 결합된 맞춤형 Blackwell Tensor 코어 기술을 사용하여 거대 언어 모델(LLM) 및 전문가 혼합(MoE) 모델의 추론 및 교육을 가속화합니다.

2세대 생성형 AI 엔진

FP8(8비트 부동점) 및 FP16(16비트 부동점) 정밀도로 교육을 가속화하는 트랜스포머 엔진 기술을 지원하는 것 외에도 Blackwell은 새로운 생성형 AI 엔진을 도입합니다. 생성형 AI 엔진은 NVIDIA® TensorRT™-LLM 및 NeMo™ Framework 혁신과 결합된 맞춤형 Blackwell Tensor 코어 기술을 사용하여 거대 언어 모델(LLM) 및 전문가 혼합(MoE) 모델의 추론 및 교육을 가속화합니다.

NVLink 및 NVLink Switch

NVIDIA NVLink 스위치 칩은 하나의 72-GPU NVLink 도메인에서 130TB/s의 GPU 대역폭을 구현하며, NVIDIA 확장 가능한 계층적 집계 및 감소 프로토콜(SHARP)™ FP8 지원으로 4배의 대역폭 효율성을 달성합니다. 또한 1.8TB/s의 놀라운 상호 연결 속도로 단일 서버 이상의 클러스터를 지원하고 있습니다.

NVLink 및 NVLink Switch

NVIDIA NVLink 스위치 칩은 하나의 72-GPU NVLink 도메인에서 130TB/s의 GPU 대역폭을 구현하며, NVIDIA 확장 가능한 계층적 집계 및 감소 프로토콜(SHARP)™ FP8 지원으로 4배의 대역폭 효율성을 달성합니다. 또한 1.8TB/s의 놀라운 상호 연결 속도로 단일 서버 이상의 클러스터를 지원하고 있습니다.

안전한 AI

NVIDIA Blackwell은 업계 최초의 TEE-I/O 지원 GPU로, NVIDIA® NVLink®를 통한 인라인 보호 및 TEE-I/O 지원 호스트와 함께 최고 성능의 컨피덴셜 컴퓨팅 솔루션을 제공합니다. AI의 IP를 보호하고 기밀 AI 훈련, 추론 및 Federated Learning을 안전하게 지원하는 것은 물론 가장 큰 모델도 성능이 뛰어난 방식으로 보호할 수 있습니다.

안전한 AI

NVIDIA Blackwell은 업계 최초의 TEE-I/O 지원 GPU로, NVIDIA® NVLink®를 통한 인라인 보호 및 TEE-I/O 지원 호스트와 함께 최고 성능의 컨피덴셜 컴퓨팅 솔루션을 제공합니다. AI의 IP를 보호하고 기밀 AI 훈련, 추론 및 Federated Learning을 안전하게 지원하는 것은 물론 가장 큰 모델도 성능이 뛰어난 방식으로 보호할 수 있습니다.

Decompression Engine

Blackwell의 Decompression Engine과 고속 링크(900GB/s 양방향 대역폭)를 통해 NVIDIA Grace™ CPU의 방대한 메모리에 액세스하는 기능은 데이터에서 최고의 성능을 위해 데이터베이스 쿼리의 전체 파이프라인을 가속화합니다. LZ4, Snappy 및 Deflate와 같은 최신 압축 형식을 지원하여 분석 및 데이터 사이언스를 지원합니다.

Decompression Engine

Blackwell의 Decompression Engine과 고속 링크(900GB/s 양방향 대역폭)를 통해 NVIDIA Grace™ CPU의 방대한 메모리에 액세스하는 기능은 데이터에서 최고의 성능을 위해 데이터베이스 쿼리의 전체 파이프라인을 가속화합니다. LZ4, Snappy 및 Deflate와 같은 최신 압축 형식을 지원하여 분석 및 데이터 사이언스를 지원합니다.

RAS(신뢰성, 가용성, 서비스 가능성) 엔진

Blackwell은 발생할 수 있는 잠재적인 결함을 조기에 식별하여 가동 중단 시간을 최소화하기 위해 전용 RAS 엔진으로 지능형 복원력을 추가합니다. NVIDIA의 RAS 엔진은 우려되는 영역을 식별하고 유지 관리를 계획할 수 있는 심층 진단 정보를 제공합니다. RAS 엔진은 문제의 원인을 신속하게 파악하여 소요 시간을 단축하고 효과적인 해결을 촉진하여 가동 중단 시간을 최소화합니다.

비즈니스 환경에 맞는 산업별 솔루션

대규모 데이터셋으로 AI 모델을 학습 최적화

LLM 학습 (Large Language Model Training)

a group of pink and blue balls on a black background

AI 추론

H100 대비 15배 빠른 실시간 추론 처리

a white antenna with many small balls

Intelligent automation that learns from your workflow. Let AI handle the repetitive tasks.

H200 대비 평균 2배 처리량으로 모델 커스터마이징

파인튜닝

geometric shape digital wallpaper

대규모 데이터셋으로 AI 모델을 학습 최적화

LLM 학습 (Large Language Model Training)

a group of pink and blue balls on a black background

AI 추론

H100 대비 15배 빠른 실시간 추론 처리

a white antenna with many small balls

Intelligent automation that learns from your workflow. Let AI handle the repetitive tasks.

H200 대비 평균 2배 처리량으로 모델 커스터마이징

파인튜닝

geometric shape digital wallpaper

AI

이미지·텍스트 등 생성형 모델 대규모 배포에 최적화

생성형 AI

a computer circuit board with a brain on it

Bank-grade encryption and compliance. Your data is protected with military-level security protocols.

text, icon

Intelligent automation that learns from your workflow. Let AI handle the repetitive tasks.

red and white tunnel with red carpet

Grow without limits. Our platform adapts to your needs, from startup to enterprise.

a group of computer servers

이미지·텍스트 등 생성형 모델 대규모 배포에 최적화

생성형 AI

a computer circuit board with a brain on it

추천 시스템·챗봇

더 빠르고 정확한 풀스택 AI 추론

text, icon

Intelligent automation that learns from your workflow. Let AI handle the repetitive tasks.

NLP·비전·생성형 AI 전반의 고속 학습 및 추론 지원

컴퓨터 비전

red and white tunnel with red carpet

Grow without limits. Our platform adapts to your needs, from startup to enterprise.

풀파이프라인 AI

데이터 준비부터 학습·배포까지 단일 플랫폼으로 처리

a group of computer servers

상세 기술 사양

상세 기술 사양

NVIDIA DGX B200의 전체 기술 사양입니다.

제품 상세 스펙

GPU

8x NVIDIA Blackwell GPU

GPU Memory

1,440GB total GPU memory

Performance

72 petaFLOPS training and 144 petaFLOPS inference

Power Consumption

~14.3kW max

CPU

2 Intel® Xeon® Platinum 8570 Processors 112 Cores total, 2.1 GHz (Base), 4 GHz (Max Boost)

System Memory

2TB, configurable to 4TB

Networking

- 4x OSFP ports serving 8x single-port NVIDIA ConnectX-7 VPI > Up to 400Gb/s InfiniBand/Ethernet - 2x dual-port QSFP112 NVIDIA BlueField-3 DPU > Up to 400Gb/s InfiniBand/Ethernet

Management network

10Gb/s onboard NIC with RJ45 100Gb/s dual-port ethernet NIC Host baseboard management controller (BMC) with RJ45

Storage

- OS: 2x 1.9TB NVMe M.2 - Internal storage: 8x 3.84TB NVMe U.2

Software

NVIDIA AI Enterprise: Optimized AI Software NVIDIA Base Command™: Orchestration, Scheduling, and Cluster Management DGX OS / Ubuntu: Operating system

Rack Units (RU)

10 RU

System Dimensions

Height: 17.5in (444mm), Width: 19.0in (482.2mm), Length: 35.3in (897.1mm)

Operating Temperature

5–30°C (41–86°F)

Enterprise Support

Three-year Enterprise Business-Standard Support for hardware and software 24/7 Enterprise Support portal access Live agent support during local business hours

제품 정보

상품명

NVIDIA DGX B200

KC 인증번호

-

정격전압 / 최대소비전력

~14.3kW max

품질 보증

3년 무상보증

출시년월

2024

제조사

NVIDIA Corporation

제조국

중국

크기

-

인프라 호환성 진단

인프라 호환성 진단

NVIDIA DGX B200 기반최적의 인프라 구성을 간편하게 확인해 보세요.

워크스테이션, 서버 호환성 체크

  • Dell, HP, Lenovo 등 주요 브랜드 장착 호환 여부 확인 물리적 설치 가능 여부와 운영 안정성 사전 검토 ISV 인증 지원 여부까지 함께 체크

워크스테이션, 서버 호환성 체크

  • Dell, HP, Lenovo 등 주요 브랜드 장착 호환 여부 확인 물리적 설치 가능 여부와 운영 안정성 사전 검토 ISV 인증 지원 여부까지 함께 체크

워크스테이션, 서버 호환성 체크

  • Dell, HP, Lenovo 등 주요 브랜드 장착 호환 여부 확인 물리적 설치 가능 여부와 운영 안정성 사전 검토 ISV 인증 지원 여부까지 함께 체크

black circuit board

멀티 GPU 시뮬레이션

  • 다중 GPU 구성 시 성능 확장성 예측 워크로드별 연산 효율과 처리 성능 검토 확장 환경에 맞는 최적의 시스템 방향 제안

black circuit board

멀티 GPU 시뮬레이션

  • 다중 GPU 구성 시 성능 확장성 예측 워크로드별 연산 효율과 처리 성능 검토 확장 환경에 맞는 최적의 시스템 방향 제안

black circuit board

멀티 GPU 시뮬레이션

  • 다중 GPU 구성 시 성능 확장성 예측 워크로드별 연산 효율과 처리 성능 검토 확장 환경에 맞는 최적의 시스템 방향 제안

blue circuit board

구매 옵션 최적화

  • 단품 구매부터 완제 시스템까지 폭넓게 비교 비즈니스 규모에 맞는 도입 방식 제안 예산과 운영 목적에 맞춘 최적 옵션 설계

blue circuit board

구매 옵션 최적화

  • 단품 구매부터 완제 시스템까지 폭넓게 비교 비즈니스 규모에 맞는 도입 방식 제안 예산과 운영 목적에 맞춘 최적 옵션 설계

blue circuit board

구매 옵션 최적화

  • 단품 구매부터 완제 시스템까지 폭넓게 비교 비즈니스 규모에 맞는 도입 방식 제안 예산과 운영 목적에 맞춘 최적 옵션 설계

DGX Platform 시스템 라인업

DGX B300

8× Blackwell Ultra

2.3TB HBM3e

DGX Spark

128GB 통합 메모리

1 PFLOP FP4

XDNODE를 통해 한정된 예산을
얼마나 잘 활용할 수 있을지 확인해 보세요.

XDNODE를 통해 한정된 예산을
얼마나 잘 활용할 수 있을지 확인해 보세요.

XDNODE를 통해 한정된 예산을
얼마나 잘 활용할 수 있을지 확인해 보세요.