NVIDIA GB200 Superchip及各厂家液冷服务器和液冷机柜介绍

（一）前言

NVIDIA GB200是一款高度集成的超级计算模块，它是基于NVIDIA的Blackwell架构设计的。这款模块结合了两个NVIDIA B200 Tensor Core GPU和一个NVIDIA Grace CPU，旨在提供前所未有的AI性能。

GB200 搭载液冷，产业链各参与方共促技术落地，我们认为，在 AIGC 驱动下，AI 算力芯片功耗不断增长，服务器亟需更高效的散热方式，全球 AI 芯片龙头英伟达（新品 GB200 搭载液冷）、AI 服务器厂商超微电脑（根据超微电脑2QFY24 业绩会纪要，预计 Q2 内扩产液冷机架）均为液冷技术作出背书，叠加国内产业链协同推进（如三大运营商于 23 年 6 月发布电信运营商液冷技术白皮书，提出 25 年及以后液冷在 50%以上项目规模应用的愿景），总结来看，液冷同时受到上游芯片端、服务器端、下游 IDC 端、运营商端协同推进，有望提振液冷设备及新型液冷数据中心建设需求。根据 DellOro预测，到 2027 年全球液冷市场规模将接近 20 亿美元。

（二）GH200与GB200的基本介绍

通过与GH200各项参数的对比来介绍GB200，可能更为清晰和直观。

GH200 是 NVIDIA 2023年发布的 H200 GPU 与 Grace CPU 的结合体，一个 Grace CPU 对应一个 H200 GPU，H200 GPU 的显存可以达到 96GB 或 144GB。Grace CPU 和 Hopper GPU 之间通过 NVLink-C2C 互联，带宽为 900GB/s。对应的功耗为 1000w。

GH200硬件架构

NVIDIA GH200 Superchip

2024年3月19日，英伟达在年度GTC上推出了最强AI芯片GB200，性能相较于H100，GB200的算力提升了6倍，在处理多模态特定领域任务时，其算力更是能达到H100的30倍。能耗却降低了25倍。和 GH200 不同，一个 GB200 由1 个 Grace CPU 和2 个 Blackwell GPU 组成，相应的 GPU 算力和显存都加倍。CPU 和 GPU 之间依然通过 900GB/s 的 NVLink-C2C 实现高速互联。对应的功耗为 2700W。

GB200硬件架构

NVIDIA GB200 Superchip

GH200与GB200主要性能参数对比图片

GB200的功耗达到了2700W，这么高的功耗对散热的需求非常高，GB200 NVL72是一个多节点液冷机架级扩展系统，适用于高度计算密集型的工作负载。

（三）各厂商液冷服务器及液冷机柜

GB200 主要有2种机柜形态：

GB200 NVL72（10+9+8布局方式）

GB200 NVL36x2（5+9+4布局方式）

第一种是GB200 NVL72机柜，整个机柜功率大约120kW。目前通用CPU机柜支持高达12kW/机架，而更高密度的H100 风冷机柜通常仅支持大约 40kW/机架。一般对于单机柜超过30kW就应该考虑使用液冷，因此GB200 NVL72机柜采用的是液冷方案。

GB200 NVL72 机柜的组成：由18 个 1U 计算节点+ 9 个 NVSwitch 组成。每个计算节点高 1U，包含 2 个 Bianca 板。每个 Bianca 板包含 1 个 Grace CPU 和 2 个 Blackwell GPU。NVSwitch 托盘有两个 28.8Gb/s NVSwitch5 ASIC。

这个形态的机柜目前很少被部署，因为大多数数据中心基础设施即使采用直接芯片液体冷却 (DLC) 也无法支持如此高的机架密度。

GB200 NVL72机柜布局

另一种机柜形态是GB200 NVL36 * 2 ，它是由两个并排互连在一起的机柜组成。目前大多数 GB200 机架将使用此结构形态。每个机架包含 18 个 Grace CPU 和 36 个 Blackwell GPU。在这2个机柜之间，保持非阻塞的全互联，支持NVL72中所有72个GPU之间的互通。每个计算节点的高度为2U，包含2个 Bianca 板。每个NVSwitch 托盘都有两个28.8Gb/s NVSwitch5 ASIC 芯片。每个芯片有 14.4Gb/s 指向背板，14.4Gb/s 指向前板。每个 NVswitch 托盘有 18 个 1.6T 双端口 OSFP 笼，水平连接到一对 NVL36 机架。

GB200 NVL36 * 2机柜布局

在2024台北国际电脑展期间公开亮相的GB200 NVL72当中，外型大同小异，多数厂商现场展出的是单机柜形态：例如，緯穎、永擎、技嘉、美超微、英業達，大多搭配1U尺寸的運算節點伺服器，其中，技嘉、英業達、和碩均展出搭配2U尺寸的運算節點伺服器，廠商們將這樣的配置稱為GB200 NVL36。

接下来针对各家做的GB200液冷服务器和液冷机柜进行分别介绍。

英伟达、超微、鸿海、广达、维颖、华硕、英业达

（1）英伟达 NVIDIA

在GTC 2024 ，NVIDIA 展示了一个配置了 DGX GB200 NVL72 的机架，整个系统通过 NVLink 完全连接。整个机柜重达 1.36 吨（3,000 磅）。该系统是 Nvidia 2023年 11 月展示的Grace-Hopper Superchip 机架系统的升级版。不过，该系统的 GPU 数量是后者的两倍多。

下面是单个机架120kW的旗舰系统。目前，大部分数据中心最多可以支持60kW机架，对于那些无法部署单机架120kW或8x机架SuperPOD接近1MW的用户，可以采用上述NVL36x2机柜形态。

NVIDIA DGX GB200 NVL72 正面

在机柜的最顶端有2台 52 口（48个千兆RJ45口 +4个QSFP28 100Gbps 聚合端口） Spectrum 交换机。这2台交换机用于管理和传输来自组成系统的各个计算节点、NVLink 交换机和电源框的各类数据。

这2台52口交换机正下方是整个机柜6个电源框中的3个，另外3个位于机柜的底部。这些电源框负责为 120kW 机柜提供电力。据估算，6个 415V、60A 的 PSU 足以满足这一要求。但是在设计中考虑了一定程度的备份冗余。这些电源的运行电流可能超过 60A。每台设备的供电通过机柜后面的Bus Bar完成。

NVIDIA DGX GB200 NVL72 交换机

在上部3个电源框的下面有10个1U的计算节点。在节点的前面板有四个 InfiniBand NIC（前面板左侧和中央的四个QSFP-DD 笼），它们构成了计算网络。系统还配备了 BlueField-3 DPU，据说它负责处理与存储网络的通信。除了几个管理端口外，还有4个 E1.S 驱动器托盘。

NVIDIA DGX GB200 NVL72 顶部计算节点

每个计算节点都有两个 Grace Arm CPU。每个 Grace 都连接到每个计算节点的两个 Blackwell GPU。每个节点的功耗在 5.4kW ~5.7kW 之间。绝大部分热量通过直接到芯片 (DTC) 液体冷却带走

下面是计算节点带有液冷模块和不带液冷模块的内部视图。

NVIDIA DGX GB200 NVL72 计算节点内部

NVIDIA DGX GB200 NVL72 计算节点液冷部分

Nvidia 展示的来自联想的没有安装冷板的GB200原型系统

位于顶部10个计算节点下方的是9台 NVSwitch交换机。面板上的金色部件是用于插拔交换机的手柄。

NVIDIA DGX GB200 NVL72 NVSwitch 前端

NVLink Switch 内部有两个 NVLink 交换机芯片，也采用液冷方案。

NVIDIA DGX GB200 NVL72 交换机内部

在机柜的底部，即是9台 NVSwitch交换机的下方，有8个1U的计算节点。

NVIDIA DGX GB200 NVL72 底部计算节点

在机柜的后面，机柜采用盲插的Bus Bar供电设计，以及为每个设备提供冷却液体的插头和 NVLink 连接。每个部件都需要留出一定的活动空间，以确保盲插的可靠性。

NVIDIA DGX GB200 NVL72 后面

据黄仁勋介绍，冷却液以2L/s的速度进入机架，进入机柜的温度为 25℃，流出机柜的温度会超过 20℃。

NVIDIA DGX GB200 NVL72 后面底部进出液体的管路

NVIDIA 表示，在机柜后部使用铜缆（光纤）NVLink每柜可以节省大约20kW的电力。所有铜缆的长度预计超过 2 英里（3.2公里）。这也解释了为什么 NVLink 交换机位于机柜的中间位置，因为这样做可以使电缆长度保持在最短。

NVIDIA DGX GB200 NVL72 NVLink Spine Without Optics

（2）超微Supermicro

Supermicro NVIDIA MGX? Systems
1U NVIDIA GH200 Grace Hopper Superchip Systems

（3）鸿海Foxconn

迎接AI需求商机富士康于NVIDIA GTC推出AI软硬件解决方案
AI服务器 AI加速器新世代AI数据中心解决方案先进液冷解决方案

2024年3月18日，在英伟达的GTC大会上，鸿海集团子公司鸿佰科技（Ingrasys）发布一款使用英伟达GB200芯片的NVL72液冷服务器，该服务器集成了72个英伟达Blackwell GPU和36个英伟达Grace CPU。

黄仁勋以及鸿海、拥有不错的交情，双方在服务器等方面有多个合作，而旗下最新超级AI服务器DGX GB200也即将在下半年开始量产，而GB200系列产品将以Rack形式出货，目前粗估的订单量就高达5万柜。鸿海目前已手握DGX GB200系统机柜三大类新品（分别为：DGX NVL72、NVL32、HGX B200），可说是是平台世代交替的大赢家。

新一代 AI 液冷机架解决方案 NVIDIA GB200 NVL72，结合了 36 个 NVIDIA GB200 Grace Blackwell 超级芯片，其中包括 72 个基于 NVIDIA Blackwell 的 GPU 和 36 个NVIDIA Grace CPU ，它们通过第五代NVIDIA NVLink互连，形成单个大型 GPU。

全球最大的电子制造与服务商富士康（鸿海）科技集团宣布参展NVIDIA GTC 2024人工智能开发者大会，展示与NVIDIA合作因应下世代需求的AI服务器与液冷机柜，以及应用在电动车的最新智能驾驶控制器解决方案。

此外，鸿海研究院人工智能研究所开发的新世代自动驾驶轨迹预测深度学习模型“QCNet”技术，同样会在开展首日登场与外界分享。富士康科技集团刘扬伟董事长也出席与会NVIDIA GTC主题演讲活动，以行动力挺，亲自见证AI服务器新品的发表，并感谢NVIDIA创办人黄仁勋在富士康科技日（HHTD23）的站台。

随着生成式人工智能（Generative AI）席卷各个产业，满足客户多样化的计算需求，提供客户合适的人工智能资料中心基础设施解决方案，成为集团的首要任务。富士康科技集团携手旗下子公司鸿佰科技（Ingrasys Technology Inc.）在GTC大会展出多种AI服务器产品，包括Ingrasys NVDIA MGX服务器，提供市场上最多样化的1U/2U/4U NVIDIA MGX服务器产品组合，模块化架构提供GPU、CPU及DPU组合极高的灵活性和扩充性；搭配液冷解决方案的AI加速器GB6181，能实现高效散热，并容纳八个NVIDIA H100 Tensor Core GPU，适用于高效能的AI训练，可支援下一代强大GPU，为高性能人工智能资料中心提供强大算力支援。

鸿佰在GTC大会圣荷西会议中心 (San Jose Convention Center)展区中，本次还端出最新世代AI数据中心液冷解决方案GB200 NVL72，搭载72个高性能NVIDIA Blackwell GPU和36个NVIDIA Grace CPU，通过第五代NVLink互连，串联成单一大规模GPU，大幅加快大型语言模型的推论速度。为了下一代人工智能基础建设需求，集团展出先进液冷解决方案，包含液态对气态的side car解决方案，和液态对液态CDU解决方案，具备高达1300kW的强大散热能力，能适用不同数据中心环境。

同场亮相的还有ES2100储存系统，此NVMe-oF存储系统采用NVIDIA Spectrum-2以太网交换机，提供更高的吞吐量，实现极致的网络性能。其模块化和创新的无背板设计，让使用者更换两片交换机模块即实现轻松系统升级。

富士康科技集团子公司鸿佰科技总经理丁肇邦表示：“利用NVIDIA MGX平台，我们能够采用模块化设计，用符合成本效益的方式打造多种服务器配置，同时缩短上市时间，满足客户不同加速运算需求，帮助客户构建各种应用的人工智能数据中心。”

NVIDIA GPU 产品部门副总裁 Kaustubh Sanghani 表示：“借由NVIDIA MGX服务器模块化参考架构，富士康打造出一系列多元化的加速运算解决方案，将能满足不同产业的不同需求。透过支援NVIDIA Blackwell架构的处理器、网络和软件，富士康集团的新一代解决方案将加速推动生成式AI运算的新时代来临。”

除了AI数据中心解决方案外，在自动驾驶领域，集团推出基于NVIDIA的Orin X处理器，所打造的Smart Drive智能驾驶控制器，展示了富士康在ADAS硬件领域的多元解决方案。根据不同的产品定位，提供Basic、Advanced和Premium三个等级的ADAS控制器，其中，Premium等级搭载两个Orin X处理器，具有强大的运算能力，足以应对最具挑战性的算力需求。搭载水冷散热技术，为系统提供稳定、高效的运行环境，确保产品性能始终如一。

在软件方面，鸿海研究院人工智能研究所栗永徽所长，在开展首日以“QCNet: Query-Centric Trajectory Prediction for Autonomous Driving”为主题，对外分享研究所开发的新世代自动驾驶轨迹预测深度学习模型。这套富士康与香港城市大学共同合作开发的QCNet 技术，在自动驾驶领域里，具备在复杂场景中同时预测多目标物未来轨迹的先进能力。研发团队也参与竞逐全世界轨迹预测重要的大挑战 Argoverse 2 Motion Forecasting Competition, 并取得第一名的佳绩。在自动驾驶技术激烈竞争而快速变化的时期，富士康在AI领域的这项成果，展现集团在AI技术研发的领先性与优越性。

（4）云达科技（广达）QCT 广达

云达科技现场展示的1U机型QuantaGrid D75B-1U，在Nvidia GB200 NVL72的系统建置框架之下，可透过单座机柜容纳72台这样的设备。D75B-1U本身搭载2张GB200 Grace Blackwell Superchip，云达在此标明CPU可存取480 GB容量的LPDDR5X记忆体，GPU本身配备144GB容量HBM3e高频宽记忆体，均搭配冷水板（Cold Plate）形式的液态冷却配件；储存装置方面，这台1U服务器可容纳8台E1.S厚度15mm外形的PCIe固态硬盘，以及1张M.2 2280外形的PCIe固态硬盘；在PCIe装置扩充方面，D75B-1U可容纳2张双宽全高全长尺寸的介面卡，以及2张半高半长尺寸的介面卡，均支援PCIe 5.0 x16。

（5）维颖Wiwynn

作为 NVIDIA 的重要合作伙伴，Wiwynn是首批符合NVIDIA GB200 NVL72标准的公司之一。Wiwynn 在 GTC 2024 上展示了其最新的AI 计算解决方案。新发布的NVIDIA GB200 Grace?Blackwell超级芯片支持最新的NVIDIA Quantum-X800 InfiniBand和NVIDIA Spectrum?-X800以太网平台。其中包括由NVIDIA GB200 NVL72 系统驱动的新型的机架级液冷AI服务器机架。Wiwynn充分利用其在高速数据传输、能源效率、系统集成和先进冷却技术方面的优势。其目标是满足客户对数据中心生态系统中性能、可扩展性和多样性的新兴需求。

Wiwynn GB200 NVL72 机架解决方案

Feature
Rack Configuration
Description
72x GPU Single Open Rack v3 Solution
18x Compute Trays
GPU Allocation
9x Non-Scalable NVLink Switch Trays
CX7/CX8 for ENN Network
Networking
Rack Specifications
Power supply
Cooling support
.FHFL BF3 for N/S Network
440U ORv3 Rack with 1400A Bus Bar
4x 66KW Power shelf
Support Liquid-to-Air/Liquid+to-Liquidcou

Wiwynn 还推出了 UMS100（universal liquid-cooling management system），这是一款先进的机架级液冷管理系统，旨在满足新兴生成式人工智能 (GenAI) 时代对高计算能力和高效冷却机制日益增长的需求。这款创新系统提供一系列功能，包括实时监控、冷却能量优化、快速泄漏检测和遏制功能。它还旨在通过 Redfish 接口与现有数据中心管理系统顺利集成。它支持行业标准协议，可与各种冷却分配单元 (CDU) 和侧柜兼容。

Wiwynn UMS100 通用冷却管理系统

Feature
Type
Controller
Leak Detection
AP| & Interface
Monitoring
Power input
Networking
Additional Features
Description
Liquid Cooling Rack Manager
OCP DC-SCM-based Redundant Controller (1+1 Redundancy)
Rapid Leakage Detection and Containment
Redfish APl & GUl
Real-time Monitoring & cooling Optimization
Bus Bar & CRPS Power Input
Modbus RTU/TCP
Direct connection to Digital/Analogsensorsorpic公

以下为宣传图片。

以下为2024 GTC现场图片。

（6）华硕ASUS

在 2024 年台北国际电脑展上，华硕推出的多款 AI 服务器。其中包括新款 NVIDIA Blackwell 服务器，包括 B100、B200 和 GB200 服务器以及 AMD MI300X 服务器。甚至还有 Intel Xeon 6 服务器以及拥有高达 500W CPU TDP 的 AMD EPYC Turin 服务器。

最重要的是华硕 ESC AI POD，它是该公司的NVIDIA GB200 NVL72版本。

华硕 NVIDIA GB200 NVL72

华硕还展示了其中一个节点的外观。我们可以看到 1U 机箱中的母线电源和双液冷 GB200 节点。节点里面配备2张GB200 Grace Blackwell Superchip，上面均覆盖冷水板，而在机箱中间有个他们设计的电源配送板（Power Distribution Board，PDB），可将48伏特直流电转换为12伏特直流电，供应Blackwell GPU使用；除此之外，这个运算槽还搭配可安装E1.S外形固态硬盘的存储模块，以及两张BlueField-3数据处理器系列的双宽全高半长款式B3240。

华硕 ESC AI POD 计算节点设计

对于那些想要低成本 Arm 计算和 NVIDIA GPU 的用户，有一个双 NVIDIA Grace Hopper GH200 平台，即华硕 ESC NM2-E1。它将两个 Grace Hopper CPU 和 GPU 组合单元放入一个系统中。

华硕 ESC NM2 E1

（7）英业达Inventec

以英业达为例，他们展示整柜式的GB200 NVL72之余，旁边摆设代号为Artemis的1U服务器与2U服务器，当中均配备2张GB200 Grace Blackwell Superchip、ConnectX-7 400Gb/s InfiniBand网路卡，以及BlueField-3 400Gb/s资料处理器。