第854回

巨大ラジエーターで熱管理！ NVIDIA GB200/300搭載NVL72ラックがもたらす次世代AIインフラの全貌

2025年12月15日 12時00分更新

文● 大原雄介（http://www.yusuke-ohara.com/）　編集●北村／ASCII

NVIDIAのセッションで語られた
GB200/GB300を使ったNVL72ラック

　前提になるのは全体の構成である。GB200の構成は連載765回でも説明しているが、GB200×2とGraceが搭載されたGB200 Grace Blackwell Superchipが2枚、1つのCompute Trayに搭載される。

水色の部分がスーパーチップであり、その手前には拡張スロット(ネットワークコントローラー、その他)が容易される。背面は給排水のバンジーが両端にあり、あとはNVLinkのコネクターがそのまま出る格好だ

　ちなみにこのスライドにOCP(Open Compute Project)のロゴがあるのは、このCompute Trayの物理形状がOCPで定める"MGX Accelerated Computing Rack and Trays Specification"という仕様に準拠しているためである。というより、MGXの仕様そのものはNVIDIAが策定し、これをOCPに寄贈した形で標準化されている。

　そのCompute Trayの上で2つのスーパーチップがどう接続されているのか、という構成図が下の画像だ。GraceからはNVLink C2C(Core 2 Core)が2本出て、これでB200と接続している。

BlackwellにはPCIe 5.0 x16(図中のx16 EP)も搭載されているが、これはx1 LinkでGraceと接続されているだけである。実際の処理はNVLink C2C経由で行なわれ、PCI ExpressデバイスとしてOS側で管理するためにx1 Linkをつないでいるだけ、という感じだ

　また1つのCompute Trayに載る2つGrace同士は、Clinkと呼ばれる独自リンク×6で、150GB/秒程度の速度で接続されているのがわかる。一方で外部接続用のNVLinkは一切トレイ上では接続されず、全部外に出ている形だ。

　ではラックの内部でこのCompute Tray同士がどう接続されているか、というスライドがなかったので筆者が作成した。

Compute Tray同士の接続図

　NVSwitchは連載765回で示したように72ポートのNVLinkを接続できる。1つのNVLink TrayにはNVLink Switchが2つ搭載されており、全部で9本存在するので合計18個のNVLink Switchがある。

　それぞれのB200には18本のNVLinkが搭載されているので、それぞれのSwitchに1:1の形で接続するわけだ。図にすると簡単そうに見えるが、接続されるNVLinkの本数は72×18で1296本に達する。NVSwitch TrayはCompute Trayの間に挟まるように配されているので、結果このNVLinkの配線がお化けのようになっているわけだ。