第855回

配線太さがジュース缶並み!? 800V DC供給で電力損失7～10％削減を可能にする次世代データセンターラック技術

2025年12月22日 12時00分更新

文● 大原雄介（http://www.yusuke-ohara.com/）　編集●北村／ASCII

電線の本数が限界に近い
RubinベースのNVL144では1万368本になる見込み

　前回のNVL72のNVLink接続図でも説明したが、たかだか72台のGPU同士の接続に必要なNVLinkの本数は1296本。前回は説明しなかったが、NVLinkは当然双方向であり、かつ電気信号ベースということで1リンクの配線本数は、DifferentialかつBi-Directionalなので4本であり、電線本数は4倍の5184本に達する。

72台のGPU同士の接続に必要なNVLinkの本数は1296本

　実際には複数リンク分の配線をまとめているはずなので、外から見える電線の本数はもっと少ないだろう。だから、表からみると整然とシャーシが並んでいるのに、裏は配線お化けになっているわけである。

裏は配線だらけ

　72台のGPU同士でこれなわけだが、昨今のクラウド推論の動向では、さらに大規模な構成が要求されつつある。やや前の話になるが、2023年5月にNVIDIAがDGX GH200 AI SuperComputerを発表した。構成は下の画像のように、GH200を16枚装着したラックを16本並べた構成である。

DGX GH200 AI SuperComputerは、GH200を16枚装着したラックが16本並ぶ

　このケースでは、1つのラックの中のGH200同士をNVLinkで相互接続し、さらに16本のラックの間はInfiniBandないしイーサネットで接続する形態となる。これをもう少し一般化したのが下の画像だ。

Scale-upは密結合のネットワークで、NVIDIAならNVLinkを、AMDその他は現在UALinkの採用を進めている最中である。これは通常ラック内ないし隣接ラック程度に留められる。より広範囲な相互接続はScale-outになる。Front Sideは管理などのために使われる

　別の例で示せば、GoogleのIronwoodの場合、64個のIronwood同士は4×4×4の密結合のキューブで相互接続され、これがScale-upに相当する。

　キューブ同士もやはり3次元のトーラス形状での相互接続になるのだが、論理的にはトーラスと言いつつ物理的にはPalomar OCSを使って接続されるという話は連載729回で説明した。しいて言えばこのPalomar OCSを使う分がScale-outに相当することになる。

　最近は大規模モデルを稼働させる場合にもいろいろと工夫が凝らされている。特にDeepSeekで話題になったのがMoE(Mixture of Experts)という技法で、計算量を減らし効率的に処理する方法として注目されつつあるが、MoEを使う場合には以下の使い方になることが多く、ネットワークもこれに対応する必要がある。