48ノードが1ラックの定格
10ラック・480ノードで1つのグループを構成
そのGrace Hopperであるが、今回のJUPITER Boosterで使われたBullSequana X3000シリーズの場合は1つのキャリアボードに4つのGrace Hopperが載っており、これで1ノードを構成。ラックにはこのキャリアボードを2枚搭載する形で実装される。
ここからは"Evolution of the Sequana System Architecture"という2024年5月のスライドより。左のGC4 マザーボードというのがキャリアボードで、右下がブレードサーバの構造。2つのCG4が搭載されている
つまり1ブレードあたり8つのGrace Hopperが載る形だ。4つのGH200で1つのノードを構成するということなので、要するにシステムのノード数は2万3536÷4＝5884という計算になる。
これは"JUPITER Technical Overview"より。1つのGraceからは2本の200Gb/s InfiniBandが出るので、1ノードあたり8本。シャーシには2ノードが載るので、1本のシャーシから16本の200Gb/s Infinibandが出る形
ラックそのものは、ご覧のように最大38個のブレードを格納可能だが、ブレードそのものは24枚、つまりノードとしては48ノードが1ラックの定格で、10ラック・480ノードで1つのグループを構成する。
実際にはこれ全部をGH200で埋めると電力供給と放熱容量的に足りないのだろう
そのグループ同士をDragonFly+で接続するというなかなか壮大な構成である。ちなみになぜ10ラック・480ノードで1つのグループを構成しているとわかるかというと、説明ビデオの中で、あるグループを簡単に置き換えできるモジュラー構造になっているという説明があったからで、この10ラックが1つのグループとしてまとめられているようだ。
ネットワーク模式図。それぞれのクラスターと別のクラスターの間をPeer-to-Peerで接続する。接続はInfiniBand 200Gのままの模様
動画では、このグループを将来は量子コンピューターに置き換えることも可能、といった説明をしていた
ちなみにグループとは別の概念としてクラスターがあり、こちらはジョブを分散させる単位の模様だ。このクラスターは1300以上のノードから構成され、1つのクラスターの演算能力はFP64で5PFlopsを超える、という説明がある。
週刊アスキーの最新情報を購読しよう
本記事はアフィリエイトプログラムによる収益を得ている場合があります