ロードマップでわかる！当世プロセッサー事情

第749回

生成AI向けGPU「Instinct MI300X」はNVIDIAと十分競合できる性能　AMD GPUロードマップ

動作周波数が2.1GHz程度になるであろう
AMD Instinct MI300X

　Ryzen 8040シリーズはいわばオマケで、本題はInstinct MI300XとInstinct MI300AがNVIDIAのH100やGH200と十分競合できる製品であることをアピールすることだった。まずはInstinct MI300Xについて説明しよう。

　MI300Xの構造は連載726回で説明しているが、4つのIODの上に8つのCDNA 3ダイ(XCD)が載り、さらにそれぞれのIODに2つづつHBM3 スタックが接続される構造である。

MI300Xの構造。画像の右側にあるとおり、4つのIODの上に8つのCDNA 3ダイ(XCD)が載り、さらにそれぞれのIODに2つづつHBM3 Stackが接続される

　この構造であるが、今回以下のことが示された。

• IODは合計256MBのインフィニティ・キャッシュを搭載する。つまりIODあたり64MBとなる。
• XCDは合計で304XCUを搭載する。つまりXCD 1個あたり38XCUという計算になる。
• HBM3の合計帯域は5.3TB/秒になる。

Instinct MI200シリーズはインフィニティ・キャッシュが未搭載だったが、そろそろCDNAにインフィニティ・キャッシュが来る頃だと思っていた。ただ以前公開のダイ写真からすると、2次キャッシュが省かれてその分インフィニティ・キャッシュを搭載する感じになるようだ。ちなみにMI200シリーズはダイあたり8MBの2次キャッシュを搭載していた

　また上の画像には入っていないが、Lisa Su CEOの説明の中でFP16で1.3PFlops、FP8で2.6PFlopsの処理性能があることが示された。ちなみに競合のH100は、Tensor Coreを利用した場合にFP16で989.4TFlops、FP8で1978.9TFlopsとなっている。これもいろいろあって、Sparsity Featureを利用すると性能が倍になる(1978.9TFlops/3957.8TFlops)といった数字も出ているが、とりあえずこれはまた別の話なのでおいておく。

　まず演算性能について。そもそもXCDあたり38CUというのは中途半端だし、連載726回で紹介したようにInstinct MI300XのXCDにはXCUが40個づつ搭載されているように見える。おそらくハードウェア的には40XCUで、うち2つが冗長XCUに充てられているものと考えられる。

　問題はXCUの中身だ。連載726回で、Instinct MI300のXCUは、Instinct MI200の2倍の処理性能ではないか？　と仮定したわけだが、この計算が正しいとすると、1つのXCUあたりの処理性能は以下の計算になる(Vectorの場合はFMAを利用して1回の計算が2Flopsとしている)。

XCUの処理性能
演算	性能
Vector FP64	256Flops/cycle
Vector FP32	512Flops/cycle
Vector FP16/BF16	1024Flops/cycle
Matrix FP64	512Flops/cycle
Matrix FP32	512Flops/cycle
Matrix FP16/BF16	2048Flops/cycle
Matrix FP8	4096Flops/cycle (MI200はFP8を未サポートなので筆者の推定)
Matrix Int8	2048Ops/cycle

　システム全体で308CUなので、1サイクルあたりの処理性能はMatrix FP16/BF16の場合で630784Flops、FP8では1261568Flopsになる。この処理性能で、先に書いた「FP16で1.3PFlops、FP8で2.6PFlops」を達成しようとすると、だいたい動作周波数は2GHzほどになる計算だ。

　正確に言えば2.06GHzくらいになるので、実際は2.1GHz程度かもしれない。ちなみに2.1GHz駆動だとFP16で1.32PFlops、FP8で2.65PFlops程度になる。Instinct MI250XがTSMC N6を利用してピーク1.7GHz駆動だったことを考えれば、Intinct MI300XはXCUはTSMC N5だしピークが2.1GHz程度であるのは不思議ではないだろう。正確なスペックはまだリリースされていないが、そうは外れていないはずだ。