AIアクセラレーター「Gaudi 3」は
NVIDIA H100/H200よりも安価で高性能
AIアクセラレーターの最新モデル「Gaudi 3」は、64個のTensor Processor Core(第5世代)を搭載し、AI演算を実行するための8つの行列演算エンジンを搭載している。メモリーは128GBの広帯域メモリーと、12.8TB/sと高速のSRAMを96MB搭載。また24の200GbE対応ネットワークインターフェースポートとPCIe 5にも対応。これにより、全モデルの「Gaudi 2」と比較して、AI処理能力ではFP8で2倍、BF16では4倍となっている。
またNVIDIAのH100と比較してもLLM処理では2倍、同じくH200との比較ではLLM処理で約1.5倍の性能差があるとしている。
搭載コストとしては、8個のGaudi 3アクセラレーターを搭載したキットが、12万5000ドル。またGaudi 2アクセラレーターを8個搭載したモデルも用意されており、こちらは6万5000ドルという設定。
こちらもNVIDIAのH100との比較が費用ベースで提示されており、推論スループットでは、2.3倍、トレーニングスループットでは1.9倍のアドバンテージがあるという。
週刊アスキーの最新情報を購読しよう
本記事はアフィリエイトプログラムによる収益を得ている場合があります