メモリー搭載量がたっぷりあるので小規模なシステム構成で済むのが利点
記事冒頭の画像を再掲。右側を見るとホストサーバーが少ないのがわかる
こうした特徴が、記事冒頭でも示した画像に戻るとわかるようにホストサーバーの少なさにつながる。SN40Lを2個搭載したブレードサーバー8枚に対して、ホストサーバーは1枚で済んでいる。これはホストから煩雑にウエイトなどのデータをダウンロードする必要がなく、最初に1.5TBのメモリーにロードすれば、その後は処理が終わるまでほぼホストが必要なくなるからであろう。
記事冒頭の画像を見ると42RUのラックに対して、2UのSN4-LのPDU×8と同じく2Uのホスト×1、それと2U×4のPDU(Power Distribution Unit：電源供給ユニット)だけで済んでいる。あとはToR(Top of Rack) Switchがあるだけで、非常にコンパクトである。 このあたりを比較したのが下の画像である。
中央のグラフはMachine Footprint、要するにラックの数である。1ラックで16ノードまでいけるため96ノードまで6ラックで収まる
比較対象はDGX H100やDGX A100であるが、そもそも小規模な構成でもメモリー搭載量がたっぷりあるおかげで、小規模なネットワークでも十分な性能が達成できるとする。ちなみにスケーラビリティも良好としており、16ノードのSN40Lは単体のSN40Lの12～13倍の性能を発揮できるとしている。
理由の1つはやはりたっぷりのメモリーを搭載できることだろう
またSN40L単体でほとんどの処理が完結する(外部のサーバーから煩雑にウエイトなどをロードする必要がない)ため、性能だけでなく性能/消費電力比も良好とする。
スループットは高いほど、レイテンシーやエネルギー/トークンは低いほど優秀である。要するに8チップ構成でH100と比較した場合、2～4倍の性能と3倍の効率を達成できる、という話である
LLMの本格的な普及にともない、HBMを鬼のように積む方向に現在は進化しつつあるが、DDRと併用することで低価格・低消費電力で高い性能を維持できるという方向性を示した点でSambaNovaの路線は間違っていなかったことが実証された格好だが、競合メーカーもこの方向性に走りそうな気もする。いつまで同社の優位性は保てるのだろうか？
週刊アスキーの最新情報を購読しよう
本記事はアフィリエイトプログラムによる収益を得ている場合があります