これならローカルLLMが現実解に　AI開発の救世主あらわる

AI開発にデスクトップPCという選択肢　RAG博士がAI TOPに未来を感じた

2025年02月25日 10時00分更新

マシンだけで1億円コース？　ローカルLLMのハードルをAI TOPは越えられるか？

　野村氏の期待は、ローカルLLMの障壁だった初期コストの壁を越えられるのでは？というものだ。「サーバーメーカーや量販店より、ギガバイトさんならもっと安価に出せるはず」と野村氏は語る。

　このローカルLLMの構築にあたって、もっとも高いハードルが初期コストだ。トレーニングに加え、対話を実行するための推論を実行するためには、非常にハイスペックのマシンが必要になる。特にGPUは初期コストの大半を左右する。「民生品で動かした例もないわけではないが、基本は法人向け製品になってしまうのでお高い」と野村氏は指摘する。

　野村氏によると、最大規模のLlama 405Bモデルの場合、推奨のGPUメモリ（VRAM）は640GB以上、メモリ帯域幅は2TB/s以上。NVIDIA H100 SXM5が8枚必要になるため、1億円コースとなる。中規模クラスの70Bモデルでも160GB以上が必要になり、A100×3で1000万円コース。最小規模の8Bモデルでも32GB以上のVRAMが必要で、RTX3090×2で100～200万円コースとなる。実際はバッチサイズ、基本演算精度、モデルやパイプラインの並列化、同時アクセスのピーク値などでハードウェア要件は大きく変動するが、いずれにせよ、おいそれ導入できる価格ではない。

　AI TOPはモデルサイズに合わせて推奨の構成があり、8B向け（最大30B）の最小構成の価格が6,499ドルからのスタートとなる。今のレート（2025年2月）だと107万円だ。30B向け（最大70B）だと11,999ドル（186万円）で、70B（最大236B）だと35,999ドル（559万円）となる。もちろん高価ではあるが、従来は1000万円近くかかっていたので、6割近くの価格で導入可能になる。

モデルごとのAI TOPの推奨構成

　加えて最新のメモリ圧縮技術や野村氏らが培ってきたチューニングを施せば、より少ないリソースで動かすことも可能だという。「テキストをマークダウン化したり、複雑な構文や主語・目的語の省略をやめたり、シンプルな文章にすれば、8Bでも十分な精度を実現できます。100万円クラスで十分なケースも多いんです」と野村氏は語る。

　もちろん本命は驚異的なメモリ転送速度を誇るNVIDIA Blackwell。注目はH100より安価ながら、性能面で肉薄するRTX5090だという。「RTX5090を2枚挿し、あわよくば4枚挿しされたマシンがあれば、本当にありがたい。RTX5090はメモリだけが少ないので、そこをギガバイトのミドルウェアとわれわれのソフトウェア技術でカバーできれば、H100 PCIeと同程度の性能を安価に実現できる」と野村氏は語る。

質疑応答を行なう野村氏

　もう1つの期待は、やはりAI TOP Utilityだ。「AI TOP Utilityは、ハードウェアに近い層から上層の評価ツールに至るまで網羅的にラインナップされているのが印象的でした。生成AI応用開発者としては、いずれは自分の目的に合った特化したツールを使うことになるとしても、まずはこのような様々そろっている環境で、機密情報を含む自分のデータでAI開発、実証評価ができることは素晴らしいと思います」とコメントしてくれた。