えっ!　メモリ64GBのPCで7630億パラメーターのDeepSeekを!?　Strataがついに実現

　オープンソースAI推論エンジン「Strata」開発者のNiko Veit氏は10月24日、AIモデル「DeepSeek-V4.1-Flash」をメインメモリ64GBのPCで動かせるようになったと発表した。オーストリア科学技術研究所DASLabによる圧縮手法「GSQ-RCO」を用いた量子化版モデルを利用する。

Deepseek-V4.1-Flash now runs on 64GB of RAM with Strata. Using GSQ-RCO quantizations by @mhelcig https://t.co/n18IvguALa

— Niko Veit (@coldniko) October 24, 2026

　Strataは、AIモデルを自分のPCで実行するためのソフト。GPUのメモリ（VRAM）だけにモデルを収めるのではなく、メインメモリやSSDにもデータを置いたうえ、CPUなども活用して総合的に処理するのが特徴だ。

　対応した「DeepSeek-V4.1-Flash-1017」は、モデルを構成するパラメーターが約7630億もある巨大モデル。

　公開されているモデルは、重みの平均精度が1.75ビット、2ビット、2.25ビットの3種類。関連ファイルを含むダウンロード容量はそれぞれ約239GB、257GB、274GBで、2ビット版は約265GBの空き容量を求めている。

　「Strata 0.2.5」での測定例では、GeForce RTX 5070の専用メモリ12GBとメインメモリ64GBを使い、2ビット版で毎秒4～6トークンを生成したという。

　量子化版の提供元は、2ビット版が数学・科学・コード生成の3つの評価で元モデルと同じ平均スコアを得たとしている。自宅にあるPCで巨大モデルを試す道が広がったが、数百GBの空き容量と、かなりの待ち時間は必要だ。

Made with AI

■関連サイト

• Niko Veit氏の発表
• Strataの公式リポジトリー・動作例
• DeepSeekの実行方法と必要容量
• GSQ-RCO版モデルと評価結果