本連載では、ASCII.jpに掲載されたAI関連記事を中心に紹介、最近のAI事情を俯瞰していく。今回は11月上旬（11月1日から15日）の主なニュースを振り返ってみよう。今回は、11月17日になって急な変化もあったため、その話も付記している。
昨年のChatGPT公開以降、生成AIのブームは一気に加熱した。
その加熱に追いつこうと、日本国内でもようやく「国産LLM」の準備ができてきたところであり、その動きがこの時期にはっきりしてきた……と言えるだろう。
本家OpenAIはGPTsなどの機能を公開、生成AI活用のためのビルディングブロックを積み上げて、日本勢どころかアメリカのライバルの先にも進む。さすがの横綱相撲……といいたいところなのだが、今度はいきなりの騒動で会社自体が揺れている。
AIというテクノロジーの話なのに、妙に人間くさい動きが目立つ2週間だった、と言えそうだ。
ソフトバンク、3500億パラメーターの国産LLM開発を本格化 ― 2024年内の構築目指す（11月1日）
国内でも色々と大規模言語モデル（LLM）の開発・学習が進んでいるが、それには国も援助する形のものがある。
ソフトバンクはNVIDIA協力のもと、NVIDIA TensorコアGPUを2000基以上用意した規模の大きなデータセンターを作り、そこでの学習・推論をベースとした展開を進めている。ソフトバンクとその子会社、SB Intuitionsが投資と開発を担うが、予算規模は200億円と言われている。さらに経済産業省からは53億円の助成を受け、大学や研究機関、企業などが利用できるものとする。
こうした動きが比較的早く進んでいるのは良いことだ。
NTT、独自のAIモデル「tsuzumi」 日本語性能はGPT-3.5超え（11月2日）
11月前半の大ネタその1。
tsuzumi（ツヅミ）はNTTがかねてから開発を表明していたLLMだが、その特質がいよいよ明らかになった。
特徴は「比較的規模が小さいが、良質な日本語ソースを中心に学習している」こと。ネットにあるオープンなデータに加え、NTTグループ内で自然言語処理研究などに使われてきたデータを活かしているのが特徴。結果として、少ないパラメータでも賢く正確な日本語を返すとされている。
tsuzumiは開発中の「中量版」でも130億パラメータ、すでに完成している「軽量版」でも70億パラメータしかなく、GPT-3よりも1桁から2桁小さい。その分推論時の消費エネルギーも劇的に小さくなり、GPU調達コストで比較すると数十分の1になる。
このコンパクトさを活かして、導入企業単位での追加学習などのカスタマイズなども柔軟にやっていくと言う。
ただし、コンパクトなLLMは限定された知識のものになりがちだ。OpenAIなど「非常に規模の大きなLLM」を作るところは、LLM自体に広範な知識を学ばせる前提に近く、対照的ではある。
その点についてNTTは、小規模で専門性の高いLLM同士を連携させる「フェデレーションAI」を指向する、と説明した。複数のLLMが情報を交換しあい、その結果からさらにLLMが考察するというモデルになる。
フェデレーションAIをどう運営し、どう効率運営するかはまだ検討段階だ。しかしその方向性に行くなら、「1つの巨大なLLMで巨大な汎用知性を目指す」こととは違う形になっていくことだろう。
週刊アスキーの最新情報を購読しよう
