第598回

GPT-4超え性能を実現した国内スタートアップELYZA、投資額の多寡ではなくチャレンジする姿勢こそ大事

2024年07月08日 08時00分更新

今回のひとこと

「相手が1兆円規模の開発投資を行う企業であっても、追いつかないと思ったら、その時点で試合は終了である。あきらめなかったことで、GPT-4などのグローバルプレイヤーに追いついた。だが、どうやって勝てるかは、もう少し考えなくてはならない」

（ELYZAの曽根岡侑也CEO）

　ELYZA（イライザ）が、700億パラメータの「Llama-3-ELYZA-JP-70B」と、80億パラメータの「Llama-3-ELYZA-JP-8B」を開発した。日本語に特化した同社の国産LLM（大規模言語モデル）である「ELYZA LLM for JP」の最新モデルと位置づけている。いずれも、MetaのLlama3をベースに、日本語による追加事前学習および指示学習を行い、数1000万円の開発投資を行って完成させたという。

　ELYZAの曽根岡侑也CEOは、「高性能モデルでは、GPT-4と比べても、全体的に同等の水準であり、推論能力ではELYZAのほうが優れている。国産モデルがどこまで進化していのかを体験してもらえる」と自信をみせた。

東京大学松尾研からスピンアウトしたAIスタートアップ

　ELYZAは、2018年9月に、東京大学の松尾豊教授による松尾研究室からスピンアウトして設立したAIスタートアップ企業であり、2019年夏から、LLMの研究開発と、LLMの社会実装を軸に事業を展開している。

　研究開発では、2020年秋に、人間の能力を超える日本語LLMの開発に成功。2021年夏には要約AIをリリース。2022年春には執筆AIをリリースした。さらに、2023年8月には70億パラメータのモデルを公開し、2023年12月には130億パラメータのモデルを公開。さらに、2024年3月には、Llama 2をベースにした700億パラメータの「ELYZA-japanese-Llama-2-70b」を発表し、GPT-3.5 Turboなどのグローバルモデルに匹敵する性能を達成した。これは、経済産業省の大規模言語モデル構築支援プログラムを活用。産総研のスパコン「ABCI」を独占的に割り当ててもらうことで開発することができたという。

　「NECやNTT、ソフトバンクがフルスクラッチでLLMを開発しているのとは異なり、ELYZAでは、グローバルなオープンモデルをベースに、独自のデータセットを活用して、日本語を追加で事前学習させ、日本語に特化したポストトレーニングを実施する。0歳児から育て上げて、優秀な20歳の日本人を作り上げるのではなく、米国からスタンフォード大学の学生を連れてきて、日本語を教え込み、日本語を話せて、賢い学生を作り上げるというようなことをしている。これにより、日本語に強いモデルを開発することができる」と、ユニークな例えで説明した。

　また、社会実装については、JR西日本、明治安田生命、東京海上日動などと協業。さらに、「自分たちで開発したLLMにこだわらず、OpenAIやGoogle、Anthropicなどが開発したLLMも活用し、社会にどう活用したら価値が出るのかといったことに取り組んでいる」とする。

　創業者の曽根岡侑也CEOは、1990年東京都生まれ。東京大学大学院工学系研究科松尾研究室修士卒。深層学習を用いた需要予測や系列予測、自然言語処理などを研究分野とし、学生時代に未踏プロジェクトに採択され、クロードテックを創業。その後、松尾研究室において共同研究のプロジェクトマネジャーや、NLP講座の企画および講師を務め、2018年にELYZAを設立。2020年からは、松尾研究所取締役を兼任している。

　また、ELYZAは、2024年4月に、KDDIが43.4%、KDDI Digital Divergenceが10.0％の株式を取得し、KDDIの連結子会社となった。これにより、KDDIグループが持つ計算基盤や、ネットワーク資源などのアセットを活用した研究開発を推進しており、曽根岡CEOも、「この分野は、研究力があれば勝てるというものではない。今回の国産LLMの開発においても、KDDIグループに入ったことで、稼いだお金を計算機の投資にあてるという仕組みから、計算機リソースを優先的に確保でき、大胆な開発投資ができるようになり、大きな効果があった。今後、LLMを拡販していく上でもメリットが大きい」と語る。