メタ、コード生成LLM「Code Llama」の最新バージョン「Code Llama 70B」を発表

　メタは1月29日（現地時間）、コード生成に特化した大規模言語モデル「Code Llama」ファミリーの最新かつ最高のパフォーマンスを誇るモデル「Code Llama 70B」を発表した。

　「Llama 2」や他のCode Llamaファミリーと同様、研究および商用に無料で利用できる。

コードに特化したデータセットで訓練

Today we’re releasing Code Llama 70B: a new, more performant version of our LLM for code generation — available under the same license as previous Code Llama models.

Download the models ➡️ https://t.co/fa7Su5XWDC
• CodeLlama-70B
• CodeLlama-70B-Python
• CodeLlama-70B-Instruct pic.twitter.com/iZc8fapYEZ

— AI at Meta (@AIatMeta) January 29, 2024

　Code LlamaはLlama 2のコードに特化したバージョン。

　Llama 2をコードに特化したデータセットでさらに訓練し、データセットからより多くのデータをより長くサンプリングすることによって作成された。

　Llama 2の上に構築された強化されたコーディング機能を備えており、自然言語によるプロンプト（コードも可）から、コードおよびコードに関する自然言語を生成できる。

　Python、C++、Java、PHP、Typescript（Javascript）、C#、Bashなど、現在使用されている最も一般的な言語の多くをサポートしている。

　同モデルは独自のベンチマークテストにおいてコードの生成で「GPT-4」など最先端の一般公開LLMを凌駕している。

3つのバージョン

　Code Llama 70Bは、これまでにリリースされたCode Llamaモデルと同様、基盤となるモデル「CodeLlama - 70B」、Pythonに特化した「CodeLlama - 70B - Python」、自然言語命令を理解するために微調整された「CodeLlama - 70B - Instruct」の3つのバージョンが提供される。希望者には専用の申込みフォームが用意されている。

■関連サイト

• ニュースリリース
• 申込みフォーム
• メタ