「LLM-jp-3 MoE」8x13B、日本語MT Benchで172B版を超えた | LLM-jp-3 MoE（8x1.8B / 8x13B）

どんなアプリか

LLM-jp-3 は、国立情報学研究所の大規模言語モデル研究開発センターが開発している大規模言語モデルのシリーズです。このページで紹介するのは、その中の Mixture of Experts（MoE）版で、8x1.8b と 8x13b の2つのサイズがあります。Hugging Face のモデルページでは、指示に応答できるように調整した llm-jp-3-8x13b-instruct3 が配布されています。

事前学習では合計2.1T トークンを読ませています。使ったデータは日本語・英語・コード・中国語・韓国語に分けて、データセットごとのトークン数が表で示されています。

事前学習のあと、教師ありのファインチューニングをかけ、さらに Direct Preference Optimization（DPO）で調整しています。ファインチューニングには、人の手で作った指示データの ichikara-instruction や、安全性に焦点を当てた AnswerCarefully などを使っています。

モデルは Hugging Face Transformers の形式で配布されています。モデルページには、Transformers のほか、vLLM や SGLang で読み込んでサーバーとして動かす手順も載っています。

これまでの更新

llm-jp-3-8x13b-instruct3 のページは 2025-03-05 に作られ、最後の更新は 2025-04-01 です。モデルカードの安全性の評価（AnswerCarefully-Eval）の表には、前の版の instruct2 と今の instruct3 の受理率と違反率が載っています。

同じ分野のアプリ

名前	型	仕掛け	対応	料金
LLM-jp-3 MoE（8x1.8B / 8x13B）	MoE 型オープンモデル	事前学習データの内訳をトークン数つきで公開	Hugging Face	無料（Apache-2.0）
Stockmark-2-100B-Instruct-beta	フルスクラッチ日本語 LLM	日本語に特化した1,000億パラメータのβ版	Hugging Face（オープンモデル）	無料（商用利用可能なオープンソース）
PLaMo 2 1B / 8B	日本語 LLM（小型）	Transformer に加えて状態空間モデルを採用	Hugging Face	1B は Apache-2.0、8B は PLaMo community license
Llama 3.1 Swallow（8B / 70B）	継続事前学習	Llama 3.1 に日本語の継続事前学習をかけたモデル	Hugging Face	無料（Llama 3.1 ライセンス＋Gemma 利用規約）
Qwen2.5 Bakeneko 32B／DeepSeek R1 Distill Bakeneko／QwQ Bakeneko	継続事前学習	Qwen2.5-32B に日本語継続事前学習をかけ、指示版・推論版などをそろえる	Hugging Face	無料（Apache-2.0）

入れる前に

モデルカードには、研究開発の初期段階のモデルであり、出力が人の意図や安全面の配慮に沿うようには調整しきれていない、という注意書きがあります。

The models released here are in the early stages of our research and development and have not been tuned to ensure outputs align with human intent and safety considerations.

LLM-jp、Hugging Face のモデルカード「Risks and Limitations」

動かすには torch 2.3.0 以上、transformers 4.40.1 以上、flash-attn 2.5.8 以上などのライブラリが必要と書かれています。

8x13b-instruct3 のモデルサイズは 73B パラメータです。質問の窓口は llm-jp(at)nii.ac.jp です。