日本語で聞くと英語や中国語が混ざる? それを抑える「DeepSeek-R1日本語版」
- 公開
- 正式公開 2025-02-03
- 作り手
- 株式会社Lightblue(会社)
- 対応
- Hugging Face(モデル配布)
- 言語
- 日本語
- 価格
- 無料(Apache-2.0 ライセンス)
どんなアプリか
東京大学発の AI スタートアップ、株式会社Lightblue が公開した大規模言語モデル(LLM)です。中国の DeepSeek が開発した推論型 LLM「DeepSeek-R1」の蒸留モデル「DeepSeek-R1-Distill-Qwen-7B」をもとに、日本語での追加学習を行っています。
もとの R1 系のモデルは英語と中国語の二か国語で動くように訓練されており、日本語で問いかけても中国語や英語で答えることがありました。Lightblue は独自のデータセットで短時間の追加学習を行い、日本語の問いかけに対してより一貫して日本語で出力できるようにしたと説明しています。
そこで、我々はR1の日本語版として lightblue/DeepSeek-R1-Distill-Qwen-7B-Japanese を開発しました。
Lightblue、Hugging Face のモデルカード(日本語の節)
学習用のデータは、英語の推論型の問いを集めて gpt-4o-mini で日本語に訳し、DeepSeek-R1-Distill-Llama-70B に答えさせたうえで、考える過程を書く
これまでの更新
Hugging Face のモデルのページは 2025-01-24 に作られ、最終更新は 2025-01-27 です(2026-10-23 時点)。Lightblue は 2025-02-03 にプレスリリースで公開を発表しました。
同じ分野のアプリ
| 名前 | 型 | 仕掛け | 対応 | 料金 |
|---|---|---|---|---|
| Lightblue/DeepSeek-R1-Distill-Qwen-7B-Japanese | 推論型 LLM(追加学習) | DeepSeek-R1 の 7B 蒸留モデルに日本語の追加学習をかけ、考える過程も日本語で出す | Hugging Face | 無料(Apache-2.0) |
| Qwen2.5 Bakeneko 32B/DeepSeek R1 Distill Bakeneko/QwQ Bakeneko | 日本語 LLM(継続事前学習) | Qwen2.5-32B に日本語継続事前学習をかけ、DeepSeek R1 蒸留マージ版や推論版もそろえた rinna のモデル群 | Hugging Face | 無料(Apache-2.0) |
| Llama 3.1 Swallow(8B / 70B) | 日本語 LLM(継続事前学習) | Meta の Llama 3.1 に日本語の継続事前学習をかけたオープン日本語 LLM | Hugging Face | 無料(Llama 3.1 ライセンス+Gemma 利用規約) |
| PLaMo 2 1B / 8B | 日本語 LLM(小型) | Transformer に加えて状態空間モデル(SSM)を採用した PFN の日本語 LLM の小型版 | Hugging Face | 1B は Apache-2.0、8B は PLaMo community license |
入れる前に
モデルカードでは、サンプリング温度を 0.5〜0.7 にすることを勧めています。また、もとの R1 モデルより同じ言葉を繰り返しがちなため、repetition_penalty を 1.1 以上に設定するよう勧めています。
モデルカードには vLLM で動かすためのスクリプトが載っています。Hugging Face のページでは、llama.cpp や Ollama、LM Studio などで使える量子化版へのリンクも案内されています。
評価には、SakanaAI/gsm8k-ja-test_250-1319 の先頭 50 行と DeL-TaiseiOzaki/Tengentoppa-sft-reasoning-ja の先頭 50 問が使われています。正答率と、