号 > AI

日本語で聞くと英語や中国語が混ざる? それを抑える「DeepSeek-R1日本語版」

Lightblue/DeepSeek-R1-Distill-Qwen-7B-Japanese
DeepSeek-R1 の 7B 蒸留モデルに日本語の追加学習をかけた推論型 LLM
公式サイト
公開
正式公開 2025-02-03
作り手
株式会社Lightblue(会社)
対応
Hugging Face(モデル配布)
言語
日本語
価格
無料(Apache-2.0 ライセンス)

どんなアプリか

東京大学発の AI スタートアップ、株式会社Lightblue が公開した大規模言語モデル(LLM)です。中国の DeepSeek が開発した推論型 LLM「DeepSeek-R1」の蒸留モデル「DeepSeek-R1-Distill-Qwen-7B」をもとに、日本語での追加学習を行っています。

もとの R1 系のモデルは英語と中国語の二か国語で動くように訓練されており、日本語で問いかけても中国語や英語で答えることがありました。Lightblue は独自のデータセットで短時間の追加学習を行い、日本語の問いかけに対してより一貫して日本語で出力できるようにしたと説明しています。

そこで、我々はR1の日本語版として lightblue/DeepSeek-R1-Distill-Qwen-7B-Japanese を開発しました。

Lightblue、Hugging Face のモデルカード(日本語の節)

学習用のデータは、英語の推論型の問いを集めて gpt-4o-mini で日本語に訳し、DeepSeek-R1-Distill-Llama-70B に答えさせたうえで、考える過程を書く の部分が日本語で書かれていない応答などを取り除いて作ったと、モデルカードに書かれています。学習は Alibaba Cloud の 8 x L20 インスタンスで 10 分未満だったとのことです。

これまでの更新

Hugging Face のモデルのページは 2025-01-24 に作られ、最終更新は 2025-01-27 です(2026-10-23 時点)。Lightblue は 2025-02-03 にプレスリリースで公開を発表しました。

同じ分野のアプリ

名前型仕掛け対応料金
Lightblue/DeepSeek-R1-Distill-Qwen-7B-Japanese推論型 LLM(追加学習)DeepSeek-R1 の 7B 蒸留モデルに日本語の追加学習をかけ、考える過程も日本語で出すHugging Face無料(Apache-2.0)
Qwen2.5 Bakeneko 32B/DeepSeek R1 Distill Bakeneko/QwQ Bakeneko日本語 LLM(継続事前学習)Qwen2.5-32B に日本語継続事前学習をかけ、DeepSeek R1 蒸留マージ版や推論版もそろえた rinna のモデル群Hugging Face無料(Apache-2.0)
Llama 3.1 Swallow(8B / 70B)日本語 LLM(継続事前学習)Meta の Llama 3.1 に日本語の継続事前学習をかけたオープン日本語 LLMHugging Face無料(Llama 3.1 ライセンス+Gemma 利用規約)
PLaMo 2 1B / 8B日本語 LLM(小型)Transformer に加えて状態空間モデル(SSM)を採用した PFN の日本語 LLM の小型版Hugging Face1B は Apache-2.0、8B は PLaMo community license

入れる前に

モデルカードでは、サンプリング温度を 0.5〜0.7 にすることを勧めています。また、もとの R1 モデルより同じ言葉を繰り返しがちなため、repetition_penalty を 1.1 以上に設定するよう勧めています。

モデルカードには vLLM で動かすためのスクリプトが載っています。Hugging Face のページでは、llama.cpp や Ollama、LM Studio などで使える量子化版へのリンクも案内されています。

評価には、SakanaAI/gsm8k-ja-test_250-1319 の先頭 50 行と DeL-TaiseiOzaki/Tengentoppa-sft-reasoning-ja の先頭 50 問が使われています。正答率と、 の部分が日本語として成り立っている割合を、もとのモデルと比べた表がモデルカードに載っています。