27Bで70B級の日本語性能。開発元の評価で並ぶ「Swallow」
- 公開
- 正式公開 2025-05-19
- 作り手
- Swallow LLM team(チーム)
- 対応
- Hugging Face(モデルの重みを公開)
- 言語
- 日本語・英語
- 価格
- 記載なし(Gemma 利用規約と Llama 3.3 ライセンスに従う条件で研究・商業利用可)
どんなアプリか
Gemma-2-Llama Swallow 2B, 9B, 27B はGemma 2をベースに日本語の能力を強化した大規模言語モデル (LLM) です。モデルのパラメータ(重み)がHuggingFace上で公開されています。
Swallow LLM team、Gemma-2-Llama Swallow 公式サイト
Google の Gemma 2(2B・9B・27B)の事前学習モデルに、日本語の能力や知識を重視した継続事前学習と指示チューニングを行った LLM のシリーズです。東京科学大学情報理工学院の岡崎研究室・横田研究室と、産業技術総合研究所の研究チームが開発しました。
各サイズに、汎用的に使える事後学習済みの IT 版と、事前学習のみの PT 版があります。公式サイトは、特段の理由がない限り PT 版を使う必要はないと書いています。
公式サイトの評価では、9B PT 版は Gemma 2 27B と、27B PT 版は Llama 3.1 Swallow 70B v0.1 と、日本語理解・生成タスクで同等の性能を示したとしています。学習の計算環境には Google の TPU Research Cloud の支援を受けています。
これまでの更新
2025-05-07 に 2B・9B・27B の PT 版と IT 版、計6モデルが公開されました。2025-05-19 には Swallow LLM Leaderboard に評価結果が追加され、2025-06-25 には公式サイトに Sarashina2.2 3B と Qwen3 シリーズとの比較結果が加わっています。
2026-05-08 のリーダーボードの更新では、Gemma 2 系列などの古いモデルの評価を取り止めたと書かれています。
同じ分野のアプリ
| 名前 | 型 | 仕掛け | 対応 | 料金 |
|---|---|---|---|---|
| Gemma-2-Llama Swallow | 日本語LLM(オープンウェイト) | Gemma 2 の 2B・9B・27B に日本語の継続事前学習と指示チューニング | Hugging Face | 記載なし(Gemma 利用規約+Llama 3.3 ライセンス) |
| ABEJA-Qwen2.5-32b-Japanese-v1.0 | 日本語LLM(オープンウェイト) | Qwen2.5-32B-Instruct に日本語中心の継続事前学習、SFT と DPO を加えた 32B モデル | Hugging Face | 無料(Apache 2.0) |
入れる前に
ソースコードの学習データの合成に Llama 3.3 70B Instruct を使っているため、ライセンスは Gemma 利用規約に加えて Meta の Llama 3.3 ライセンスも継承しています。両方の条件を満たす場合に、研究や商業目的で利用できます。
事後学習では日本語の対話性能を重視して英語のデータを入れておらず、9B IT 版の英語理解・生成のスコアは元の Gemma 2 9B IT より下がっています。27B IT 版は、Gemma 2 27B IT と比べて英語理解・生成と日本語 MT-bench では性能向上が得られなかったとしています。