号 > AI

27Bで70B級の日本語性能。開発元の評価で並ぶ「Swallow」

Gemma-2-Llama Swallow(2B / 9B / 27B)
Gemma 2 に日本語の継続事前学習と指示チューニングを施した 2B・9B・27B の LLM
公式サイト
公開
正式公開 2025-05-19
作り手
Swallow LLM team(チーム)
対応
Hugging Face(モデルの重みを公開)
言語
日本語・英語
価格
記載なし(Gemma 利用規約と Llama 3.3 ライセンスに従う条件で研究・商業利用可)

どんなアプリか

Gemma-2-Llama Swallow 2B, 9B, 27B はGemma 2をベースに日本語の能力を強化した大規模言語モデル (LLM) です。モデルのパラメータ(重み)がHuggingFace上で公開されています。

Swallow LLM team、Gemma-2-Llama Swallow 公式サイト

Google の Gemma 2(2B・9B・27B)の事前学習モデルに、日本語の能力や知識を重視した継続事前学習と指示チューニングを行った LLM のシリーズです。東京科学大学情報理工学院の岡崎研究室・横田研究室と、産業技術総合研究所の研究チームが開発しました。

各サイズに、汎用的に使える事後学習済みの IT 版と、事前学習のみの PT 版があります。公式サイトは、特段の理由がない限り PT 版を使う必要はないと書いています。

公式サイトの評価では、9B PT 版は Gemma 2 27B と、27B PT 版は Llama 3.1 Swallow 70B v0.1 と、日本語理解・生成タスクで同等の性能を示したとしています。学習の計算環境には Google の TPU Research Cloud の支援を受けています。

これまでの更新

2025-05-07 に 2B・9B・27B の PT 版と IT 版、計6モデルが公開されました。2025-05-19 には Swallow LLM Leaderboard に評価結果が追加され、2025-06-25 には公式サイトに Sarashina2.2 3B と Qwen3 シリーズとの比較結果が加わっています。

2026-05-08 のリーダーボードの更新では、Gemma 2 系列などの古いモデルの評価を取り止めたと書かれています。

同じ分野のアプリ

名前型仕掛け対応料金
Gemma-2-Llama Swallow日本語LLM(オープンウェイト)Gemma 2 の 2B・9B・27B に日本語の継続事前学習と指示チューニングHugging Face記載なし(Gemma 利用規約+Llama 3.3 ライセンス)
ABEJA-Qwen2.5-32b-Japanese-v1.0日本語LLM(オープンウェイト)Qwen2.5-32B-Instruct に日本語中心の継続事前学習、SFT と DPO を加えた 32B モデルHugging Face無料(Apache 2.0)

入れる前に

ソースコードの学習データの合成に Llama 3.3 70B Instruct を使っているため、ライセンスは Gemma 利用規約に加えて Meta の Llama 3.3 ライセンスも継承しています。両方の条件を満たす場合に、研究や商業目的で利用できます。

事後学習では日本語の対話性能を重視して英語のデータを入れておらず、9B IT 版の英語理解・生成のスコアは元の Gemma 2 9B IT より下がっています。27B IT 版は、Gemma 2 27B IT と比べて英語理解・生成と日本語 MT-bench では性能向上が得られなかったとしています。