まだAIは左から書くと思ってる？「ELYZA-LLM-Diffusion」 | ELYZA-LLM-Diffusion

どんなアプリか

株式会社ELYZA が開発した、日本語向けの拡散大規模言語モデル（dLLM）のシリーズです。HKU NLP Group が公開している「Dream-v0-Instruct-7B」をもとに、日本語データで追加の事前学習と指示学習を行い、日本語の知識力と指示に従う力を高めています。

拡散大規模言語モデルは、もともと画像生成AIで使われてきた拡散モデルを文章生成に応用したものです。文章を前から順に作る従来の自己回帰モデルとは違い、ノイズを段階的に取り除きながら文章を生成します。

この生成方法の利点として、dLLMはARモデルのように文章を左から右へと逐次的に生成する必要がないため、設計次第ではより少ない処理回数で生成を行うことが可能です。その結果、推論をより効率化でき、生成速度の向上や消費電力の低減が期待されます。

株式会社ELYZA、PR TIMES のプレスリリース（2026-01-16）

公開されているのは Base と Instruct です。Base は Dream-v0-Instruct-7B に日本語データで追加の事前学習を行ったもので、Instruct は Base にさらに指示学習を行ったものです。Hugging Face 上には、このモデルを使ったチャット形式のデモも公開されています。

ELYZA の発表によると、一般的な日本語能力を問うタスクでは、Instruct 版が既存のオープンな拡散言語モデルと同等か、それ以上の性能を示しました。

料金とデータの置き場所

モデルは Apache 2.0 ライセンスで、商用利用が可能な形で公開されています。

同じ分野のアプリ

名前	型	仕掛け	対応	料金
ELYZA-LLM-Diffusion	日本語拡散言語モデル	ノイズを段階的に取り除いて文章を生成する 7B モデル	モデル（Hugging Face）	無料（Apache 2.0）
Rakuten AI 3.0	日本語 LLM（MoE）	GENIAC プロジェクトで開発した約7,000億パラメータの日本語最適化 MoE モデル	モデル配布（Hugging Face）	無料（Apache 2.0）
Sarashina2.2（小規模言語モデル）	日本語小規模言語モデル	5億・10億・30億パラメータの日本語に強い事前学習モデル	モデル（Hugging Face）	無料（MIT ライセンス、商用可）
Llama 3.3 Swallow	日本語 LLM	Llama 3.3 70B に日本語の継続事前学習をかけたモデル	モデル（Hugging Face）	無料（Llama 3.3ライセンス＋Gemma利用規約の制限内で商用可）

入れる前に

ELYZA 自身も、拡散言語モデルは学習コストや性能面に課題があり、推論の基盤などもまだ発展の途中のため、現時点での実利用は限られているとしています。

Hugging Face 上のデモは、アクセスが集中すると処理まで待ち時間が出ることがあると案内されています。

モデルカードには、拡散のステップ数を少なくする場合（例として8分の1に減らす場合）は、生成の多様性と安定性を保つために temperature と alg_temp を0.5以上にすることを勧める、という注意書きがあります。