「Sarashina2.2」の3B、数学とコードで旧70B超えに驚いた
- 公開
- 正式公開 2025-03-05
- 作り手
- SB Intuitions（会社）
- 対応
- モデル（Hugging Face）
- 言語
- 日本語・英語
- 価格
- 無料（MIT ライセンス、商用利用可）
どんなアプリか
Sarashina2.2 は、ソフトバンクの子会社 SB Intuitions が公開した小規模言語モデル（SLM）のシリーズです。パラメータ数5億、10億、30億の事前学習モデルの3種類があります。
Web コーパスから抽出した日本語・英語・コードを含む10兆トークンで学習し、そのあと数学とコーディングの性能を上げるための合成データ、さまざまな応用タスク向けの少量のデータで、3段階に分けて学習しています。
モデルカードの日本語タスクの表では、3B は以前の Sarashina2-7B より NIILC や JMMLU などの日本語 QA で上回り、MGSM-ja や JHumanEval などの日本語の数学・コーディング課題では Sarashina2-70B も上回ったとしています。Qwen シリーズなど同じくらいのパラメータ数の他社モデルと比べても、日本語処理性能でより優れた結果を示したと報じられています。
モデルは同社の Hugging Face のページで公開されていて、モデルカードには transformers ライブラリで読み込んで文章を生成するコード例が載っています。
料金とデータの置き場所
どのモデルも MIT ライセンスで公開されていて、商用利用もできます。
これまでの更新
シリーズは2025年3月5日に公開されました。Hugging Face のコレクションには事前学習モデルと指示調整済みモデルが3サイズずつ入っていて、最終更新は2025年3月5日です。
同じ分野のアプリ
| 名前 | 型 | 仕掛け | 対応 | 料金 |
|---|---|---|---|---|
| Sarashina2.2 | 小規模言語モデル | 5億・10億・30億パラメータの日本語に強い事前学習モデルと指示調整済みモデル | モデル（Hugging Face） | 無料（MIT ライセンス、商用可） |
| Sarashina2-8x70B | 大規模言語モデル | Mixture of Experts構成で総計4600億パラメータの日本語特化モデル | モデル（Hugging Face） | 無料（研究目的。商用利用不可） |
| llm-jp-3-172b-instruct3 | 大規模言語モデル | 約1720億パラメータをフルスクラッチ学習し、学習データまで含めてすべて公開 | モデル（Hugging Face） | 無料 |
| Llama 3.3 Swallow | 大規模言語モデル | Llama 3.3 70Bに日本語の継続事前学習をかけたモデル | モデル（Hugging Face） | 無料（Llama 3.3ライセンス＋Gemma利用規約の制限内で商用可） |
| Sarashina2-Vision | 視覚言語モデル | 日本語と日本の文化・慣習に強い、画像とテキストを扱うモデル（8B・14B） | モデル（Hugging Face） | 無料（MITライセンス、商用可） |
入れる前に
このページで配布されている sarashina2.2-3b は事前学習モデルで、指示に従うための調整はされていません。意味のない文や不正確な内容、偏った出力を生成することがあると書かれています。
As post-trained Sarashina2.2 models, we have published Sarashina2.2-0.5B-instruct-v0.1 , Sarashina2.2-1B-instruct-v0.1 , and Sarashina2.2-3B-instruct-v0.1 .
SB Intuitions、Hugging Face の sarashina2.2-3b モデルカード
3B モデルのファイルは BF16 の safetensors 形式です。