国立情報学研究所 大規模言語モデル研究開発センター（LLM-jp）

日本語と英語の MoE 型オープンモデルで、8x1.8b と 8x13b の2サイズ。事前学習データの内訳をデータセットごとのトークン数つきで示し、後学習のデータや安全性の評価結果もモデルカードに載っています。