3月5日(水)の号 3本

今日の先頭 ・ AI ・ LLM-jp-3 MoE(8x1.8B / 8x13B)

「LLM-jp-3 MoE」8x13B、日本語MT Benchで172B版を超えた

日本語と英語の MoE 型オープンモデルで、8x1.8b と 8x13b の2サイズ。事前学習データの内訳をデータセットごとのトークン数つきで示し、後学習のデータや安全性の評価結果もモデルカードに載っています。
正式公開 03-05 ・ Hugging Face(モデル配布) ・ 無料