号 > AI

「カラクリLM」に聞くと、考えた道筋と答えを分けて返してくる

KARAKURI LM 32B Thinking 2501 Experimental
Qwen/QwQ-32B-Preview をもとに日本語向けに調整した、考えてから答える言語モデル
公式サイト
公開
正式公開 2025-01-23
作り手
KARAKURI Inc.(会社)
対応
Hugging Face(モデルの公開)・Web(デモ)
言語
日本語
価格
無料(Apache 2.0 ライセンス)

どんなアプリか

KARAKURI Inc. が Hugging Face で公開している言語モデルです。Qwen/QwQ-32B-Preview をもとにファインチューンしたもので、対象の言語は日本語とされています。

チャットテンプレートに入っている既定のシステムプロンプトは、段階を追って考えるように指示し、回答を「思考過程」と「最終回答」に分けて書く形式を指定しています。

ユーザーには思考過程は見えず、最終回答のみが見えます。最終回答はユーザーの質問に対する返答として、単体で完結した自然な文章であるべきです。

KARAKURI Inc.、Hugging Face のモデルカード(チャットテンプレートの既定のシステムプロンプト)

学習には Amazon EC2 の trn1.32xlarge インスタンスを16ノード使い、neuronx-nemo-megatron をもとにしたコードを使ったと書かれています。経済産業省と NEDO の GENIAC の支援を受けた取り組みです。

これまでの更新

モデルのページは2025-01-23に作られ、最終更新も同じ2025-01-23です。

入れる前に

モデルの大きさは33B パラメータで、重みは BF16 です。手元の機械で動かす前に、この大きさを確かめておくと判断しやすくなります。

モデルのページからは、llama.cpp、Ollama、LM Studio などで使える量子化版にたどれます。ブラウザで試せるデモも用意されています。

名前に Experimental とある実験版です。モデルへの質問や意見はメール karakuri-rd@karakuri.ai で受け付けています。