ネットにつながずスマホで日本語チャット。小型AI「TinySwallow」
- 公開
- 正式公開 2025-01-30
- 作り手
- Sakana AI(会社)
- 対応
- Web・iOS(LLMFarm で動作)・PC(Python のローカル版)
- 言語
- 日本語
- 価格
- 記載なし
どんなアプリか
TinySwallow-1.5B は、Sakana AI が 2025年1月30日に公開した日本語の小規模言語モデルです。小さいモデルなので、API などを通さず、手元のスマートフォンや PC で完結してチャットができます。
作り方は、320億パラメータの大きなモデルから、その約1/20にあたる15億パラメータのモデルへ、新しい知識蒸留の手法「TAID」で知識を移すというものです。開発は東京科学大学の Swallow チームとの共同です。
TAIDは、LLMの知識をSLMに転移させる「知識蒸留」の新たな手法です。既存の知識蒸留の手法とは異なり、TAIDは、SLMの学習過程に応じて段階的にLLMの知識を転移させます。「常にちょうど良いレベルの先生についてもらう」ことで効率的かつ効果的な知識転移を実現します。
Sakana AI、公式ブログ「新手法「TAID」を用いた小規模日本語言語モデル「TinySwallow-1.5B」の公開」
試し方はいくつか用意されています。ブラウザで動くウェブアプリ「TinySwallow ChatUI」のほか、公式ブログのデモでは、GGUF 形式に変換したモデルを LLMFarm を使って iPhone 14 で動かしています。
モデルの重みは Hugging Face Hub で公開されています。日本語で継続事前学習をした「TinySwallow-1.5B」と、さらに指示学習をした「TinySwallow-1.5B-Instruct」の2つがあります。
作り手は使い道の例として、社内文書や個人メモをもとにしたプライベートな AI アシスタント、オフラインゲームの AI キャラクター、小型の AI エージェントの開発を挙げています。
料金とデータの置き場所
ウェブアプリ版はブラウザの中でモデルを動かしていて、外部の API を通しません。最初にモデルをダウンロードすれば、あとはオフラインのまま会話できます。
ネットワークにまったくつながずに使いたい人向けには、モデルの重みを同梱した「TinySwallow ChatUI Local」もあります。Python で動くシンプルな画面で、モデルを自分のマシンから直接読み込みます。