グラフの画像に「単体はいくら増えた?」と聞ける「JP-Graph」
- 公開
- 正式公開 2025-07-31
- 作り手
- 株式会社リコー(会社)
- 対応
- Hugging Face(モデル配布)
- 言語
- 日本語
- 価格
- 無料(無償公開。元のモデル等のライセンスに従う)
どんなアプリか
株式会社リコーが、経済産業省と NEDO のプロジェクト「GENIAC」第2期で開発したマルチモーダル大規模言語モデル(LMM)の基本モデルです。評価環境とあわせて、2025年7月31日に無償で公開されました。
Llama-3.1-70B-Instruct-multimodal-JP-Graph is a Japanese Large Vision Language Model.
株式会社リコー、Hugging Face のモデルカード
言語モデル部分は Llama-3.1-Swallow-70B、画像の読み取り部分は Qwen2-VL-7B の画像エンコーダーをもとにしています。モデルカードの例では、グラフの画像を渡して「FY2021の連結の値はいくつか?」「この図は何を表しているか?」のように日本語で質問しています。
リコーによると、図表を含む日本語文書の読解で、質問応答データセット「JDocQA」と独自のベンチマークツールで検証した結果、他のモデルと比べて優れた性能を示しました(2025年4月24日時点)。論文は MIRU2025 で発表されています。
料金とデータの置き場所
基本モデルと評価環境は無償で公開されており、公開先は Hugging Face です。
入れる前に
モデルの大きさは 71B パラメータ(BF16)です。モデルカードの手順では、LLaVA-NeXT を入れたうえで flash-attn と transformers の決まった版を入れ、添付のファイルで LLaVA-NeXT のコードを上書きしてから推論します。
ライセンスの表記は「other」です。モデルカードは、使う人が Meta LLaMA 3.1 Community License や Qwen License Agreement など元のライセンスに従う必要があると案内しています。