号 > AI

グラフの画像に「単体はいくら増えた?」と聞ける「JP-Graph」

Llama-3.1-70B-Instruct-multimodal-JP-Graph
図表を含む日本語文書を画像で読み取り、質問に答えるマルチモーダルLLM
公式サイト
公開
正式公開 2025-07-31
作り手
株式会社リコー(会社)
対応
Hugging Face(モデル配布)
言語
日本語
価格
無料(無償公開。元のモデル等のライセンスに従う)

どんなアプリか

株式会社リコーが、経済産業省と NEDO のプロジェクト「GENIAC」第2期で開発したマルチモーダル大規模言語モデル(LMM)の基本モデルです。評価環境とあわせて、2025年7月31日に無償で公開されました。

Llama-3.1-70B-Instruct-multimodal-JP-Graph is a Japanese Large Vision Language Model.

株式会社リコー、Hugging Face のモデルカード

言語モデル部分は Llama-3.1-Swallow-70B、画像の読み取り部分は Qwen2-VL-7B の画像エンコーダーをもとにしています。モデルカードの例では、グラフの画像を渡して「FY2021の連結の値はいくつか?」「この図は何を表しているか?」のように日本語で質問しています。

リコーによると、図表を含む日本語文書の読解で、質問応答データセット「JDocQA」と独自のベンチマークツールで検証した結果、他のモデルと比べて優れた性能を示しました(2025年4月24日時点)。論文は MIRU2025 で発表されています。

料金とデータの置き場所

基本モデルと評価環境は無償で公開されており、公開先は Hugging Face です。

入れる前に

モデルの大きさは 71B パラメータ(BF16)です。モデルカードの手順では、LLaVA-NeXT を入れたうえで flash-attn と transformers の決まった版を入れ、添付のファイルで LLaVA-NeXT のコードを上書きしてから推論します。

ライセンスの表記は「other」です。モデルカードは、使う人が Meta LLaMA 3.1 Community License や Qwen License Agreement など元のライセンスに従う必要があると案内しています。