まだ手で社内システムを操作してる？「カラクリVL」が狙う自動化

どんなアプリか

KARAKURI VL は、カスタマーサポート向けの AI を手がけるカラクリ株式会社が 2025年7月9日に公開した Computer-Using Agent（CUA）向けのモデルです。CUA は、画面のスクリーンショットを読み取り、マウスのクリックやキーボード入力を実行して、自然言語の指示どおりにパソコンを操作する技術です。

Qwen2.5-VL をもとに日本語環境向けに作られた視覚言語モデルで、縦書きと横書きが混ざった日本語の画面の文字認識や、日本語のマニュアル・フローチャートの読解に対応するとされています。経済産業省・NEDO の GENIAC 第2期のプロジェクトとして開発されました。

顧客からの問い合わせに対応しながら、複数のシステムを操作し、マニュアルを参照し、適切な回答を作成するという複雑な業務フローをAIが自動化できるよう設計されました。

カラクリ株式会社、プレスリリース（PR TIMES、2025-07-09）

対話型モデルと推論モデルが Hugging Face で公開され、ブラウザで試せるデモ環境も用意されています。あわせて、国際的なベンチマーク OSWorld の約400のタスクを日本の業務環境に合わせて改変した「OSWorld-JP」を作り、オープンソースにしています。

入れる前に

カラクリ自身が、現在のモデルには実用面での課題が多いと書いています。挙げられているのは、操作権限を与えることによる暴走のリスク、プロンプト作成に専門知識が要ること、各社独自のツールへの対応の難しさです。企業で使うには、過去のオペレーターの操作などから企業ごとの環境を学習させる必要があるとしています。

デモ環境は期間限定で、予告なく閉じる場合があると案内されています。日本語画像読解タスクで国内最高性能としている評価は、JDocQA・JMMMU・Heron のベンチマークで 2025年6月に行ったものです。