「aisev」に業務の資料を入れたら、攻撃プロンプトが自動で出てきた

どんなアプリか

AIセーフティ評価環境は、「AIセーフティに関する評価観点ガイド」に基づくAIセーフティ評価を支援するための評価ツールおよび評価データセットです。

Japan AI Safety Institute、GitHub リポジトリ Japan-AISI/aisev の README

評価観点ガイドが定める10種類の評価観点に対応するため、AIシステムへの入出力の内容から統計的に評価する定量評価と、評価者にAIシステムの現状を問う定性評価を組み合わせて、総合的に評価します。

自動レッドチーミングの機能も同梱しています。業種や業務などドメイン固有の要件をテストに反映させる部分を支援するもので、入力したドキュメントからAIシステムに対する敵対的プロンプトを自動で生成します。

PCなどにインストールして使うツールで、DockerかDocker互換の動作環境が必要です。README では、Windows11 と MacOS(Sequoia)、Python 3.12.7、Rancher Desktop 1.19.3 を確認済みの動作環境として挙げています。

料金とデータの置き場所

Apache License 2.0 の条件で無償配布されています。評価ツールと同梱のデータセットの両方が対象です。

入れる前に

README では、2025年9月時点で試作版だとしています。また、AISIプリセットなど特定のデータセットを使った結果は、IPA や AISI による公式な認定・保証を意味しないと明記しており、AISIプリセットに限らず多様なデータセットを選んで登録し、評価を進めることを前提としています。

不具合報告はリポジトリの issue で受け付けていますが、対応するかどうかや時期は保証されていません。確認済み以外の環境での動作も保証されていません。