AGrail：タスクを越えて学習するLLMエージェントのための適応型セーフティ・ガードレール
LLMエージェントのガードレールを巡る軍拡競争を注視してきました。2024年のGuardAgent、ICML 2025のShieldAgent、そしてAGrail（Luo et al., ACL 2025）は、私が次に読むべきステップでした。これは、これまでの先達が解決できなかったスケーラビリティのギャップ、すなわち、単一のガードレールシステムが、独自のポリシー語彙とリスク領域を持つ多くの異なるタスクにわたって、タスクごとに事前プログラムされることなくエージェントを保護しなければならない場合に何が起こるかという問題に焦点を当てています。
論文の概要
Weidi Luo、Shenghong Dai、Xiaogeng Liu、Suman Banerjee、Huan Sun、Muhao Chen、Chaowei Xiaoの各氏は、ACL 2025のロングペーパー・トラックで、AGrail — 「効果的かつ適応的な安全性検出を備えた生涯学習型エージェント・ガードレール」を発表しました。核心的な問題は二重にあります。LLMエージェントは、管理者が定義する「タスク固有のリスク」（例：「このディレクトリのファイルを削除しない」）と、設計上の脆弱性に起因する「システム的リスク」（プロンプトインジェクション、環境攻撃）の両方に直面しますが、既存のガードレールはせいぜい片方のカテゴリーしかうまく扱えず、タスクごとの手動のポリシー指定が必要となります。AGrailの回答は、Analyzer（分析器）とExecutor（実行器）という2つのLLMによる協調システムです。これは、テスト時適応（TTA）を通じて推論時に安全性チェックを生成、テストし、反復的に洗練させ、その洗練されたチェックをメモリ・モジュールに保存することで、将来のタスクへ学習を転移させます。
主なアイデア
- 2つのLLMの協調: Analyzerはメモリから関連する安全性チェックを取得して修正し、更新されたチェックセットを提案します。Executorは提案された各チェックを評価し、外部ツールの呼び出し、自己推論への依存、あるいは冗長なチェックの破棄を決定します。このループはチェックセットが収束するまで反復実行されます。
- ステップバック・プロンプティングを用いたメモリ: アクションは、ステップバック・プロンプティングを使用して、自然言語とツールコマンドの両方の形式で保存されます。推論時には、生のコマンド構文による干渉を防ぐために自然言語形式のみが表示されますが、検索には両方の形式が使用されます。メモリはTTAの4回目の反復あたりで収束し、ランダムシード間で98%以上のコサイン類似度を示します。
- Safe-OS ベンチマーク: 既存のベンチマークには3つのシステム的リスクがすべて組み合わされたものがなかったため、著者らはDockerを介して実際のOSエージェントの相互作用をシミュレートした100のシナリオ（プロンプトインジェクション23、システム破壊30、環境攻撃20、正常ケース27）からなる新しいデータセットを導入しました。
- プロンプトインジェクションASR 0%での96%の正当アクション保持: Safe-OSにおいてClaude-3.5-Sonnetを使用した場合、AGrailはプロンプトインジェクションに対する攻撃成功率0%を達成しながら、正当なアクションのブロックをわずか4.4%に抑えました（保持率95.6%）。競合するベースラインは、正当なアクションの最大49.2%をブロックしてしまいます。
- タスク固有のリスク結果: Mind2Web-SC（Webエージェント）ではF1=94.1（一致率95.8%）を達成。EICU-AC（ヘルスケア・プライバシー）ではF1=98.5（一致率100%）を達成しました。
- 軽量モデルの不安定性: バックボーンとしてGPT-4o-miniを使用すると、入力シーケンス全体で不安定性が見られました。信頼性の高いパフォーマンスのためにはClaude-3.5-Sonnetが必要であり、これは論文内では控えめに表現されていますが、暗黙の計算リソースの前提条件となっています。
評価できる点と課題点
私が最も感銘を受けた結果は、偽陽性の比較です。GuardAgentとLLaMA-Guardは、正当なSafe-OSアクションの最大49.2%をブロックします。これはユーザビリティの破綻を意味します。通常の作業の半分をフラグ立てするようなガードレールを、有効にしたままにする人はいません。AGrailの正当アクションに対する4.4%というブロック率は、純粋に優れています。
とはいえ、指摘すべきギャップもいくつかあります。第一に、環境注入攻撃（EIA）の数値は、主要な主張よりも厳しいものです。アクション生成のASRは28%であり、4回に1回以上の攻撃が成功しています。論文では、プロンプトインジェクションの結果0%と比較して、この点を埋もれさせています。第二に、脅威モデルが限定的です。Safe-OSは3つの攻撃タイプをカバーしていますが、Analyzerを完全にバイパスする敵対的推論チェーンや、十分に長いコンテキストによってメモリ・モジュールが誤った事前チェックへと誘導されるケースについては評価されていません。第三に、生涯学習のストーリーは、メモリが収束するためにエージェントが類似のアクションに繰り返し遭遇することを必要とします。論文の制御されたセットアップでは「4回の反復で収束」という結果が出ていますが、アクションの分布が非常に多様な場合にメモリがどれだけ迅速に安定するかは不明 です。第四に、エージェントのステップごとに2つのLLMを実行し、さらにTTA反復を行うことによる計算オーバーヘッドが数値化されていません。レイテンシに敏感なアプリケーションでは、そのコストが重要になります。
著者らは、専門のガードレールモデルではなく汎用LLMに依存していることや、ツールの呼び出しが最小限であることを正直に認めています。議論されていないのは、ステップバック・プロンプティングのパイプラインを理解している攻撃者によって、Analyzerのポリシーチェックの提案自体が汚染される可能性です。
金融AIにとっての重要性
「タスク固有のリスク + システム的リスク」という分類は、会計エージェントに直接当てはまります。Beancountの書き戻しエージェントは、管理ルールとしてのタスク固有のリスク（例：「ロックされた期間には決して転記しない」、「10,000ドルを超える取引には常に二者承認を必要とする」）と、システム的リスク（プロンプトを注入する取引メモ内の悪意のある記述など）の両方に直面します。会計士はポリシーを述語論理ではなく自然言語で表現するため、AGrailの枠組みはShieldAgentの形式的なルール回路よりも、このユースケースにおいて自然です。
生涯学習の側面は特に重要です。単一の展開で、勘定科目表のポリシー、会計年度の境界、承認階層がそれぞれ異なる数十の個別の元帳を保護する可能性がありま す。ある元帳から別の元帳へと安全性チェックを転送し、ゼロから始めるのではなくTTAを介して洗練させる能力は、元帳ごとの設定負荷を大幅に軽減できる可能性があります。現在の実装が、実際のマルチテナント会計プラットフォームの規模でこれを実際に達成できるかどうかは、論文が答えていない問いです。評価対象は3つの異なるエージェントタスクのみであり、数十におよぶものではありません。
28%というEIAアクション生成の失敗率は、私が懸念し続けている数字です。会計エージェントにとって、敵対的なアクション生成攻撃の成功は、誤った仕訳入力が確定されることを意味します。これは手動の監査なしには回復不可能です。EIA攻撃の28%を阻止できないガードレールには、二次的な検証レイヤーが必要になります。これは、この読書リストで以前に取り上げたマルチエージェント討論や形式手法による検証デザインの議論へと立ち返ることになります。
次に読むべきもの
- M3MAD-Bench (arXiv:2601.02854) — マルチエージェント討論がモダリティやタスクを越えて実際に役立つかどうかに関する最も包括的な監査。AGrailの協調型LLMデザインを金融パイプラインに検討する場合、直接的に関連します。
- ShieldAgent (arXiv:2503.22738, ICML 2025) — AGrailが暗黙的に比較対象としている形式的検証アプローチ。両者を並べて読むことで、適応性と形式的な保証の間のトレードオフが明確に なります。
- Towards Verifiably Safe Tool Use for LLM Agents (arXiv:2601.08012, ICSE 2026) — STPAプロセス分析とMCPを組み合わせ、ツール呼び出しエージェントのための強制可能な安全スペックを生成。AGrailのランタイムチェックに対する、最も体系的かつ補完的な既存手法です。
