あなたのエージェントはこれらの帳簿を一致させられますか？
3行の合成Beancountチャレンジと、独立に導出した解答 — 当座預金の期末残高が2958.50 USD、9月の利益が1958.50 USD — を、記録された1回のエージェント実行で完了し、失敗もトランスクリプトに残したものです。
#llm
LLM
FinRAGBench-V：金融領域における視覚的引用を伴うマルチモーダルRAG
FinRAGBench-V (EMNLP 2025) は、金融分野における視覚的引用を伴うマルチモーダルRAGのための初の大規模ベンチマークであり、11万2千ページ以上の文書と、人間がアノテーションした1,394組のQAペアを網羅しています。トップモデルでもブロックレベルの引用再現率はわずか20〜61%にとどまり、マルチモーダル検索はテキストのみの検索を約50パーセントポイント上回る結果となりました。
LLMエージェントはCFOになれるのか？EnterpriseArenaによる132ヶ月のシミュレーションで明らかになった大きな格差
EnterpriseArenaは、11種類のLLMを用いて、生存率、最終評価額、決算率を追跡する132ヶ月間のCFOシミュレーションを実施しました。Qwen3.5-9Bのみが実行の80%で生存し、GPT-5.4とDeepSeek-V3.1は0%でした。人間の専門家は100%の生存率を達成し、最終評価額はLLMの5倍に達しました。決定的なボトルネックは、LLMが時間の80%で帳簿の照合をスキップし、古い財務状態に基づいて行動していることです。
WildToolBench: なぜ現実世界のツール利用においてLLMのセッション精度は15%を超えないのか
WildToolBench (ICLR 2026) は、実際のユーザー行動から抽出された1,024のタスクで57のLLMを評価しました。15%のセッション精度を超えるモデルは存在せず、構成的オーケストレーション、隠れた意図、および指示の遷移が3つの顕著な失敗モードとして特定されました。
LLMの信頼度とキャリブレーション：研究が実際に示していることの調査
LLMの信頼度推定とキャリブレーション手法（ホワイトボックスのロジットアプローチ、一貫性ベースのSelfCheckGPT、意味論的エントロピー）に関する体系的な調査により、GPT-4による言語化された信頼度スコアはAUROC約62.7%にとどまり、偶然をわずかに上回る程度であることが明らかになりました。これは、金融や会計において不確実性を認識するエージェントを導入する上で直接的な影響を及ぼします。
JSONSchemaBench: 現実世界のスキーマの複雑さがLLMの構造化出力の保証を破壊する
JSONSchemaBenchは、9,558個の現実世界のJSONスキーマを6つの制約付きデコードフレームワークに対してテストし、スキーマの複雑さによってカバレッジが単純なスキーマでの86%から複雑なものでは3%にまで崩壊することを発見しました。XGrammarは38個の非準拠出力をサイレントに生成し、すべての45のJSONスキーマ機能カテゴリをカバーするフレームワークは存在しませんでした。
FinMCP-Bench: MCP下での実世界の金融ツール利用に向けたLLMエージェントのベンチマーク
FinMCP-Benchは、65のMCPサーバーに裏打ちされた613の実世界金融ツール利用タスクにおいて、6つのLLMモデルを評価しました。最高モデルのマルチターンタスクにおける完全一致（exact match）スコアは3.08%であり、単一ツールからマルチターンシナリオへの移行に伴う20倍のパフォーマンス低下が明らかになりました。
FinTrace：金融タスクにおけるLLMツール呼び出しのトラジェクトリレベル評価
FinTraceは、800件のエキスパートによるアノテーション済み金融タスクトラジェクトリを用いて13のLLMを9つの指標でベンチマーク評価しました。その結果、フロンティアモデルは強力なツール選択（F1 ~0.9）を実現しているものの、情報活用（エージェントがツールからの返却値を推論するステップ）においては5点満点中3.23点にとどまることが明らかになりました。
FinToolBench：実世界の金融ツール使用におけるLLMエージェントの評価
FinToolBenchは、760の実在する金融APIツールと295の実行可能なクエリを組み合わせ、実在の金融タスクでLLMエージェントを評価します — GPT-4oの控えめな22.7%の呼び出し率が、回答品質（CSS 0.670）において、Qwen3-8Bの積極的な87.1%のTIRよりも高いことを明らかにし、一方で、テストされたすべてのモデルで意図不一致率が50%を超えることを示しています。
OmniEval: 金融分野向け全方位型RAG評価ベンチマーク
OmniEval (EMNLP 2025) は、11,400件の自動生成テストケースを用いて、5つのタスクタイプ × 16の金融トピックにわたるRAGシステムを評価します。最良のシステムでも数値の正確性は36%に留まっており、RAGパイプラインが構造化された金融帳簿に書き込む前に検証レイヤーを必要とすることを示す具体的な証拠となっています。
LLM異常検知サーベイ (NAACL 2025)：強力な分類体系、欠如した表形式データへの対応
Xu氏とDing氏によるLLMベースの異常検知およびOOD検知に関するNAACL 2025サーベイの批判的読解。「検知 vs 生成」の分類体系は有効ですが、表形式データへの対応がほぼ皆無であるため、金融AIの実務家はビジョンモデルからの知見を自ら統合する必要があります。
Found in the Middle: 位置的アテンションバイアスの校正によるロングコンテキストRAGの改善
学習不要な推論時の校正により、LLMのアテンションの重みから位置的バイアスを減算し、検索されたドキュメントがコンテキストの中央に埋もれている場合のRAG精度を最大15%回復。金融特化型エージェントパイプラインへの影響を解説。