あなたのエージェントはこれらの帳簿を一致させられますか？
1回のエージェント実行が3行の台帳を2958.50 USDの当座預金と1958.50 USDの9月利益に照合し、自ら診断した1件の失敗から回復した。
#llm
LLM
FinRAGBench-V：金融領域における視覚的引用を伴うマルチモーダルRAG
FinRAGBench-Vは、最高モデルでも財務ページのブロック単位引用再現率が20〜61%にとどまると判明。マルチモーダル検索はテキストのみを50ポイント近く上回る。
LLMエージェントはCFOになれるのか？EnterpriseArenaによる132ヶ月のシミュレーションで明らかになった大きな格差
EnterpriseArenaの132ヶ月CFO実行で80%生き残ったのはQwen3.5-9Bのみ。GPT-5.4とDeepSeek-V3.1は0%だった。台帳照合の省略が失敗の原因だ。
WildToolBench: なぜ現実世界のツール利用においてLLMのセッション精度は15%を超えないのか
WildToolBenchは、1,024件の実ユーザータスクでセッション精度15%を超えるLLMはなく、隠れた意図と指示の遷移が最も鋭い失敗モードと判明。
LLMの信頼度とキャリブレーション：研究が実際に示していることの調査
言語化されたGPT-4の確信度はAUROC約62.7%にとどまり、偶然をわずかに上回る程度。不確実性を意識する財務エージェントにはより良い較正が必要だ。
JSONSchemaBench: 現実世界のスキーマの複雑さがLLMの構造化出力の保証を破壊する
JSONSchemaBenchは、カバレッジが単純スキーマの86%から複雑なものでは3%へ崩壊し、LLMの構造化出力が非準拠JSONを静かに出力しうると判明。
FinMCP-Bench: MCP下での実世界の金融ツール利用に向けたLLMエージェントのベンチマーク
FinMCP-Benchは6つのLLMの最高が613件の実MCP財務タスクで完全一致わずか3.08%と評価。単一ツールからマルチターンで20倍の崩壊だ。
FinTrace：金融タスクにおけるLLMツール呼び出しのトラジェクトリレベル評価
FinTraceは、最先端LLMが正しい財務ツールを選ぶ（F1約0.9）一方、結果の利用は3.23/5にとどまり、書き戻しエージェントを破綻させる工程だと示す。
FinToolBench：実世界の金融ツール使用におけるLLMエージェントの評価
FinToolBenchは、テストされた全LLMで意図の不一致が50%超と判明。積極的なツール呼び出しは財務タスクでの良い回答を意味しない。
OmniEval: 金融分野向け全方位型RAG評価ベンチマーク
OmniEvalは5種類の財務タスクで最高のRAGシステムを数値精度36%と評価。台帳エージェントは記帳前に検証が必要だ。
LLM異常検知サーベイ (NAACL 2025)：強力な分類体系、欠如した表形式データへの対応
NAACL 2025の分類法は有効だが、表形式データの対象が欠けている。財務AIチームは視覚モデル手法を自ら適応させる必要がある。
Found in the Middle: 位置的アテンションバイアスの校正によるロングコンテキストRAGの改善
LLMの注意重みから位置バイアスを差し引くと、根拠が文脈中間にある場合にRAG精度が最大15ポイント回復し、財務エージェントのパイプラインを支援する。