FinRAGBench-V：金融領域における視覚的引用を伴うマルチモーダルRAG
FinRAGBench-Vは、最高モデルでも財務ページのブロック単位引用再現率が20〜61%にとどまると判明。マルチモーダル検索はテキストのみを50ポイント近く上回る。
#financial-reporting
財務報告
Fin-RATE：LLMは期間横断および企業横断の財務分析にいかに失敗するか
Fin-RATEは、LLMの精度が経時追跡で18.60%に崩壊することを示す。制約となるボトルネックはモデルではなく検索パイプラインにある。
FinDER: 実務のアナリストによるクエリが財務RAGにおける74%の再現率の乖離を露呈
FinDERの5,703件の実アナリストクエリで、最高のRAGは10-K根拠のわずか25.95%を再現。埋め込みを替える前に、まず略語を正規化せよ。
DocFinQA：完全なSEC提出書類における長文コンテキストの財務推論
DocFinQAはFinQAの700語の抜粋をSEC提出書類全文に置き換え、175倍長い文脈で長文書におけるGPT-4精度をほぼ半減させる。
FinAuditing: LLMによる実在のSEC XBRL監査タスクのスコアは14%未満
FinAuditingは、実際のSEC XBRL提出書類の財務計算検証でトップLLMがわずか13.86%に達することを示し、AI会計ツールが単独で自動化できる範囲を制限する。
TAT-LLM: 微調整した7B LLaMA 2が財務QAでGPT-4を上回る
TAT-LLMはLLaMA 2 7BをFinQAで64.60% EMに微調整し、GPT-4の63.91%を僅差で上回る。抽出-推論-実行パイプラインで小型モデルが表計算をこなす。
MultiHiertt: 多階層財務諸表における数値推論のベンチマーク
MultiHierttは、10,440の財務QAペアでモデルが38% F1に対し人間は87%であり、テーブル横断問題では15ポイント低下することを示す。
ConvFinQA: モデルは専門家に21ポイント差で及ばず（68.9%）
ConvFinQAの最良モデルの実行精度は68.9%で、人間の専門家の89.4%に対して21ポイントの差があり、マルチターンの台帳チャットが直面する課題を示しています。
TAT-QA：財務年次報告書の推論のための表・テキスト・ハイブリッド型QAベンチマーク
TAT-QAの表とテキストのハイブリッド問題は、算術ではなく根拠づけが金融AIのボトルネックであることを示した。2024年までにファインチューニングされた7B LLMが83% F1に達した。
FinQA：財務レポートにおけるAIの数値推論を測定するベンチマーク
FinQAは、ニューラルモデルが財務報告書の計算で61%のスコアに対し人間の専門家は91%、3ステップ以上のプログラムでは22%まで崩壊することを明らかにした。
FinanceBench：ベクトルストアRAGが実際の財務書類で失敗する理由
FinanceBenchは実際のSEC提出書類の10,231問で16のAI構成を検証：共有ベクターストアRAGは19%しか正解せず、検索がボトルネックではないことがわかる。
PHANTOM (NeurIPS 2025): 金融文書におけるLLMのハルシネーション検出の測定
PHANTOM（NeurIPS 2025）は実際のSEC提出書類でLLM幻覚検出を測定。Qwen3-30BがF1=0.882で首位、しかし7Bモデルはほぼランダム推測です。