FinRAGBench-V：金融領域における視覚的引用を伴うマルチモーダルRAG
FinRAGBench-Vは、最高モデルでも財務ページのブロック単位引用再現率が20〜61%にとどまると判明。マルチモーダル検索はテキストのみを50ポイント近く上回る。
#finance
ファイナンス
LLMの信頼度とキャリブレーション：研究が実際に示していることの調査
言語化されたGPT-4の確信度はAUROC約62.7%にとどまり、偶然をわずかに上回る程度。不確実性を意識する財務エージェントにはより良い較正が必要だ。
FinTrace：金融タスクにおけるLLMツール呼び出しのトラジェクトリレベル評価
FinTraceは、最先端LLMが正しい財務ツールを選ぶ（F1約0.9）一方、結果の利用は3.23/5にとどまり、書き戻しエージェントを破綻させる工程だと示す。
OmniEval: 金融分野向け全方位型RAG評価ベンチマーク
OmniEvalは5種類の財務タスクで最高のRAGシステムを数値精度36%と評価。台帳エージェントは記帳前に検証が必要だ。
FinDER: 実務のアナリストによるクエリが財務RAGにおける74%の再現率の乖離を露呈
FinDERの5,703件の実アナリストクエリで、最高のRAGは10-K根拠のわずか25.95%を再現。埋め込みを替える前に、まず略語を正規化せよ。
Lost in the Middle：LLMにおける位置バイアスと金融AIへの影響
LLMは答えが文脈の中間にあると最大20ポイント低くスコアリングするため、金融RAGパイプラインは最良の箇所を最初か最後に配置すべきだ。
AnoLLM: 財務データにおけるテーブルデータの異常検知に向けたLLMのファインチューニング
AnoLLMは混合型不正データでLLM負の対数尤度により行をスコアリングし古典的ベースラインを上回るが、純粋に数値的な表では優位性を加えない。
DocFinQA：完全なSEC提出書類における長文コンテキストの財務推論
DocFinQAはFinQAの700語の抜粋をSEC提出書類全文に置き換え、175倍長い文脈で長文書におけるGPT-4精度をほぼ半減させる。
TheAgentCompany：実世界の企業業務におけるLLMエージェントのベンチマーキング
TheAgentCompanyは模擬イントラネットで175の企業タスクをベンチマーク。最高モデルGemini-2.5-Proは各$4でわずか30%を完了する。
InvestorBench: Qwen2.5-72B が株式で最高の46.15% CRを達成
InvestorBench: Qwen2.5-72B が株式取引で46.15% CRをリード。金融特化の Palmyra-Fin は株式では逆効果——規模がドメイン特化に勝る。
シングルエージェント：同等トークンでマルチホップにおいてMASに匹敵
等しい思考トークン予算の下では、シングルエージェントLLMはマルチホップ推論においてマルチエージェントシステムに匹敵するかそれを上回り、よりシンプルな金融エージェント設計が有利です。
M3MAD-Bench：マルチエージェント討論はドメインやモダリティを越えて真に有効なのか？
M3MAD-Benchは、集合的妄想がマルチエージェント討論の失敗の65%を引き起こし、敵対的討論が精度を最大12.8%低下させることを明らかにする。