FinRAGBench-V：金融领域带视觉引用的多模态 RAG
FinRAGBench-V (EMNLP 2025) 是首个针对金融领域带视觉引用的多模态 RAG 的大规模基准测试，涵盖超过 11.2 万页文档和 1,394 对人工标注的问答对。顶级模型在块级引用召回率上仅达到 20–61%，且多模态检索的表现优于纯文本检索近 50 个百分点。
#data-science
Data Science
WildToolBench：为何在真实世界工具调用中没有 LLM 的会话准确率能超过 15%
WildToolBench (ICLR 2026) 评估了 57 个 LLM 在源自真实用户行为的 1,024 个任务上的表现——没有模型的会话准确率超过 15%，其中组合编排、隐藏意图和指令转换是三个最显著的失败模式。
LLM 置信度与校准：研究现状深度综述
一项关于 LLM 置信度估计和校准方法的系统性综述——涵盖白盒 Logit 方法、基于一致性的 SelfCheckGPT 以及语义熵——研究表明，GPT-4 的言语置信度得分仅达到约 62.7% 的 AUROC，仅略高于随机水平。这对于在金融和会计领域部署具有不确定性意识的代理具有直接影响。
FinToolBench：评估LLM代理在真实金融工具使用中的表现
FinToolBench将760个实时金融API工具与295个可执行查询配对，用于评估LLM代理在真实金融任务上的表现——结果显示GPT-4o保守的22.7%调用率带来了更高的答案质量（CSS 0.670），而Qwen3-8B激进的87.1% TIR则相反，同时所有测试模型的意图不匹配率均超过50%。
OmniEval：金融领域全方位 RAG 评估基准
OmniEval (EMNLP 2025) 通过 1.14 万个自动生成的测试用例，在 5 种任务类型 × 16 个金融主题上对 RAG 系统进行了基准测试。表现最好的系统数值准确度仅为 36%——这有力地证明了在写入结构化金融账本之前，RAG 流水线需要验证层。
LLM 异常检测综述 (NAACL 2025)：强大的分类体系，缺失的表格数据覆盖
对 Xu 和 Ding 在 NAACL 2025 上发表的关于基于 LLM 的异常和 OOD 检测综述的评注：虽然检测与生成的分类体系站得住脚，但表格数据覆盖的几乎完全缺失意味着金融 AI 从业者必须自行综合来自视觉模型的见解。
发现于中：通过校准位置注意力偏差提升长上下文 RAG
一种无需训练的推理时校准方法，通过从大语言模型注意力权重中减去位置偏差，在检索文档被埋没在上下文中部时恢复高达 15 个百分点的 RAG 准确率——以及这对特定金融代理流水线的意义。
Fin-RATE：大语言模型在跨周期和跨实体财务分析中的失败表现
Fin-RATE 对 17 个大语言模型进行了基准测试，涵盖了来自 2,472 份 SEC 文件的 7,500 对专家精选的问答。研究揭示了在纵向追踪下准确率暴跌 18.60%，而金融专业模型 Fin-R1 在跨实体任务中的表现下降了 54 点——检索流程而非骨干模型才是核心瓶颈。
FinDER：真实分析师查询揭示金融 RAG 中 74% 的召回率差距
FinDER 针对标普 500 指数 10-K 文件，使用 5,703 个真实的对冲基金分析师查询对 RAG 进行基准测试；E5-Mistral 仅实现了 25.95% 的上下文召回率，而充满缩写的查询导致精确率下降了 8.2 个百分点——这证明了查询归一化而非更好的嵌入，才是修复金融 AI 流水线的首要方案。
迷失在中间：大语言模型中的位置偏差及其对金融 AI 的影响
Liu 等人发表的 TACL 2024 论文表明，大语言模型在处理埋藏在长上下文中间的信息时，性能会下降多达 20 个百分点——这种 U 形性能退化影响了包括 Claude-1.3-100K 在内的所有受测模型——这对 RAG 流水线在金融和会计应用中应如何排列检索到的段落具有具体的指导意义。
AD-LLM 基准测试：GPT-4o 在文本异常检测中零样本 AUROC 达到 0.93+
AD-LLM 在五个 NLP 数据集上针对三种异常检测角色（零样本检测器、数据增强引擎和模型选择顾问）对 GPT-4o 和 Llama 3.1 8B 进行了基准测试；GPT-4o 的零样本 AUROC 达到了 0.93–0.99，但基于 LLM 的模型选择仍然不可靠，这对金融审计 AI 具有直接影响。
CausalTAD：用于大语言模型表格异常检测的因果列排序
CausalTAD 通过在序列化前重新排列表格列以遵循因果依赖关系，改进了基于大语言模型的表格异常检测，在混合类型基准测试上将平均 AUC-ROC 从 AnoLLM 的 0.803 提升至 0.834——这对于检测结构化账本数据中的异常具有直接意义。