FinRAGBench-V：金融领域带视觉引用的多模态 RAG
FinRAGBench-V发现，顶级模型在金融页面上仅达到20–61%的块级引用召回率。多模态检索比纯文本高出近50个百分点。
#data-science
数据科学
WildToolBench：为何在真实世界工具调用中没有 LLM 的会话准确率能超过 15%
WildToolBench发现，在1,024个真实用户任务上，没有LLM的会话准确率超过15%，隐藏意图和指令转换是最尖锐的失败模式。
LLM 置信度与校准：研究现状深度综述
GPT-4语言化置信度的AUROC仅为约62.7%，勉强高于随机。不确定性感知的金融智能体需要比这更好的校准。
FinToolBench：评估LLM代理在真实金融工具使用中的表现
FinToolBench发现，所有受测LLM的意图不匹配率均超过50%，因此激进的工具调用并不意味着在金融任务上有更好的答案。
OmniEval：金融领域全方位 RAG 评估基准
OmniEval 给最佳 RAG 系统在 5 类金融任务上的数值准确率评分为 36%，因此账本智能体在写入分录前需要验证。
LLM 异常检测综述 (NAACL 2025)：强大的分类体系，缺失的表格数据覆盖
NAACL 2025的分类法依然成立，但表格覆盖缺失。金融AI团队必须自行适配视觉模型方法。
发现于中：通过校准位置注意力偏差提升长上下文 RAG
当证据位于上下文中部时，从LLM注意力权重中减去位置偏差可恢复高达15个百分点的RAG准确率，有助于金融智能体流水线。
Fin-RATE：大语言模型在跨周期和跨实体财务分析中的失败表现
Fin-RATE 显示 LLM 在纵向追踪上的准确率骤降 18.60%，真正的瓶颈是检索流程，而非模型本身。
FinDER：真实分析师查询揭示金融 RAG 中 74% 的召回率差距
FinDER的5,703个真实分析师查询显示，顶级RAG仅召回10-K证据的25.95%。应先规范化缩写，再更换嵌入模型。
迷失在中间：大语言模型中的位置偏差及其对金融 AI 的影响
当答案位于上下文中段时，LLM 得分最多会低 20 分，因此金融 RAG 流程应把最佳段落放在最前或最后。
AD-LLM 基准测试：GPT-4o 在文本异常检测中零样本 AUROC 达到 0.93+
AD-LLM 发现 GPT-4o 在文本异常检测的零样本任务上达到 0.93–0.99 AUROC，但 LLM 模型选择对金融审计 AI 而言仍不可靠。
CausalTAD：用于大语言模型表格异常检测的因果列排序
CausalTAD 在 LLM 序列化前按因果依赖关系重排表格列，使平均 AUC-ROC 从 AnoLLM 的 0.803 提升到 0.834。