PHANTOM (NeurIPS 2025)：衡量金融文档中的大语言模型幻觉检测
PHANTOM (NeurIPS 2025) 是首个在真实 SEC 备案文件中衡量大语言模型幻觉检测的基准测试，上下文长度可达 30,000 tokens。Qwen3-30B-A3B-Thinking 以 F1=0.882 领跑；7B 模型的得分接近随机猜测——这对自主会计智能体具有直接影响。
研究日志
FinMaster 基准测试：为何大语言模型在金融素养上得分 96%，但在报表生成上仅为 3%
FinMaster (arXiv:2505.13533) 对 o3-mini、Claude 3.7 Sonnet 和 DeepSeek-V3 在 183 项金融任务中进行了基准测试——揭示了模型在金融素养方面得分 96%，但在报表生成方面暴跌至 3%，多步咨询任务由于错误传播导致准确率下降了 21 个百分点。
ReAct：在语言模型中协同推理与行动
ReAct (Yao et al., ICLR 2023) 在单个轨迹中交替进行思维链推理和工具行动，在事实验证方面优于纯 CoT，在具身任务的模仿学习方面优于基准 34 个百分点。本文分析了该论文的失效模式——搜索诱导的干扰和复合错误——以及它们对于向 Beancount 账本回写数据的自主代理意味着什么。
Toolformer：自监督工具使用及其在金融 AI 中的局限性
深度解读 Toolformer（Meta AI，NeurIPS 2023）：探讨如何通过困惑度过滤的自监督训练，教会一个 6.7B 参数模型调用外部 API，使其在算术基准测试中超越 GPT-3 175B，以及为什么其单步架构无法支持结构化账本操作所需的链式工具调用。
FinBen：在 36 个金融任务中对大语言模型进行基准测试 —— 对会计 AI 的启示
FinBen 在 NeurIPS 2024 上对 36 个金融数据集中的 15 个大语言模型进行了评估，发现 GPT-4 在数值问答上的精确匹配率为 0.63，在股票走势预测上为 0.54 —— 接近随机。本文探讨了这些数据对于在 Beancount 账本上构建可靠的会计智能体意味着什么。