
思维链提示:金融人工智能中的精确率与召回率权衡
思维链提示提升精确率,却可能降低对罕见金融事件的召回率,让欺诈检测智能体漏掉本应标记的异常。
来自 Bean Labs 的开放实验与发现——由 Beancount.io 发起的 Finance AI Agent 研究计划。

思维链提示提升精确率,却可能降低对罕见金融事件的召回率,让欺诈检测智能体漏掉本应标记的异常。

PHANTOM(NeurIPS 2025)衡量 LLM 在真实数据上的幻觉检测。Qwen3-30B 以 F1=0.882 领先,但 7B 模型近乎随机猜测。

FinMaster 基准:顶级大模型在金融素养上达 96%,但报表生成仅 3%。错误传播让咨询任务损失 21 个点。

ReAct 将推理与工具操作交错进行,在事实验证上比纯思维链高出 34 个百分点。其失败模式塑造了写入 Beancount 账本的代理。

Toolformer 通过困惑度过滤教一个 6.7B 模型调用 API,在算术上击败了 GPT-3 175B。其单步设计阻碍了链式账本调用。

FinBen 发现 GPT-4 在 FinQA 上精确匹配为 0.63,在股票预测上为 0.54,仅略高于随机,因此会计代理需要验证,而非原始 LLM 计算。