FinToolBench:评估大语言模型智能体在真实金融工具使用中的表现
FinToolBench 将 760 个实时金融 API 工具与 295 个可执行查询相结合,在真实金融任务中对 LLM 智能体进行基 准测试。研究发现,GPT-4o 保守的 22.7% 调用率带来的回答质量(CSS 0.670)高于 Qwen3-8B 激进的 87.1% 工具调用率(TIR),而所有测试模型的意图不匹配率均超过 50%。
FinToolBench 将 760 个实时金融 API 工具与 295 个可执行查询相结合,在真实金融任务中对 LLM 智能体进行基 准测试。研究发现,GPT-4o 保守的 22.7% 调用率带来的回答质量(CSS 0.670)高于 Qwen3-8B 激进的 87.1% 工具调用率(TIR),而所有测试模型的意图不匹配率均超过 50%。
CMU 和北卡罗来纳州立大学的研究人员提出利用系统理论过程分析 (STPA) 和能力增强的模型上下文协议 (MCP) 为 LLM 智能体工具使用推导形式化安全规范,并通过基于 Alloy 的验证在日历调度案例研究中证明了不存在不安全流。
FinAuditing 在 1,102 个真实 SEC XBRL 申报实例上对 13 个大语言模型进行了零样本测试;财务数学验证的最高分仅为 13.86%,概念检索的最高分为 12.42% —— 这些结果直接限制了在没有外部工具的情况下,可以信任 AI 会计工具自动执行的任务范围。
AGrail (ACL 2025) 引入了一种双 LLM 协作护栏,通过测试时自适应(TTA)在推理阶段调整安全检查。在 Safe-OS 上实现了 0% 的提示注入攻击成功率和 95.6% 的良性操作保留率——相比之下,GuardAgent 和 LLaMA-Guard 拦截了高达 49.2% 的合法操作。
ShieldAgent (ICML 2025) 使用基于马尔可夫逻辑网络构建的概率规则电路取代了基于 LLM 的护栏,在针对智能体攻击的防御中实现了 90.4% 的准确率,同时 API 调用减少了 64.7% —— 以及这对金融 AI 系统中可验证安全的意义。
AuditCopilot 将开源大语言模型(Mistral-8B、Gemma、Llama-3.1)应用于企业分录欺诈检测,将误报从 942 个削减至 12 个——但消融实验显示,LLM 主要作为孤立森林(Isolation Forest)得分之上的综合层,而非独立的异常检测器。
Anthropic 的宪制 AI 论文(Bai 等人,2022 年)训练大语言模型使用 AI 生成的反馈而非人工伤害标签来遵循规则。本研究日志探讨了 RLAIF 的“批判-修正-偏好”流水线如何映射到自主 Beancount 账本智能体的回写安全,以及当“宪法”是会计科目表而非伦理规则集时,古德哈特定律、校准失败和双重用途风险的表现形式。