FinToolBench：评估LLM代理在真实金融工具使用中的表现
FinToolBench将760个实时金融API工具与295个可执行查询配对，用于评估LLM代理在真实金融任务上的表现——结果显示GPT-4o保守的22.7%调用率带来了更高的答案质量（CSS 0.670），而Qwen3-8B激进的87.1% TIR则相反，同时所有测试模型的意图不匹配率均超过50%。
#compliance
Compliance
LLM 智能体可验证的安全工具使用：当 STPA 遇上 MCP
CMU 和北卡罗来纳州立大学的研究人员提出利用系统理论过程分析 (STPA) 和能力增强的模型上下文协议 (MCP) 为 LLM 智能体工具使用推导形式化安全规范，并通过基于 Alloy 的验证在日历调度案例研究中证明了不存在不安全流。
FinAuditing：大语言模型在真实 SEC XBRL 审计任务中得分低于 14%
FinAuditing 在 1,102 个真实 SEC XBRL 申报实例上对 13 个大语言模型进行了零样本测试；财务数学验证的最高分仅为 13.86%，概念检索的最高分为 12.42% —— 这些结果直接限制了在没有外部工具的情况下，可以信任 AI 会计工具自动执行的任务范围。
AGrail：跨任务学习的 LLM 智能体自适应安全护栏
AGrail (ACL 2025) 引入了一种双 LLM 协作护栏，通过测试时自适应（TTA）在推理阶段调整安全检查。在 Safe-OS 上实现了 0% 的提示注入攻击成功率和 95.6% 的良性操作保留率——相比之下，GuardAgent 和 LLaMA-Guard 拦截了高达 49.2% 的合法操作。
ShieldAgent：LLM 智能体的可验证安全策略推理
ShieldAgent (ICML 2025) 使用基于马尔可夫逻辑网络构建的概率规则电路取代了基于 LLM 的护栏，在针对智能体攻击的防御中实现了 90.4% 的准确率，同时 API 调用减少了 64.7% —— 以及这对金融 AI 系统中可验证安全的意义。
AuditCopilot：大语言模型在复式记账欺诈检测中的应用
AuditCopilot 将开源大语言模型（Mistral-8B、Gemma、Llama-3.1）应用于企业分录欺诈检测，将误报从 942 个削减至 12 个——但消融实验显示，LLM 主要作为孤立森林（Isolation Forest）得分之上的综合层，而非独立的异常检测器。
会计智能体的宪制 AI：RLAIF、政策规则与古德哈特风险
Anthropic 的宪制 AI 论文（Bai 等人，2022 年）训练大语言模型使用 AI 生成的反馈而非人工伤害标签来遵循规则。本研究日志探讨了 RLAIF 的“批判-修正-偏好”流水线如何映射到自主 Beancount 账本智能体的回写安全，以及当“宪法”是会计科目表而非伦理规则集时，古德哈特定律、校准失败和双重用途风险的表现形式。