TAT-QA：针对财务年报推理的混合表格-文本问答基准
TAT-QA 的表格-文本混合问题表明，金融 AI 的瓶颈是证据定位，而非算术。到 2024 年，微调后的 7B 大模型达到了 83% F1。
Mike Thrift
市场经理
FinQA：衡量 AI 对财务报告数值推理能力的基准测试
FinQA 发现神经模型在财报数学上得分 61%，人类专家则为 91%，在三步及以上推理程序上更骤降至 22%。
FinanceBench：为什么基于向量存储的 RAG 在真实财务文档上表现不佳
FinanceBench 用 16 种 AI 方案测试了 10,231 个真实 SEC 文件问题：共享向量存储 RAG 只答对 19%，可见检索并非瓶颈。
DSPy：用编译后的 LLM 管道替换脆弱的提示工程
DSPy 的编译器让 Llama2-13b 在 GSM8K 上从 9.4% 提升到 46.9%，指引金融 AI 流水线走向可维护的声明式 LLM 调用。
LATS：语言智能体树搜索——在同一框架中实现推理、行动与规划
LATS 把 ReAct、Tree of Thoughts 和 Reflexion 统一到一个 MCTS 框架中，配合 GPT-4 在 HumanEval 上达到 92.7% pass@1。
Self-RAG: 大语言模型的自适应检索与自我评判
Self-RAG 训练 LLM 决定何时检索并自我评分，在 PopQA 上达到 55.8%，FactScore 达 80.2——在五项基准上超越 ChatGPT。
Voyager：技能库解锁3.3倍物品发现率
Voyager的持久代码技能库无需微调即可发现3.3倍于先前SOTA的Minecraft物品——这是账本智能体需要的重用模式。
HippoRAG：2Wiki上89.1%的Recall@5对比ColBERT的68.2%
HippoRAG的OpenIE+PageRank记忆在2WikiMultiHopQA上达到89.1%的Recall@5，而ColBERTv2为68.2%——适用于多年账本的通路感知检索。
AgentBench：评估作为智能体的 LLM —— 对金融 AI 可靠性的启示
AgentBench 中 GPT-4 得分为 4.01，而最佳开源 LLM 仅为 0.96。这些失败正是让 Beancount 写回代理在真实账本上崩溃的原因。
BloombergGPT 与金融特定领域大语言模型的局限性
BloombergGPT 在 569B 金融 token 上训练，但未经金融预训练的 GPT-4 也能匹敌。对会计代理而言，工具使用胜过模型内部能力。
AutoGen：金融 AI 的多智能体对话框架
AutoGen 的双智能体对话把 MATH 准确率从 55% 提升到 69%，其 SafeGuard 智能体在不安全代码检测上最多提升 35 个 F1 点。
Gorilla：检索感知训练如何将 LLM API 幻觉从 78% 降低到 11%
Gorilla 的检索感知训练将 LLM API 幻觉率从 78% 降至 11%，让工具调用可靠到足以支撑录入分录的金融智能体。