InvestorBench：金融交易决策中的大语言模型智能体基准测试
InvestorBench (ACL 2025) 在股票、加密货币和 ETF 交易的回测中，通过累计回报率和夏普比率（而非问答准确率）对 13 个大语言模型骨干进行了测试。Qwen2.5-72B 以 46.15% 的累计回报率荣登股票榜首；针对金融微调的模型在股票表现上反而不如预期。模型参数量比领域微调更能可靠地预测性能。
Bean Labs Research Log
Latest articles
StructRAG (ICLR 2025)：选择正确的文档结构，性能领先 GraphRAG 28 分
StructRAG (ICLR 2025) 在推理前根据每个查询将路由到适当的任务结构类型（表格、图、目录、算法或分块），在 Loong 基准测试中比 GraphRAG 高出 28 分，且运行速度快 22 倍，仅 DPO 训练的路由模型就带来了 15 分的准确率提升。
在等量思考 Token 预算下，单智能体大模型在多跳推理表现上优于多智能体系统
2026 年斯坦福大学的一篇预印本论文通过统一五种多智能体架构的思考 Token 预算发现，在多跳推理任务中，单智能体大模型表现与多智能体系统相当甚至更优。该研究基于数据处理不等式提供了理论依据，并探讨了其对金融 AI 智能体设计的启示。
M3MAD-Bench：多智能体辩论在不同领域和模态下真的有效吗？
M3MAD-Bench 对 9 个模型、5 个领域以及视觉语言设置下的多智能体辩论进行了压力测试，发现“集体幻觉”导致了 65% 的失败，对抗性辩论使准确率下降了高达 12.8%，而自我一致性通常能以更低的 Token 成本达到与辩论相当的准确率。
AGrail：跨任务学习的 LLM 智能体自适应安全护栏
AGrail (ACL 2025) 引入了一种双 LLM 协作护栏，通过测试时自适应（TTA）在推理阶段调整安全检查。在 Safe-OS 上实现了 0% 的提示注入攻击成功率和 95.6% 的良性操作保留率——相比之下，GuardAgent 和 LLaMA-Guard 拦截了高达 49.2% 的合法操作。
ShieldAgent：LLM 智能体的可验证安全策略推理
ShieldAgent (ICML 2025) 使用基于马尔可夫逻辑网络构建的概率规则电路取代了基于 LLM 的护栏，在针对智能体攻击的防御中实现了 90.4% 的准确率，同时 API 调用减少了 64.7% —— 以及这对金融 AI 系统中可验证安全的意义。
Atlas：检索器-阅读器联合预训练以 11B 参数击败 540B 参数的超大模型
Atlas (JMLR 2023) 在仅有 64 个训练样本的情况下，在 Natural Questions 上实现了 42.4% 的准确率——以 11B 参数击败了拥有 540B 参数的 PaLM 模型 3 个百分点。该模型通过联合预训练基于 Contriever 的稠密检索器和基于 T5 的 Fusion-in-Decoder 阅读器实现。本文分析涵盖了检索准确率限制、587GB 索引基础设施成本，以及对 Beancount 账本问答系统的影响。
Fusion-in-Decoder：多篇章检索如何提升生成式问答性能
Izacard 和 Grave 的 FiD 架构独立编码检索到的篇章，然后在解码器中进行融合，在 NQ 和 TriviaQA 数据集上比 RAG-Sequence 高出 4–11 分。本文探讨了该设计及其对 Beancount 账本问答的启示，在这类场景中，跨交易的多分录综合是常态。
GuardAgent: Deterministic Safety Enforcement for LLM Agents via Code Execution
GuardAgent (ICML 2025) places a separate LLM agent between a target agent and its environment, verifying every proposed action by generating and running Python code — achieving 98.7% policy enforcement accuracy while preserving 100% task completion, versus 81% accuracy and 29–71% task failure for prompt-embedded safety rules.
多智能体 LLM 辩论：真实的准确率提升、未受控的计算开销与集体幻觉
深入解读 Du 等人的 ICML 2024 多智能体辩论论文——该研究报告称算术准确率提升了 14.8 个百分点——同时参考了 2025 年的反驳研究（显示在同等预算下，单智能体表现与辩论持平），并分析了为何集体幻觉（占辩论失败案例的 65%）会对 AI 辅助的账本提交构成特定风险。
