多智能体 LLM 辩论：真实的准确率提升、未受控的计算开销与集体幻觉
我一直在思考 Beancount 回写安全性的多智能体验证——具体来说，在账本提交生效之前，检查者智能体（checker agent）是否能与编写者智能体（writer agent）进行有意义的辩论。这个问题让我重新审视了关于多智能体辩论的基础论文，该论文发表于 ICML 2024，此后吸引了大量有价值的批判性后续研究。
论文概述
由 Yilun Du、Shuang Li、Antonio Torralba、Joshua B. Tenenbaum 和 Igor Mordatch 撰写的《通过多智能体辩论提高语言模型的事实性和推理能力》（Improving Factuality and Reasoning in Language Models through Multiagent Debate）提出了一种他们称之为“心智社会”（society of minds）的方法：多个 LLM 实例分别生成初始响应，然后阅读全套同行响应，并在多轮迭代中更新自己的答案。核心设计选择是该方法仅 需对模型输出进行黑盒访问——无需梯度、无需微调、无需更改架构。他们在六个基准测试中进行了测试：算术、GSM8K、象棋走法优化、传记事实性、MMLU 和象棋走法有效性。
他们报告结果最多的设定是 3 个智能体进行 2 轮辩论。其核心假设是：分歧会迫使智能体清晰地阐述其推理过程，而收敛则标志着真正的信心，而非侥幸的一致性。
核心观点
- 在算术测试上，辩论达到了 81.8% 的准确率，而单智能体为 67.0%，单智能体反思为 72.1%——比基准线提升了 14.8 个百分点。
- 在 GSM8K（小学数学）上，准确率为 85.0%，对比单智能体的 77.0% 和反思模式的 75.0%。
- 在 MMLU（跨学科的 100 个问题）上，准确率为 71.1%，对比单智能体的 63.9% 和反思模式的 57.7%。
- 在传记事实性上，准确率为 73.8%，对比单智能体的 66.0%。
- 跨模型辩论（ChatGPT + Bard 在 20 个 GSM8K 问题上）解决了 17/20 个问题，而每个模型单独解决 11–14 个——这是论文中最引人注目的结果，因为它展示了异构智能体如何互相纠正错误。
- 性能随着智能体数量和轮次（最多 4 轮）的增加而提升，超过 4 轮后收益递减。显式鼓励智能体在达成共识前“深思熟虑”的“长提示词”（Long prompts）表现始终优于短提示词。
哪些结论站得住脚，哪些站不住
准确率的提升是真实的，且基准测试的覆盖面比大多数提示词工程论文更广。我相信其趋势性的发现：让多个智能体相互批评比单个智能体对自身输出进行反思能捕获更多错误。
问题在于未受控的变量。3 个智能体进行 2 轮辩论意味着在不考虑更长上下文的情况下，推理计算量约为单次调用的 6 倍。论文从未展示等效预算下的基准线。自洽性（Self-consistency）——即对许多独立的单智能体样本进行多数投票——是一个自然的比较对象，但论文仅简要提及。2025 年的一篇论文 (arXiv:2604.02460) 在多步推理基准测试中对 Qwen3、DeepSeek-R1 和 Gemini 2.5 进行了这种对照实验，在匹配推理 Token 预算的情况下，发现一旦计算量等效，“单智能体系统可以匹配或超越多智能体系统 (MAS)”。这是对主要论点的一个直接挑战。
论文承认但低估了另一种失败模式，即 M3MAD-Bench (arXiv:2601.02854) 所称的“集体幻觉”（Collective Delusion）：在对 100 个辩论失败案例的手工分析中，65% 涉及智能体相互强化错误答案而非纠正它们。论文原文也指出，即使在收敛于错误答案时，智能体有时也会“自信地确认其答案是正确的”。当所有智能体共享相同的训练分布时（即同构情况），它们很可能拥有相同的盲点。此时辩论会放大错误而非纠正它。
同一篇论文中的一个相关发现：“错误从众”（Incorrect Conformity）在失败案例中占有不小的比例——原本正确的智能体在阅读了错误的同行响应后放弃了合理的推理。这与辩论框架的初衷背道而驰。这提醒我们，在这些多智能体循环中，说服动力学（persuasion dynamics）可能会向任一方向发展。
为什么这对金融 AI 很重要
这种架构对于 Beancount 的回写安全性确实具有吸引力：编写者提出账目分录，检查者对其进行辩论，达成共识后触发提交。风险分析随你所编写的内容而变化。对于日常杂货支出，辩论轮次的成本并不划算。但对于纳税年度结账分录或公司间转账，在提交前让第二个智能体审查账户科目和金额是合理的。
但集体幻觉在会计领域尤为危险。如果编写者和检查者智能体对特定扣除项在给定辖区规则下的分类存在相同的错误认知，辩论会确认错误而非标记它。论文本身的跨模型结果暗示了解决方法：异构智能体（不同的模型、不同的系统提示词，或一个基于外部文档的智能体）更有可能发现真正的分歧。M3MAD-Bench 证实，“协作式异构辩论”的表现明显优于同构设定。
计算量的成倍增长在生产规模下也很重要。每个会话 10 次账本编辑 × 3 个智能体 × 2 轮 = 60 次 LLM 调用。这对于高风险的写入是可持续的，但对于日常交易导入则不然。正确的设计可能是分层方法：对于结构良好的分录采用快速单智能体路径，仅在编写者表示不确定或分录影响高敏感账户类别（如税务负债、留存收益、公司间往来）时才调用辩论。
延伸阅读
- arXiv:2604.02460 — 《在等效思考 Token 预算下，单智能体 LLM 在多步推理上优于多智能体系统》：对辩论所宣称的计算优势最清晰的已发表挑战。
- arXiv:2601.02854 — M3MAD-Bench：涵盖 9 个模型和 13 个数据集的大规模辩论评估，包含了集体幻觉失败分类学。
- arXiv:2406.09187 — GuardAgent：一种将安全策略转换为可执行代码的守卫智能体；相比基于辩论共识的方法，这是一种更直接的回写安全方案。
