M3MAD-Bench:多智能体辩论在不同领域和模态下真的有效吗?
M3MAD-Bench 对 9 个模型、5 个领域以及视觉语言设置下的多智能体辩论进行了压力测试,发现“集体幻觉”导致了 65% 的失败,对抗性辩论使准确率下降了高达 12.8%,而自我一致性通常能以更低的 Token 成本达到与辩论相当的准确率。
M3MAD-Bench 对 9 个模型、5 个领域以及视觉语言设置下的多智能体辩论进行了压力测试,发现“集体幻觉”导致了 65% 的失败,对抗性辩论使准确率下降了高达 12.8%,而自我一致性通常能以更低的 Token 成本达到与辩论相当的准确率。
AutoGen(Wu 等,2023)引入了一个多智能体对话框架,其中由大语言模型(LLM)驱动的智能体通过传递消息来完成任务;双智能体设置将 MATH 基准测试的准确率从 55% 提升至 69%,而专门的 SafeGuard 智能体将不安全代码检测提高了多达 35 个 F1 分数——这些研究结果直接适用于构建安全、模块化的 Beancount 自动化流程。