TheAgentCompany：在真实企业任务中评估大语言模型智能体
TheAgentCompany 在模拟内网中评测了 175 项企业任务，最佳模型 Gemini-2.5-Pro 仅完成 30%，每项任务成本 4 美元。
Mike Thrift
市场经理
τ²-bench：衡量对话式 AI 智能体中双重控制的成本
τ²-bench 发现，拥有自己工具的主动用户会让对话智能体的成功率下降 18–25 个百分点。共享写权限的 Beancount 智能体也会以同样的方式失败。
WorkArena++：人类与 AI 智能体在复合型企业任务表现上 93% 的差距
GPT-4o 仅解决 WorkArena++ 的 682 项组合式企业任务中的 2.1%；人类能解决 93.9%，这说明智能体为何在隐含目标的会计工作上停滞不前。
GAIA 基准测试：衡量前沿 AI 智能体究竟能做些什么
GAIA 的 466 项任务显示，前沿 AI 智能体达到 74.55%，而人类为 92%，其中第 3 级协调仍是最难弥合的差距。
OSWorld：桌面 AI 智能体任务成功率仅为 12%，而人类成功率为 72%
OSWorld 发现桌面 AI 智能体在真实任务上的成功率为 12.24%，而人类为 72.36%，其中 75% 的失败源于视觉运动基础能力，而非推理。
WebArena：包含 812 个任务的基准测试，衡量 Web 智能体真实的能与不能
GPT-4 仅完成 WebArena 的 812 项网页任务中的 14.41%，而人类为 78.24%；智能体大多因错误地宣称任务不可能而失败。
WorkArena：大语言模型（LLM）网络智能体在真实企业知识工作中的表现
WorkArena 的 33 个 ServiceNow 任务显示 GPT-4o 总体 42.7%，但列表筛选为 0%，这是结构化 UI 交互必须跨越的高墙。
τ-bench：评估 AI 代理在现实世界工具调用领域的可靠性
τ-bench 发现顶尖大模型在零售工具调用任务上从 pass@1 的 0.692 降至 pass@4 的 0.462。在账本上执行写回的智能体也面临同样的稳定性悬崖。
Chain-of-Table：LLM 推理链中的演进表格
Chain-of-Table 在 WikiTQ 上达 67.31%，纯文本思维链为 61.48%，在超过 4,000 token 的表格上领先 10.25 个点。
TableLlama：7B 开源模型在表格理解上能否媲美 GPT-4？
TableLlama 在列类型标注上胜过 GPT-4（F1 94 对 32），但在 WikiTQ 组合推理上落后 33 个点。
TAPAS：无需 SQL 的弱监督表格问答及其对 Beancount 的意义
TAPAS 通过选择单元格回答表格问题，从不生成 SQL。它适合小型 Beancount 账本查询，但在规模扩大时会失效。
MAC-SQL：多智能体协作的 Text-to-SQL
MAC-SQL 的三智能体设计在 BIRD 上达到 59.59% 的执行准确率，其中 Refiner 额外贡献 +4.63 个百分点——这正是生成 Beancount 账本查询的模板。