
MemGPT:92.5%的多会话召回率对比32.1%的基线
MemGPT的类操作系统内存层级将GPT-4多会话聊天准确率提升至92.5%,而固定上下文仅为32.1%——这是多年账本代理所必需的。

MemGPT的类操作系统内存层级将GPT-4多会话聊天准确率提升至92.5%,而固定上下文仅为32.1%——这是多年账本代理所必需的。

SWE-agent 的代理-计算机界面将 GPT-4 Turbo 从原始 shell 提升到 SWE-bench 上的 12.47%,仅凭界面设计就获得 10.7 个百分点的提升。

SWE-bench 用 2,294 个真实 GitHub 问题测试语言模型;发布时 Claude 2 仅解决 1.96%。检索与补丁长度限制塑造了编码代理。

CodeAct 用可执行 Python 替代 JSON 工具调用,让 GPT-4 智能体成功率提升约 20 个点,轮次减少 30%。

Huang等(ICLR 2024):内在自我纠正使GPT-4在GSM8K上从95.5%降至91.5%——账本代理需要外部验证器,而非自我审查。

思维树在 24 点游戏上达到 74%,而 GPT-4 思维链仅 4%,它通过在步骤上搜索与回溯实现,金融代理可以借鉴这一模式。

CRITIC 通过外部工具而非模型自身来验证 LLM 修订,使开放域问答 F1 提升 7.7,毒性降低 79.2%。

Reflexion 让 GPT-4 在 HumanEval 上达到 91%,无需更新权重,但在 WebShop 上失败。言语强化需要清晰的评估信号。

自一致性对多条采样的推理路径进行多数投票,而非单一贪婪解码,在 GSM8K 上提升 17.9 个点且无需额外训练。

PAL在GSM-hard上比思维链提升+38.1个百分点,通过运行Python进行算术——这是可靠Beancount账本计算的正确分工。

四项基准显示 GPT-4 在真实表格问答上仅为 42%,人类为 86%,复杂聚合任务上仅 19.6%,因此金融代理需要干净的表格输入。

宪法式AI用AI反馈替代人工标注的有害数据,让会计智能体无需为每笔交易配备审核员,即可执行账本规则。