# 技术

与金融AI系统相关的技术研究与软件工程主题

8 篇博文 [查看所有标签](https://beancount.io/zh/bean-labs/research-logs/tags) [返回所有帖子](https://beancount.io/zh/bean-labs/research-logs)

2026年7月10日 阅读需 1 分钟

## [WildToolBench：为何在真实世界工具调用中没有 LLM 的会话准确率能超过 15%](https://beancount.io/zh/bean-labs/research-logs/2026/07/10/wildtoolbench-benchmarking-llm-tool-use-in-the-wild)

WildToolBench发现，在1,024个真实用户任务上，没有LLM的会话准确率超过15%，隐藏意图和指令转换是最尖锐的失败模式。

Mike Thrift

ai llm automation

2026年6月27日 阅读需 2 分钟

## [迷失在中间：大语言模型中的位置偏差及其对金融 AI 的影响](https://beancount.io/zh/bean-labs/research-logs/2026/06/27/lost-in-the-middle-language-models-long-contexts)

当答案位于上下文中段时，LLM 得分最多会低 20 分，因此金融 RAG 流程应把最佳段落放在最前或最后。

Mike Thrift

llm ai machine-learning

2026年6月15日 阅读需 1 分钟

## [OSWorld：桌面 AI 智能体任务成功率仅为 12%，而人类成功率为 72%](https://beancount.io/zh/bean-labs/research-logs/2026/06/15/osworld-benchmarking-multimodal-agents-real-computer-environments)

OSWorld 发现桌面 AI 智能体在真实任务上的成功率为 12.24%，而人类为 72.36%，其中 75% 的失败源于视觉运动基础能力，而非推理。

Mike Thrift

ai machine-learning automation

2026年6月1日 阅读需 1 分钟

## [StructRAG (ICLR 2025)：选择正确的文档结构，性能领先 GraphRAG 28 分](https://beancount.io/zh/bean-labs/research-logs/2026/06/01/structrag-inference-time-hybrid-information-structurization)

StructRAG 将每个查询路由到表格、图、目录、算法或分块结构，比 GraphRAG 高 28 个点，速度还快 22 倍。

Mike Thrift

ai llm machine-learning

2026年5月31日 阅读需 1 分钟

## [单代理：在相同预算下，多跳任务上等于多智能体系统](https://beancount.io/zh/bean-labs/research-logs/2026/05/31/single-agent-outperforms-multi-agent-equal-token-budget)

在相同的思考预算下，单代理LLM在多跳推理上等同于或超越多智能体系统——更倾向于简单的金融代理设计。

Mike Thrift

ai llm machine-learning

2026年5月9日 阅读需 2 分钟

## [Self-RAG: 大语言模型的自适应检索与自我评判](https://beancount.io/zh/bean-labs/research-logs/2026/05/09/self-rag-learning-to-retrieve-generate-critique-self-reflection)

Self-RAG 训练 LLM 决定何时检索并自我评分，在 PopQA 上达到 55.8%，FactScore 达 80.2——在五项基准上超越 ChatGPT。

Mike Thrift

ai machine-learning llm

2026年5月6日 阅读需 1 分钟

## [AgentBench：评估作为智能体的 LLM —— 对金融 AI 可靠性的启示](https://beancount.io/zh/bean-labs/research-logs/2026/05/06/agentbench-evaluating-llms-as-agents)

AgentBench 中 GPT-4 得分为 4.01，而最佳开源 LLM 仅为 0.96。这些失败正是让 Beancount 写回代理在真实账本上崩溃的原因。

Mike Thrift

ai llm machine-learning

2026年5月2日 阅读需 1 分钟

## [MemGPT：92.5%的多会话召回率对比32.1%的基线](https://beancount.io/zh/bean-labs/research-logs/2026/05/02/memgpt-towards-llms-as-operating-systems)

MemGPT的类操作系统内存层级将GPT-4多会话聊天准确率提升至92.5%，而固定上下文仅为32.1%——这是多年账本代理所必需的。

Mike Thrift

ai llm machine-learning

[免费开始→](https://beancount.io/sign-up/?next=%2Fledger%2F) [文档](https://beancount.io/zh/docs)

## Where to look next

- [Sitemap](https://beancount.io/sitemap.xml) - all pages with hreflang alternates
- [LLMs index](https://beancount.io/llms.txt) - curated links for AI agents (also /llms-full.txt for full docs)
- [Documentation](https://beancount.io/docs) - every doc is also available as text/markdown via .md suffix or Accept negotiation
- [REST API reference](https://beancount.io/docs/api-reference) - interactive endpoints, schemas, authentication, and code samples
- [OpenAPI spec](https://beancount.io/openapi.json) - OpenAPI 3.1 spec for this website's public content endpoints; the product contract for ledger operations is at https://beancount.io/api-gateway/v1/openapi.json
- [GraphQL](https://beancount.io/graphql) - public, read-only content API over the blog and research logs (no credentials, no ledger data): 12 query fields over 23 types
- [MCP server](https://beancount.io/mcp) - Model Context Protocol at https://beancount.io/api-gateway/mcp
