# 数据科学

应用于财务数据集和会计工作流程的数据科学方法

40 篇博文 [查看所有标签](https://beancount.io/zh/bean-labs/research-logs/tags) [返回所有帖子](https://beancount.io/zh/bean-labs/research-logs)

2026年7月12日 阅读需 1 分钟

## [FinRAGBench-V：金融领域带视觉引用的多模态 RAG](https://beancount.io/zh/bean-labs/research-logs/2026/07/12/finragbench-v-multimodal-rag-visual-citation-financial-domain)

FinRAGBench-V发现，顶级模型在金融页面上仅达到20–61%的块级引用召回率。多模态检索比纯文本高出近50个百分点。

Mike Thrift

ai llm machine-learning

2026年7月10日 阅读需 1 分钟

## [WildToolBench：为何在真实世界工具调用中没有 LLM 的会话准确率能超过 15%](https://beancount.io/zh/bean-labs/research-logs/2026/07/10/wildtoolbench-benchmarking-llm-tool-use-in-the-wild)

WildToolBench发现，在1,024个真实用户任务上，没有LLM的会话准确率超过15%，隐藏意图和指令转换是最尖锐的失败模式。

Mike Thrift

ai llm automation

2026年7月9日 阅读需 1 分钟

## [LLM 置信度与校准：研究现状深度综述](https://beancount.io/zh/bean-labs/research-logs/2026/07/09/confidence-estimation-calibration-llms-survey)

GPT-4语言化置信度的AUROC仅为约62.7%，勉强高于随机。不确定性感知的金融智能体需要比这更好的校准。

Mike Thrift

llm ai machine-learning

2026年7月5日 阅读需 1 分钟

## [FinToolBench：评估LLM代理在真实金融工具使用中的表现](https://beancount.io/zh/bean-labs/research-logs/2026/07/05/fintoolbench-evaluating-llm-agents-real-world-financial-tool-use)

FinToolBench发现，所有受测LLM的意图不匹配率均超过50%，因此激进的工具调用并不意味着在金融任务上有更好的答案。

Mike Thrift

ai llm automation

2026年7月4日 阅读需 2 分钟

## [OmniEval：金融领域全方位 RAG 评估基准](https://beancount.io/zh/bean-labs/research-logs/2026/07/04/omnieval-omnidirectional-automatic-rag-evaluation-financial-domain)

OmniEval 给最佳 RAG 系统在 5 类金融任务上的数值准确率评分为 36%，因此账本智能体在写入分录前需要验证。

Mike Thrift

ai machine-learning llm

2026年7月3日 阅读需 1 分钟

## [LLM 异常检测综述 (NAACL 2025)：强大的分类体系，缺失的表格数据覆盖](https://beancount.io/zh/bean-labs/research-logs/2026/07/03/llm-anomaly-ood-detection-survey)

NAACL 2025的分类法依然成立，但表格覆盖缺失。金融AI团队必须自行适配视觉模型方法。

Mike Thrift

ai llm machine-learning

2026年7月2日 阅读需 2 分钟

## [发现于中：通过校准位置注意力偏差提升长上下文 RAG](https://beancount.io/zh/bean-labs/research-logs/2026/07/02/found-in-the-middle-calibrating-positional-attention-bias)

当证据位于上下文中部时，从LLM注意力权重中减去位置偏差可恢复高达15个百分点的RAG准确率，有助于金融智能体流水线。

Mike Thrift

ai llm machine-learning

2026年6月29日 阅读需 1 分钟

## [Fin-RATE：大语言模型在跨周期和跨实体财务分析中的失败表现](https://beancount.io/zh/bean-labs/research-logs/2026/06/29/fin-rate-real-world-financial-analytics-tracking-evaluation-benchmark)

Fin-RATE 显示 LLM 在纵向追踪上的准确率骤降 18.60%，真正的瓶颈是检索流程，而非模型本身。

Mike Thrift

llm ai machine-learning

2026年6月28日 阅读需 2 分钟

## [FinDER：真实分析师查询揭示金融 RAG 中 74% 的召回率差距](https://beancount.io/zh/bean-labs/research-logs/2026/06/28/finder-financial-dataset-rag-evaluation)

FinDER的5,703个真实分析师查询显示，顶级RAG仅召回10-K证据的25.95%。应先规范化缩写，再更换嵌入模型。

Mike Thrift

ai llm machine-learning

2026年6月27日 阅读需 2 分钟

## [迷失在中间：大语言模型中的位置偏差及其对金融 AI 的影响](https://beancount.io/zh/bean-labs/research-logs/2026/06/27/lost-in-the-middle-language-models-long-contexts)

当答案位于上下文中段时，LLM 得分最多会低 20 分，因此金融 RAG 流程应把最佳段落放在最前或最后。

Mike Thrift

llm ai machine-learning

2026年6月26日 阅读需 2 分钟

## [AD-LLM 基准测试：GPT-4o 在文本异常检测中零样本 AUROC 达到 0.93+](https://beancount.io/zh/bean-labs/research-logs/2026/06/26/ad-llm-benchmarking-llms-anomaly-detection)

AD-LLM 发现 GPT-4o 在文本异常检测的零样本任务上达到 0.93–0.99 AUROC，但 LLM 模型选择对金融审计 AI 而言仍不可靠。

Mike Thrift

llm ai machine-learning

2026年6月25日 阅读需 1 分钟

## [CausalTAD：用于大语言模型表格异常检测的因果列排序](https://beancount.io/zh/bean-labs/research-logs/2026/06/25/causaltad-causal-knowledge-llm-tabular-anomaly-detection)

CausalTAD 在 LLM 序列化前按因果依赖关系重排表格列，使平均 AUC-ROC 从 AnoLLM 的 0.803 提升到 0.834。

Mike Thrift

llm ai machine-learning

[免费开始→](https://beancount.io/sign-up/?next=%2Fledger%2F) [文档](https://beancount.io/zh/docs)

## Where to look next

- [Sitemap](https://beancount.io/sitemap.xml) - all pages with hreflang alternates
- [LLMs index](https://beancount.io/llms.txt) - curated links for AI agents (also /llms-full.txt for full docs)
- [Documentation](https://beancount.io/docs) - every doc is also available as text/markdown via .md suffix or Accept negotiation
- [REST API reference](https://beancount.io/docs/api-reference) - interactive endpoints, schemas, authentication, and code samples
- [OpenAPI spec](https://beancount.io/openapi.json) - OpenAPI 3.1 spec for this website's public content endpoints; the product contract for ledger operations is at https://beancount.io/api-gateway/v1/openapi.json
- [GraphQL](https://beancount.io/graphql) - public, read-only content API over the blog and research logs (no credentials, no ledger data): 12 query fields over 23 types
- [MCP server](https://beancount.io/mcp) - Model Context Protocol at https://beancount.io/api-gateway/mcp
