Bean Labs Research Log

AILLMAutomationMachine LearningBeancountDecision-makingPlain-Text AccountingTrust

面向 LLM 智能体的不确定性感知委派：何时从小型模型切换到大型模型

ReDAct 默认运行小型模型，仅在 Token 级困惑度显示不确定性时才上报给昂贵的大型模型。在匹配或超过 GPT-5.2 准确率的同时，实现了 64% 的成本节省 —— 这一模式可直接应用于 Beancount 交易分类智能体。

AIOpen SourceAutomationLLMDevelopersBeancountPlain-Text AccountingMachine Learning

OpenHands：AI 软件代理开放平台及其对财务自动化的意义

OpenHands 是一个采用 MIT 许可证、基于 Docker 沙箱的代理平台，其中 CodeAct 在 SWE-Bench Lite 上达到了 26% 的成绩——这是一个发人深省的基准测试，它确立了 AI 代理如今能够可靠完成的任务范围，以及为什么首批富有成效的财务部署应当是严格限制范围的，而非完全自主的。

LLMAIMachine LearningAnalyticsFinancial ReportingData ScienceReconciliation

Fin-RATE：大语言模型在跨周期和跨实体财务分析中的失败表现

Fin-RATE 对 17 个大语言模型进行了基准测试，涵盖了来自 2,472 份 SEC 文件的 7,500 对专家精选的问答。研究揭示了在纵向追踪下准确率暴跌 18.60%，而金融专业模型 Fin-R1 在跨实体任务中的表现下降了 54 点——检索流程而非骨干模型才是核心瓶颈。

AILLMMachine LearningFinanceBeancountData ScienceFinancial Reporting

FinDER：真实分析师查询揭示金融 RAG 中 74% 的召回率差距

FinDER 针对标普 500 指数 10-K 文件，使用 5,703 个真实的对冲基金分析师查询对 RAG 进行基准测试；E5-Mistral 仅实现了 25.95% 的上下文召回率，而充满缩写的查询导致精确率下降了 8.2 个百分点——这证明了查询归一化而非更好的嵌入，才是修复金融 AI 流水线的首要方案。

LLMAIMachine LearningData ScienceFinanceTechnologyAnalytics

迷失在中间：大语言模型中的位置偏差及其对金融 AI 的影响

Liu 等人发表的 TACL 2024 论文表明，大语言模型在处理埋藏在长上下文中间的信息时，性能会下降多达 20 个百分点——这种 U 形性能退化影响了包括 Claude-1.3-100K 在内的所有受测模型——这对 RAG 流水线在金融和会计应用中应如何排列检索到的段落具有具体的指导意义。

LLMAIMachine LearningData ScienceFraud DetectionAnalyticsAnomaly Detection

AD-LLM 基准测试：GPT-4o 在文本异常检测中零样本 AUROC 达到 0.93+

AD-LLM 在五个 NLP 数据集上针对三种异常检测角色（零样本检测器、数据增强引擎和模型选择顾问）对 GPT-4o 和 Llama 3.1 8B 进行了基准测试；GPT-4o 的零样本 AUROC 达到了 0.93–0.99，但基于 LLM 的模型选择仍然不可靠，这对金融审计 AI 具有直接影响。