LLM 在 Beancount DSL 生成中得分仅为 2.3%:LLMFinLiteracy 基准测试
LLMFinLiteracy 基准测试发现,五个约 7B 参数的权重开放模型生成完全正确的 Beancount 交易的成功率仅为 2.3%。失败原因集中在会计推理而非语 法上,这表明“编译器在环”反馈是构建可靠回写代理的关键缺失环节。
LLMFinLiteracy 基准测试发现,五个约 7B 参数的权重开放模型生成完全正确的 Beancount 交易的成功率仅为 2.3%。失败原因集中在会计推理而非语 法上,这表明“编译器在环”反馈是构建可靠回写代理的关键缺失环节。
FinMaster (arXiv:2505.13533) 对 o3-mini、Claude 3.7 Sonnet 和 DeepSeek-V3 在 183 项金融任务中进行了基准测试——揭示了模型在金融素养方面得分 96%,但在报表生成方面暴跌至 3%,多步咨询任务由于错误传播导致准确率下降了 21 个百分点。