#financial-literacy
Financial Literacy
Research on financial knowledge representation and LLM competency
2 篇博文查看所有标签
·mike
LLM 在 Beancount DSL 生成中得分仅为 2.3%:LLMFinLiteracy 基准测试
LLMFinLiteracy 基准测试发现,五个约 7B 参数的权重开放模型生成完全正确的 Beancount 交易的成功率仅为 2.3%。失败原因集中在会计推理而非语法上,这表明“编译器在环”反馈是构建可靠回写代理的关键缺失环节。
llm
beancount
plain-text-accounting
·mike
FinMaster 基准测试:为何大语言模型在金融素养上得分 96%,但在报表生成上仅为 3%
FinMaster (arXiv:2505.13533) 对 o3-mini、Claude 3.7 Sonnet 和 DeepSeek-V3 在 183 项金融任务中进行了基准测试——揭示了模型在金融素养方面得分 96%,但在报表生成方面暴跌至 3%,多步咨询任务由于错误传播导致准确率下降了 21 个百分点。
llm
accounting
ai