
MultiHiertt:跨多层级财务报表的数值推理基准测试
MultiHiertt 显示模型在 10,440 个财务问答对上 F1 为 38%,人类为 87%,跨表格问题上再降 15 个点。
#financial-statements

MultiHiertt 显示模型在 10,440 个财务问答对上 F1 为 38%,人类为 87%,跨表格问题上再降 15 个点。

FinanceBench 用 16 种 AI 方案测试了 10,231 个真实 SEC 文件问题:共享向量存储 RAG 只答对 19%,可见检索并非瓶颈。

FinMaster 基准:顶级大模型在金融素养上达 96%,但报表生成仅 3%。错误传播让咨询任务损失 21 个点。