MultiHiertt: 多階層財務諸表における数値推論のベンチマーク
MultiHierttは、10,440の財務QAペアでモデルが38% F1に対し人間は87%であり、テーブル横断問題では15ポイント低下することを示す。
#financial-statements
#financial-statements
MultiHierttは、10,440の財務QAペアでモデルが38% F1に対し人間は87%であり、テーブル横断問題では15ポイント低下することを示す。
FinanceBenchは実際のSEC提出書類の10,231問で16のAI構成を検証：共有ベクターストアRAGは19%しか正解せず、検索がボトルネックではないことがわかる。
FinMasterベンチマーク：トップLLMは財務知識で96%に達するも、計算書生成ではわずか3%。誤り伝播がコンサルティングタスクで21ポイントの損失をもたらします。