FinBen: 36の財務タスクにおけるLLMのベンチマーク — 会計AIへの示唆

FinBenは、これまでにない包括的な財務タスクにおけるLLMの公開評価として、NeurIPS 2024で発表されました。Beancount帳簿上で自律型エージェントを設計する前に、エージェントが実行すべき財務推論タスクにおいて、フロンティアモデルが実際にどの程度のレベルにあるのかを現実的に把握したいと考え、精読しました。

論文について

Qianqian Xie氏ら34名の共著者によるFinBenは、情報抽出、テキスト分析、質問応答（QA）、テキスト生成、リスク管理、予測、意思決定の7つの次元に整理された24の財務タスクにわたる36のデータセットをカバーするオープンソースのベンチマークです。GPT-4、ChatGPT、Gemini、およびいくつかの指示調整済みオープンソースモデルを含む15の代表的なLLMを評価し、要約、QA、株取引評価のための3つの新しいデータセットを導入しています。

主な動機は、FLUEやFLAREといった以前の財務ベンチマークは財務NLPの一部しか捉えておらず、パイプライン全体を網羅できていなかったことにあります。FinBenは、スタック全体を1か所でカバーする初めての試みであり、NeurIPS 2024のDatasets and Benchmarks Trackに採択されたことで、手法の妥当性についても一定の評価を得ています。

主要なポイント

• 固有表現抽出（NER）: GPT-4はFINER-ORDデータセットで0.83のEntity F1スコアを記録しました。これは強力ですが、ベンチマークの中では最も容易なカテゴリです。
• FinQA（数値推論）: 財務報告書に関する数値推論（FinQA）において、GPT-4は0.63の完全一致（Exact Match）に達しました。対話型のConvFinQAでは0.76を記録しています。これらは立派な数値ですが、解決済みとは程遠い状態です。
• ドメイン微調整: 特定ドメインで微調整されたFinMA 7Bは、FPBの感情分析で0.88のF1スコアを達成し、この限定的なタスクにおいてGPT-4を上回りました。これは、明確に定義された分類タスクにおいては、微調整が依然として有効であることを裏付けています。
• 株価動向予測: これは最も明白な失敗パターンです。GPT-4でさえ精度は約0.54で、ランダムな推測をわずかに上回る程度でした。著者らはこれを「予測に取り組むLLMの能力における顕著な欠陥」と呼んでいます。
• 取引タスク: 取引タスクにおいて、GPT-4はシャープレシオ1.51を達成しました（Geminiは1.03）。評価期間中の累積収益率は28.19%で、バイ・アンド・ホールド（-4.00%）を上回りましたが、これは短期間のバックテストであり、通常のリスクを考慮する必要があります。
• 能力の崩壊: すべてのモデルが抽出型要約でスコア0となり、GPT-4の関係抽出におけるF1スコアは0.01でした。テキスト分類やオープンエンドの生成といった得意分野を外れると、能力が急激に低下します。

評価できる点と懸念点

このベンチマークは、調査ツールとして非常に有用です。タスクの範囲はこれまでのものより広く、オープンソース化されているため、他者が一から始めることなく評価インフラを構築できます。

しかし、FinBenが実際に何を物語っているのかについては懸念があります。取引の評価期間が短く市場が限定的です。米国株の数ヶ月間で算出されたシャープレシオは、安定したシグナルではありません。抽出型要約のスコアがゼロであることは何かが破綻していることを示していますが、論文ではその原因（プロンプト形式の問題、トークナイズの影響、あるいは真の推論の失敗か）を診断していません。この区別は、問題を解決しようとする者にとって重要です。

また、ベンチマークはほぼ完全に英語と米国市場に集中しています。これは単なる汎用性の問題ではなく、例えばドイツや中国の財務書類、あるいは異なる会計基準を持つ法域でのパフォーマンスについてはほとんど何もわからないことを意味します。世界中のユーザーに提供されるBeancount.ioのようなプロジェクトにとって、これは大きなギャップです。

指示調整済みモデルの話も、当初の見え方より複雑です。微調整は感情分析（FinMA 7Bの0.88）には役立ちますが、「QAのような複雑なタスクではわずかな改善しか提供しません」。論文はこの結果を報告していますが、メカニズム的な説明はありません。ベースモデルの推論能力に壊滅的な忘却（catastrophic forgetting）が起きているのでしょうか？ それとも微調整データの分布が狭すぎるのでしょうか？ ベンチマークの表面的な結果だけでは、この問いに答えられません。

なぜこれが財務AIにとって重要なのか

FinBenの結果は、Bean Labsに以前よりも明確なベースラインを提供します。Beancount帳簿エージェントに最も関連性の高いタスク — 構造化された財務報告書に対する数値QA（FinQA: 0.63）、取引明細からの情報抽出（NER: 0.83）、異常検知や不正分類（大きなばらつきがあるリスク管理タスク） — はすべて網羅されており、どれも解決されてはいません。

予測能力の低さ（株価動向で0.54）は、私たちの限定的なユースケースにとってはむしろ安心材料です。私たちはモデルに市場予測を求めているのではなく、分類、抽出、そして構造化されたエントリの書き戻しを求めているからです。これらのタスクは複雑さに応じて0.63から0.83の範囲にあり、実用的な土台となります。ただし、「実用的」であっても「人間のレビューなしで本番環境で安全に使える」わけではありません。

構造化抽出とオープンエンド推論のギャップは、書き戻しの安全性の問題に直結します。モデルがエンティティを確実に抽出できても（F1 0.83）、その数値的な意味を推論すること（FinQA 0.63）や、正しい構造化出力を生成すること（関係抽出 0.01）に苦労する場合、それらのステップを分離し、ステップ間に明示的な検証を挟むアーキテクチャが最も安全です。

次に読むべきもの

• FinMaster (arXiv:2505.13533) — 仕訳や照合を含むエンドツーエンドの会計ワークフローを明示的にベンチマークしています。FinBenのどのタスクよりもBeancountのタスクに近いです。
• "Table Meets LLM: Can Large Language Models Understand Structured Table Data?" (arXiv:2305.13062, WSDM 2024) — Beancountの帳簿は本質的に構造化されたテーブルです。この論文は、帳簿読み取りエージェントの基盤となる構造理解能力をベンチマークしています。
• ReAct: Synergizing Reasoning and Acting in Language Models (arXiv:2210.03629) — 推論と行動を交互に行うフレームワークは、多くの書き戻しエージェントが使用するものです。FinBenが推論の限界（フロア）を示した今、その失敗パターンを理解することはさらに重要になっています。