DocFinQA：完全なSEC提出書類における長文コンテキストの財務推論
DocFinQAは、既存のFinQAデータセットを採用し、各質問をその元となった完全なSEC提出書類と合わせて再提示する2024年のACL論文です。平均コンテキストは700語未満から123,000語へと拡大されています。私がこの論文を読んでいる理由は、本番環境のBeancountエージェントが直面するシナリオ、つまり、綺麗に抽出されたパッセージではなく、煩雑なドキュメント全体を扱うケースを直接テストしているからです。複数年にわたる元帳に対して長文コンテキストモデルを導入しようと考えている人にとって、その結果は身の引き締まるものです。
論文の概要
DocFinQA: A Long-Context Financial Reasoning Dataset — Varshini Reddy, Rik Koncel-Kedziorski, Viet Dac Lai, Michael Krumdick, Charles Lovering, and Chris Tanner (ACL 2024, Short Papers) は、FinQAからの8,281のQAペアのうち、7,621ペアを各質問の元となった完全なSEC年次報告書で補強しています。その結果、1,236のユニークな提出書類が、トレーニング用5,798、開発用791、テスト用1,032のサンプルに分割されました。平均コンテキストは、約700語から123,453語へと175倍に膨れ上がっていま す。
質問セットは変更されていません。これらはPythonプログラムによる回答を必要とする、同じ多段階の数値推論の質問です。変わったのは、モデルが専門家によって精選された700語のパッセージではなく、提出書類全体を受け取るようになった点です。この研究では、従来の検索パイプライン（チャンク化、ランク付け、回答）と、ドキュメント全体をエンドツーエンドで処理しようとする新興の長文コンテキストLLMという2つのアプローチを比較しています。
主要なアイデア
- テストセットにおける検索パイプラインの最高精度：GPT-3.5で42.64%。オープンソースモデルは大きく遅れをとっており、Mistral/7Bが24.97%、CodeLlama/13Bが21.01%、MPT/30Bが18.07%です。
- 最高の検索エンコーダー（微調整されたColBERT）は、HR@1 = 0.35、HR@3 = 0.55を達成しました。これは、3つのパッセージを検索した場合でも、半数近い確率でモデルのコンテキストに正しいチャンクが含まれていないことを意味します。
- 長文コンテキストGPT-4（400件のサブサンプルで評価）：短いドキュメ ント（10万トークン以下）では46.5%でしたが、最長のドキュメント（10万トークン超）で「要約してから回答（Summarize-then-Answer）」戦略をとった場合は23.0%でした。GPT-4は、短いドキュメントに比べて長いドキュメントで約2倍の誤りを犯しています。
- 金融特化のPDFパース（Kensho Extract）は、汎用的なHTMLパース（BeautifulSoup）を大幅に上回りました。特に表の保持において顕著であり、SEC提出書類に基づいて構築されるあらゆるパイプラインにとって実用的な発見です。
- 関連するチャンクの大部分はドキュメントの250番目以降のポジションに存在します。つまり、切り捨てベースの戦略では、モデルが目にする前に正しい証拠を黙って破棄してしまうことになります。
何が有効で、何が不足しているか
核心となる実証的な貢献は堅実です。このデータセットは、明確に定義された手法（ゴールデンチャンクを特定するための4-gram類似度スコアリング、2,750文字のチャンクと20%のオーバーラップ）を用いたFinQAの忠実な拡張であり、ドキュメントの長さとともにパフォーマンスが著しく低下するという発見は、検索と長文コンテキストの両方のアプローチで一貫しています。短いドキュメントと比較して、長いドキュメントでのGPT-4の誤りがほぼ倍増している点は衝撃的であり、見過ごすことはできません。
この論文が十 分に扱っていないのは、2024年当時の最新の長文コンテキストモデルの限界です。長文コンテキストの評価はコストの制約により400サンプルにとどまっており、Gemini 1.5 Pro（100万トークンのウィンドウ）やClaude 3（20万トークン）はテストされていません。チャンク化のハイパーパラメータは妥当ですが、系統的にアブレーション（除去試験）されているわけではなく、また「要約してから回答」というマルチコール戦略は、おそらく利用可能な最善の手法ではありません。IRCoTの交互検索やStructRAGの構造化統合などは、長文ドキュメントにおけるマルチホップな証拠集約において、より優れたアプローチが存在することを示唆しています。
微調整されたColBERTがHR@3 = 0.55にとどまっていることは、より深刻な問題を明らかにしています。長い財務ドキュメントにわたる検索自体が未解決なのです。たとえ完璧な生成モデルがあったとしても、クエリのほぼ半分は間違ったパッセージから構築された回答を受け取ることになります。論文はこの点を拘束条件として浮き彫りにしていますが、検索が理想的（オラクル）になった場合にどれほど精度が回復するかを定量化するまでには至っていません。
なぜこれが金融AIにとって重要なのか
数年にわたるBeancountの元帳は、デフォルトでは平均123,000語にはなりませんが、詳細なメモを含 む10年分の取引であれば容易にその規模に達します。また、完全な年次報告書を扱う金融エージェントは、まさにこの状況に直面します。「適切な700語を厳選した」（FinQA）状態から「完全な10-Qを渡す」（DocFinQA）状態への凝縮は、おもちゃのベンチマークと本番環境の現実との乖離を表しています。DocFinQAはその乖離を測定可能にしました。
短いドキュメントから長いドキュメントにかけてGPT-4の精度が50%近く低下している事実は、単に「より大きなコンテキストウィンドウを使用する」という対応策を否定するものです。検索は依然として必要ですが、HR@3での信頼性はわずか55%です。1年前の財務諸表注記に埋もれた減価償却スケジュールを特定する必要があるBeancountの書き戻しエージェントにとって、どちらのアーキテクチャも、仕訳を入力する前に期待されるほどの信頼性を提供しません。この論文を率直に読み解くならば、この分野が真に必要としているのは、より大きなコンテキストウィンドウではなく、より優れた検索、より優れた証拠集約、そしてサイレントな失敗に対する明示的な評価です。
次に読むべきもの
- "Lost in the Middle: How Language Models Use Long Contexts" — Liu et al., 2023, arXiv:2307.03172。DocFinQAが測定した位置による精度の崩壊について、現在では定説となっているU字型のパフォーマンス曲線を用いて、メカニズム的な説明を提供しています。
- FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation — arXiv:2504.15800, ICLR 2025 Workshop。現実的なプロの財務検索クエリ（標準的なリトリーバーが見落とす略語やアクロニムを含む）を中心に設計された、5,703の「クエリ・証拠・回答」のトリプレットを持つ2025年の後継ベンチマークです。
- Fin-RATE: A Real-world Financial Analytics and Tracking Evaluation Benchmark for LLMs on SEC Filings — arXiv:2602.07294。単一ドキュメントのQAを超えて、時間の経過に伴う追跡タスクを追加した、より新しいSEC提出書類ベンチマークです。これは、Beancountの監査エージェントが実際に必要とするものに近い内容です。
