Fin-RATE：LLMは期間横断および企業横断の財務分析にいかに失敗するか
財務LLMベンチマークの軌道は拡大を続けており、Fin-RATEは、モデルに対して「本物のアナリストが行うこと」、つまり単一の提出書類内だけでなく、複数の期間にわたり、また同業他社と比較して企業を追跡することを求めたときに何が起こるかを示す、これまでで最も明確な例です。
論文の概要
2026年2月にイェール大学などのYidong Jiang氏、Junrong Chen氏らによって発表されたFin-RATEは、2020年から2025年にわたる43社、36業界の計2,472件のSEC提出書類から構築されたベンチマークを導入しています。このベンチマークは、専門家が厳選した7,500件のQAペアを、プロのアナリストのワークフローを反映した3つのタスクタイプに整理していま す：DR-QA（単一の提出書類内での詳細と推論）、EC-QA（共通のトピック下での2社間の企業横断比較）、LT-QA（報告期間を通じた同一企業の経時的トラッキング）。各タスクタイプには2,500の質問が含まれています。
評価対象は、GPT-4.1やGPT-5を含むクローズドソースモデル、DeepSeek-V3やLlama-3.3-70Bなどのオープンソース汎用モデル、そしてFin-R1、Fino1-14B、FinanceConnect-13B、TouchstoneGPT-7Bといった財務特化型モデルを含む計17のLLMです。スコアリングには、3人の独立した判定員（GPT-5、DeepSeek-V3.2、Qwen3-235B）が各回答の正誤と5つの分析次元を評価する、統一された「LLM-as-Judge」フレームワークが使用されています。
主な洞察
- タスクの複雑化に伴う性能の崩壊：全17モデルの平均で、単一ドキュメントのDR-QAから経時的なLT-QAでは精度が18.60%低下し、DR-QAから企業横断のEC-QAでは14.35%低下しました。
- ウェブ検索機能付きGPT-5がトップ：トップパフォーマーであるものの、3つのタスクタイプすべてにおいて最高精度はわずか43〜44%にとどまり、実務アナリストのワークフローを代替するには程遠い結果となりました。
- Fin-R1の劇的な下落：財務特化型の推論モデルであるFin-R1は、DR-QAでは57.48%に達したものの、EC-QAでは3.32%へと崩壊しました。この54ポイントの下落は、汎用モデルの劣化を遥かに上回るものです。
- RAG設定下でのボトルネック：ゴールドコンテキスト（正解の文脈を与えた場合）では最大57.48%の性能を発揮するのに対し、RAG設定下では全モデルの性能が27%を大きく下回りました。LLMそのものではなく、検索パイプラインが決定的なボトルネックとなっています。
- エラーの類型化：本論文では、ハルシネーションと矛盾、財務特有の数値・意味エラー、クエリ/コンテキストの理解エラー、検索レベルの失敗という4つのカテゴリーにわたる13種類のエラータクソノミーを導入しています。RAG下のEC-QAタスクにおけるエラーの75.44%は「証拠の欠如（Missing Evidence）」が占めています。
- 特化型モデルのハルシネーション：財務特化型モデルは、財務用語の扱いに長けている一方で、複雑なタスクにおいては汎用モデルよりも系統的に高いハルシネーション率を示す傾向があります。
評価できる点、懸念される点
3つの経路からなる構造は、実に見事に設計されています。これまでの多くの財務ベンチマーク（FinQA、TAT-QA、FinanceBenchなど）は、QAを単一ドキュメントのタスクとして扱ってきました。Fin-RATEは、企業横断の比較と経時的なトラッキングを第一級のタスクとして明示的にモデル化した最初の例の一つであり、その結果、現在のLLMが孤立した開示情報のQAは許容範囲内で処理できるものの、ドキュメント、エンティティ、あるいは期間をまたいで統合する必要 が生じた瞬間に崩壊するという根本的なギャップを露呈させました。
Fin-R1の崩壊は、この論文における最も衝撃的な発見であり、もっと注目されるべき点だと考えます。単一ドキュメントの抽出に優れた財務調整済みモデルが、皮肉にも「単一ドキュメント内での回答テンプレート」を学習してしまい、エンティティや期間を関連付ける推論戦略を学習できなかったことを示唆しています。これは、明示的な複数ドキュメント推論の監視なしに狭いドメインのファインチューニングを行うことへの具体的な警告です。モデルはおそらく「提出書類内の数値を見つける」という浅いパターンに過学習しており、「この数値を他社の別の提出書類にある同等の数値と比較する」という汎化パスを持っていないのでしょう。
一方で、注意すべき手法上の懸念もあります。GPT-5は評価対象のモデルであると同時に、回答をスコアリングする3人の判定員の一人でもあります。著者は個別の偏見を減らすために3人の判定員を使用しており、これは助けにはなりますが、最強の評価対象モデルと判定員が重複している点は懸念が残ります。論文では判定員間の高い一致率が報告されていますが、GPT-5の回答のうちどの程度をGPT-5自身がスコアリングしたのか、またGPT-5の自己評価スコアが他の2人の判定員と系統的に異なっていないかについては、別途定量化されていません。自己評価の偏りがあれば、トップモデルの結果が水増しされている可能性があります。
また、43社というサンプル数はやや少ないと言わざるを得ません。提出書類の種類（10-K, 10-Q, 8-K, 6-K, DEF 14A, S/SCシリーズなど）は称賛に値するほど広範です が、すべてのタスクで同じ43社が登場します。事前学習でこれらの企業の開示情報を見ているモデルには定量化できない有利な条件があり、論文には汚染分析（contamination analysis）が含まれていません。
検索に関する発見は重要ですが、不完全です。検索に失敗するため、RAGの性能がゴールドコンテキストと比較して約30ポイント崩壊することを特定していますが、評価されているのは単一の検索設定のみです。検索の失敗を診断結果として扱うだけでなく、系統的に変化させるべきでした。Fin-RATEを用いて検索アーキテクチャを網羅的に調査する後続論文があれば、より実用的な知見となるでしょう。
なぜこれが財務AI（Finance AI）にとって重要なのか
Beancountの帳簿監査には、Fin-RATEが「壊れている」と明らかにした2つの能力がまさに必要です。それは、経時的トラッキング（この勘定科目は会計年度を通じてどのように推移したか？）と、エンティティ（企業）横断の比較（この子会社の貸借対照表は連結財務諸表と整合しているか？）です。時間的トラッキングにおける18.60%の精度低下という数字は、複数の報告期間にわたって推論を行うBeancountエージェントに期待すべき性能を調整するための具体的な指標となります。最先端モデルでも、理想的な文脈下での経時的SEC QAで43%しか正解できないのであれば、数年分の帳簿履歴をナビゲートするBeancountエージェントは、エンドツーエンドのLLM推論ではなく、明示的な検索、時間的なグラウンディング、そして人間へのエスカレーションを組み込んで設計されるべきです。
検索が支配的であるという発見は、システム設計の優先順位において最も重要です。ゴールドコンテキストの性能がRAGの性能のほぼ2倍であるならば、投資すべきはより有能なバックボーンLLMではなく、より優れたチャンキング、パッセージの選択、および検索手法です。これは、DocFinQAが長いSEC提出書類において発見したこと、すなわち「モデルの周囲にあるパイプラインこそがボトルネックである」という事実を反映しています。
Fin-R1への警告も、Beancountのユースケースに直接当てはまります。Beancount DSLの構文やトランザクションパターンに特化したファインチューニングを行えば、単純な仕訳生成は得意なモデルができるかもしれませんが、監査において有用な「複数口座、複数期間の照合」においては崩壊する可能性があります。複数ドキュメント推論のトレーニングを伴わない専門化は、Fin-RATEが測定した通りの脆さを抱えることになります。
次に読むべきもの
- Fin-R1 (arXiv:2503.16252) — どのような学習設定がこれほど脆いドキュメント横断性能を生んだのか、そして複数ドキュメント推論がそもそもスコープに入っていたのかを理解するために。
- FinTrace (arXiv:2604.10015) — 34の財務タスクカテゴリーにわたるLLMツール呼び出しの軌道レベルの評価。Fin-RATEの静的なQA視点を補完し、モデルが正しいツールを呼び出しつつも結果の推論に失敗する箇所をプロセスレベルで診断。
- OpenHands (arXiv:2407.16741) — TheAgentCompany評価の基盤となるオープンエージェントプラットフォーム。そのアーキテクチャを理解することで、どのベースラインエージェント機能が利用可能で、どのギャップがプラットフォームの制限ではなくタスクの難易度に起因するのかを明確にします。
