FinMasterベンチマーク：LLMが金融リテラシーで96%を記録しながら財務諸表作成で3%に沈む理由

FinMasterの論文は、ReActの直後に私のリーディングリストに入ってきました。もしReActが、エージェントが「いつ」行動すべきかを判断する方法についてのものなら、FinMasterはより困難な問いを投げかけています。それは、今日最高のLLMが、それらのエージェントが実行する必要のある実際の会計ワークフローにおいて、どの程度のパフォーマンスを発揮するかということです。2025年5月に提出されたこの論文は、金融リテラシー、会計、監査、コンサルティングというパイプライン全体を一貫した評価フレームワークでカバーした、私がこれまでに見た中で最初のベンチマークです。

論文の概要

Jiang氏らは、LLMの金融ワークフローを評価するための3部構成のベンチマーク、FinMaster (arXiv:2505.13533)を発表しました。第1のコンポーネントであるFinSimは、5種類の企業をシミュレートし、実データのプライバシー懸念なしにテストシナリオを構築するための、正しい仕訳と意図的に誤った仕訳の両方を含む元帳トランザクションを生成する合成データジェネレーターです。第2のFinSuiteは、金融リテラシー、会計、監査、コンサルティングにわたる難易度の異なる183のタスクをまとめたものです。第3のFinEvalは、統一されたスコアリングインターフェースを提供します。著者らは、FinMasterが無限かつプライバシーが守られたデータ生成を伴う、金融パイプライン全体をカバーする最初のベンチマークであると主張しています。これは、FinBenやFinanceBenchのような静的な先行指標と比較しても妥当な主張です。

主なアイデア

• 複雑さにおける絶壁: モデルは金融リテラシー（貸借対照表や損益計算書の読み取り）では平均約96%を記録しますが、基本的な会計計算では40〜60%に低下し、複数ステップの会計タスクでは20%を下回り、財務諸表の作成に至ってはわずか3%になります。リテラシーと計算は同じスキルではありません。
• 深刻な誤差伝播: コンサルティングタスクにおいて、単一指標の計算は平均58%の精度でしたが、それらの計算を連鎖させる複数指標のシナリオでは37%に低下しました。小さなエラーが重なることで21ポイントも下落しています。
• トップ層の激戦: o3-mini (平均0.73)、Claude-3.7-Sonnet (0.72)、DeepSeek-V3-2503 (0.70)が僅差で並んでおり、このベンチマークが簡単ではないものの、まだ限界（シーリング）には達していないことを示唆しています。
• 会計は困難な領域: 評価された全7モデルにおいて、会計のスコアはわずか0.04から0.35の範囲にとどまり、他のどのカテゴリーよりもはるかに低い結果となりました。3%という諸表作成の精度は、LLMがまだトランザクション・ジャーナル（仕訳帳）を一貫性のある財務諸表へと確実に合成できないことを意味しています。
• 推論モデルの限定的な寄与: o3-miniが全体をリードしていますが、決定的な差ではありません。思考の連鎖（Chain-of-thought）型の推論は有効ですが、リテラシーと諸表作成の間にある93ポイントの差を埋めることはできません。
• FinSimによる大規模なストレステスト: 従来のベンチマークは、時間の経過とともに汚染（学習データへの混入）の影響を受けやすい静的で固定されたデータセットを使用していました。FinMasterはオンデマンドで新しいシナリオを生成できるため、モデルが汎化しているのか、単に暗記しているのかを研究する上で重要です。

評価できる点、できない点

複数ステップの金融推論が急激に低下するという核心的な結果は信頼性が高く、LOG-001 (FinBen)やLOG-002 (Toolformer)で見られるパターンとも一致しています。私は誤差伝播に関する知見を支持します。それは構造的に、あらゆる算術連鎖で起こることと同様だからです。FinSimジェネレーターは、真のメソッド論的貢献と言えます。新鮮なシナリオを生成できるベンチマークは、静的な金融データセットを悩ませる暗記問題に耐性があります。

一方で納得しがたい点もあります。包括的な網羅性を主張するベンチマークとして183のタスクは少なすぎます。35の監査タスクでは、実際の誤謬分類が数百に及ぶような、金融監査という広大な領域を特徴づけることはできません。この論文は領域全体を12の基本的なエラータイプに集約しており、実際の監査結果の多様性を覆い隠してしまっています。

単一の総合リーダーボードスコアも、領域間の重要なパターンを隠してしまいます。監査とコンサルティングではモデルごとのプロファイルが大きく異なり、それらを平均化すると、引用はしやすいものの、具体的な対策に繋げにくい数字になってしまいます。

合成データの限界は諸刃の剣です。FinSimはクリーンで構造化された元帳データを生成します。実際の会計システムには、数十年にわたるレガシーなエンコーディングの選択、通貨の端数処理、期外調整など、シミュレーターでは捉えきれない要素が含まれています。合成データの諸表作成で3%というスコアは厳しいものですが、実際の企業の煩雑な帳簿で同じ測定を行えば、さらなる悪化が予想されます。また、この論文はテキストのみを対象としています。著者らはマルチモーダルの欠如を認めていますが、測定はしていません。実際の会計業務の多くは、スキャンされたPDFやスプレッドシートの中で行われています。

なぜこれが金融AIにとって重要なのか

これは、Bean Labsのアジェンダにとって、FinBen以来の最も直接的な関連性を持つ論文です。Beancountのユースケースは、本質的にFinMasterが評価している内容（トランザクションレベルの会計、複数ステップの計算、レポート生成）のサブセットです。諸表作成における3%という数字は、身の引き締まる思いがする結果です。適切に設計されたReActエージェントの足場があっても、トランザクション・ジャーナルから正しいBeancountの貸借対照表を合成する基礎モデルの能力は、特殊なファインチューニングや検索（RAG）の補助なしには信頼できないことを示しています。

誤差伝播の結果は、書き戻し（write-back）の安全性に直結します。コンサルティングタスクの連鎖において、ステップ1からステップ2で精度が21ポイント失われるのであれば、3ステップの照合（reconciliation）を行う自律的なBeancountエージェントは、各段階でエラーを蓄積させていることになります。これは、エージェントのタスクを可能な限り最小の原子的な操作に分解し、エンドツーエンドのLLM推論に頼るのではなく、中間結果を検証すべきであるという強力な論拠になります。

FinSimはまた、Bean Labsに具体的な方向性を示唆しています。Beancountに特化したトランザクション・シミュレーターは、元帳操作に関するモデルの評価やファインチューニングのためのラベル付きテストケースを生成できる可能性があります。アーキテクチャは既に存在しており、あとはドメインを移植するだけです。

次に読むべきもの

• Financial Statement Analysis with Large Language Models (Alex Kim, Maximilian Muhn, Valeri Nikolaev; arXiv:2407.17866) — GPT-4が財務諸表から利益の方向性を予測する能力をテストし、特化型MLモデルと同等の性能を達成したことを示しています。FinMasterの諸表作成に関する厳しい数字に対する有用な対抗データとなります。
• FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark (arXiv:2510.08886) — 複数ドキュメントの推論を伴う、より詳細な監査評価です。FinMasterの平均的な35タスクの監査カバレッジを補完します。
• AuditBench: A Benchmark for Large Language Models in Financial Statement Auditing (Springer 2025) — 合成されたトランザクションデータと実際の財務表を組み合わせ、エラー検出と説明をテストします。FinMasterの監査モジュールと直接比較可能な手法を用いています。