NeurIPS 2024のSpotlight論文が、OneFitsAll、Time-LLM、CALFという3つのLLMベースの時系列予測手法をアブレーション解析した結果、言語モデルを取り除くことで多くの場合精度が向上し、学習速度が最大1,383倍高速化することが判明しました。Beancountの残高予測などの金融AIアプリケーションでは、転用されたLLMよりも軽量な専用モデルが一貫して優れた結果を出しています。
AuditCopilotは、オープンソースのLLM（Mistral-8B、Gemma、Llama-3.1）を企業の仕訳不正検知に適用し、誤検知を942件から12件に削減しました。しかし、アブレーション研究により、LLMは独立した異常検知器としてではなく、主にIsolation Forestスコアの上層にある統合レイヤーとして機能していることが明らかになりました。
TAT-LLMは、財務表とテキストのQAベンチマークにおいてLoRAを用いてLLaMA 2 7Bを微調整し、推論を決定論的な「抽出・推論・実行」のステップに分解することで、FinQAで64.60%のEM（厳 密一致）を達成し、算術エラーを排除してGPT-4の63.91%を上回りました。
70億パラメータのLLMを用いたRAGと教師なしファインチューニングの実証的な比較により、RAGはカットオフ後の事実に対して0.875以上の精度を達成する一方、ファインチューニングは0.504で停滞することが示されました。これはBeancountエージェントの設計や、頻繁な知識更新を必要とするシステムに直接的な影響を与えます。
IRCoTは、BM25検索と思考の連鎖（CoT）推論ループの各ステップをインターリーブさせることで、HotpotQAにおいて1ステップのRAGを上回る+11.3の検索リコールと+7.1のF1スコアを達成しました。また、適切な検索戦略があれば、3BモデルがGPT-3 175Bを凌駕できることを示しています。
FLARE（EMNLP 2023）は、トークン確率の確信度しきい値を使用して生成の途中で検索をトリガーすることにより、標準的なRAGを改善します。2WikiMultihopQAにおいて、単一検索の39.4に対し51.0 EMに達しますが、指示調整済みチャットモデルにおけるキャリブレーションの失敗が、本番環境の金融エージェントとしての信頼性を制限しています。
LewisらによるNeurIPS 2020の論文は、2,100万件のWikipediaパッセージに対するFAISSインデックス検索器とBART-large生成器を組み合わせたハイブリッドRAGアーキテクチャを導入しました。Natural Questionsで44.5 EMを達成し、現在の多くのプロダクションAIシステムの基盤となっているパラメトリック/非パラメトリックの分離を確立しました。このレビューでは、RAG-SequenceとRAG-Tokenのトレードオフ、検索崩壊（retrieval collapse）の失敗モード、そして追記型のBeancount元帳に基づいて構築された金融AIにおけるインデックスの陳腐化の意味について解説します。
MultiHiertt (ACL 2022) は、1文書あたり平均3.89個の階層構造テーブルを含む実際の財務報告書から10,440組のQAペアを導入しました。最新モデルのF1スコアは人間の87%に対し38%に留まり、複数テーブルにまたがる質問では15ポイント低下します。これは財務AIが克服すべき検索精度のギャップを定量化しています。
ConvFinQA (EMNLP 2022)は、FinQAをS&P 500の決算報告書に関するマルチターン対話へと拡張しました。その結果、最高精度の微調整済みモデルの実行精度は68.9%（人間の専門家は89.4%）であり、異なる財務トピック間で数値的な文脈を維持する必要があるハイブリッド・マルチアスペクト対話では52.4%まで低下することが明らかになりました。
TAT-QAは、表とテキストが混在する財務報告書のコンテキストに基づいた16,552問のベンチマークです。財務AIにおける核心的なボトルネックは、計算能力ではなく「根拠の特定（グラウンディング）」であることを示しました。2024年までに、微調整された7B LLMはF1スコア83%に達し、人間の上限である91%との差を大幅に縮めています。
© 2019 - 2026 Beancount.io
