TAT-QA：財務年次報告書の推論のための表・テキスト・ハイブリッド型QAベンチマーク
TAT-QAの表とテキストのハイブリッド問題は、算術ではなく根拠づけが金融AIのボトルネックであることを示した。2024年までにファインチューニングされた7B LLMが83% F1に達した。
Mike Thrift
マーケティングマネージャー
FinQA：財務レポートにおけるAIの数値推論を測定するベンチマーク
FinQAは、ニューラルモデルが財務報告書の計算で61%のスコアに対し人間の専門家は91%、3ステップ以上のプログラムでは22%まで崩壊することを明らかにした。
FinanceBench：ベクトルストアRAGが実際の財務書類で失敗する理由
FinanceBenchは実際のSEC提出書類の10,231問で16のAI構成を検証：共有ベクターストアRAGは19%しか正解せず、検索がボトルネックではないことがわかる。
DSPy: 脆弱なプロンプトエンジニアリングをコンパイル済みのLLMパイプラインで置き換える
DSPyのコンパイラはLlama2-13bをGSM8Kで9.4%から46.9%に引き上げ、財務AIパイプラインを保守可能な宣言的LLM呼び出しへと導きます。
LATS: 言語エージェント木探索 — 推論・行動・計画をひとつのフレームワークに統合
LATSはReAct、Tree of Thoughts、Reflexionを1つのMCTSフレームワークに統合し、GPT-4でHumanEvalのpass@1を92.7%達成する。
Self-RAG：LLMのための適応的リトリーバルと自己批判
Self-RAGはいつ検索するか、結果を自己採点するかをLLMに学習させ、PopQAで55.8%、FactScoreで80.2を達成し、5つのベンチマークでChatGPTを上回ります。
Voyager: スキルライブラリがアイテム発見を3.3倍に拡大
Voyagerの永続的なコードスキルライブラリは、微調整なしで既存のSOTAよりも3.3倍多くのMinecraftアイテムを発見——再利用パターンの台帳エージェントが必要とするもの。
HippoRAG: 2Wiki で 89.1% の Recall@5、ColBERT は 68.2%
HippoRAG の OpenIE+PageRank メモリは、2WikiMultiHopQA で 89.1% の Recall@5 を達成し、ColBERTv2 の 68.2% を上回る — 複数年にわたる台帳のためのパス認識型検索。
AgentBench: LLMをエージェントとして評価する — 金融AIの信頼性への教訓
AgentBenchはGPT-4が4.01、最高のオープンソースLLMが0.96と採点。これらの失敗は、稼働中の台帳でBeancount書き戻しエージェントを壊すものそのものです。
BloombergGPT と金融におけるドメイン特化型 LLM の限界
BloombergGPTは569Bの金融トークンで訓練されましたが、金融事前訓練なしのGPT-4が同等でした。会計エージェントにはモデル内部よりツール利用が有効です。
AutoGen: 金融AIのためのマルチエージェント対話フレームワーク
AutoGenの2エージェント会話はMATH精度を55%から69%に引き上げ、SafeGuardエージェントは安全でないコードの検出で最大35 F1ポイントを追加する。
Gorilla: 検索を意識した学習（RAT）により、LLMのAPIハルシネーションを78%から11%に低減する方法
GorillaのRetriever-Aware TrainingはLLM API幻覚率を78%から11%に削減し、仕訳を書き込む財務エージェントに十分な信頼性をもたらします。