Fusion-in-Decoder: 複数パッセージの検索が生成型QAをどのように改善するか
FiDは取得したパッセージを個別にエンコードしデコーダで融合、NQとTriviaQAでRAG-Sequenceを4〜11ポイント上回る。これは会計QAが必要とする統合台帳である。
Mike Thrift
マーケティングマネージャー
GuardAgent: コード実行によるLLMエージェントの確定的安全性の強化
GuardAgentはPythonコードを実行してLLMエージェントのポリシーを施行し、タスク失敗なしで98.7%の精度を達成する。プロンプトルールでは81%で最大71%が失敗する。
マルチエージェントLLM討論：真の精度向上、制御不能な計算コスト、および集団的妄想
マルチエージェント討論は算術で14.8ポイントを獲得したが、同等予算の単一エージェントがそれに匹敵する。これは台帳コミット前の安全チェックとしての討論を制限する。
LLMは時系列予測には役に立たない：NeurIPS 2024が金融AIにもたらす意味
NeurIPS 2024アブレーション：Time-LLMとCALFからLLMを除くと精度が向上し、訓練は最大1,383倍高速化する。金融AIには専用モデルを使うべきだ。
AuditCopilot：複式簿記における不正検知のためのLLM
AuditCopilotは仕訳不正の誤検知を942件から12件に削減するが、アブレーションはLLMが主にIsolation Forestのスコアを統合しているにすぎないことを示す。
TAT-LLM: 微調整した7B LLaMA 2が財務QAでGPT-4を上回る
TAT-LLMはLLaMA 2 7BをFinQAで64.60% EMに微調整し、GPT-4の63.91%を僅差で上回る。抽出-推論-実行パイプラインで小型モデルが表計算をこなす。
ファインチューニング vs. RAG：LLMへの新しい知識の注入において検索が勝る理由
カットオフ後の事実でRAGは精度0.875、ファインチューニングは0.504で頭打ち。頻繁な台帳更新が必要なエージェントには検索が勝る。
IRCoT: マルチステップQAに向けた検索と思考の連鎖（Chain-of-Thought）のインターリービング
IRCoTは推論の各ステップで検索を照会することで、一括RAGに対しHotpotQAで+11.3リコール、+7.1 F1を追加する。すると3BモデルがGPT-3 175Bを打ち負かせる。
FLARE: 能動的検索拡張生成
FLAREは2WikiMultihopQAで51.0 EMを達成し、単一検索RAGの39.4を上回るが、チャットモデルのキャリブレーション失敗が金融エージェントへの利用を制限する。
RAG: NQで44.5 EM — そして台帳インデックスがなぜ古くなるのか
Lewisらは凍結されたFAISSインデックスでNatural Questionsに対して44.5 EMを達成。Beancountの台帳では残高が毎日変わるとき、再インデックスしないと見逃しが生じることを意味します。
MultiHiertt: 多階層財務諸表における数値推論のベンチマーク
MultiHierttは、10,440の財務QAペアでモデルが38% F1に対し人間は87%であり、テーブル横断問題では15ポイント低下することを示す。
ConvFinQA: モデルは専門家に21ポイント差で及ばず（68.9%）
ConvFinQAの最良モデルの実行精度は68.9%で、人間の専門家の89.4%に対して21ポイントの差があり、マルチターンの台帳チャットが直面する課題を示しています。