
LLMエージェントにおける不確実性を考慮したディフェラル:小規模モデルから大規模モデルへいつエスカレーションすべきか
ReDActはパープレキシティが不確実性を示す場合のみ小モデルから大モデルへ延期し、エージェントワークフローで同等精度を保ちコストを64%削減する。

ReDActはパープレキシティが不確実性を示す場合のみ小モデルから大モデルへ延期し、エージェントワークフローで同等精度を保ちコストを64%削減する。

OpenHandsのCodeActエージェントはSWE-Bench Liteで26%を記録し、AIエージェントが今日確実にできることを示す。財務自動化は自律型ではなく、狭い範囲から始めるべきだ。

Fin-RATEは、LLMの精度が経時追跡で18.60%に崩壊することを示す。制約となるボトルネックはモデルではなく検索パイプラインにある。

FinDERの5,703件の実アナリストクエリで、最高のRAGは10-K根拠のわずか25.95%を再現。埋め込みを替える前に、まず略語を正規化せよ。

LLMは答えが文脈の中間にあると最大20ポイント低くスコアリングするため、金融RAGパイプラインは最良の箇所を最初か最後に配置すべきだ。

AD-LLMはGPT-4oがテキスト異常検知でゼロショットAUROC 0.93〜0.99を達成するが、金融監査AIではLLMモデル選択が依然信頼できないと判明。

CausalTADはLLMシリアライズ前に因果依存関係で表の列を並べ替え、AnoLLMに対する平均AUC-ROCを0.803から0.834に引き上げる。

AnoLLMは混合型不正データでLLM負の対数尤度により行をスコアリングし古典的ベースラインを上回るが、純粋に数値的な表では優位性を加えない。

LLMFinLiteracyは、5つの約7Bモデルが正しいBeancount取引を書けるのはわずか2.3%で、構文ではなく会計推論で失敗すると判明。

TableMasterはGPT-4o-miniでWikiTQの78.13%を達成し、Chain-of-Tableを13ポイント上回る。table-of-focusと適応的推論により、Beancount台帳上のエージェントを実現。

GPT-4はODDSゼロショットで平均AUROC 74.1に達し、75.5のECODベースラインに近づくが高分散データでは失敗。台帳監査は未解決だ。

DocFinQAはFinQAの700語の抜粋をSEC提出書類全文に置き換え、175倍長い文脈で長文書におけるGPT-4精度をほぼ半減させる。