WildToolBench: なぜ現実世界のツール利用においてLLMのセッション精度は15%を超えないのか
WildToolBench (ICLR 2026) は、実際のユーザー行動から抽出された1,024のタスクで57のLLMを評価しました。15%のセッション精度を超えるモデルは存在せず、構成的オーケストレーション、隠れた意図、および指示の遷移が3つの顕著な失敗モードとして特定されました。
#technology
Technology
Lost in the Middle：LLMにおける位置バイアスと金融AIへの影響
LiuらによるTACL 2024の論文は、LLMが長いコンテキストの中央に埋もれた情報に対して最大20ポイント性能が低下することを示しています。これはClaude-1.3-100Kを含むすべてのテスト済みモデルに影響するU字型の劣化であり、金融・会計アプリケーションにおけるRAGパイプラインが取得したパッセージをどのように順序付けるべきかに具体的な示唆を与えています。
OSWorld：デスクトップAIエージェントの成功率は12%、人間は72%のタスクで成功
OSWorld（NeurIPS 2024）は、Ubuntu、Windows、macOSにわたる369の実際のデスクトップタスクでマルチモーダルAIエージェントをベンチマーク評価しました。その結果、最高モデル（12.24%）と人間のパフォーマンス（72.36%）の間に60ポイントの開きがあることが判明し、失敗の75%は推論の失敗ではなく視覚運動グラウンディングのエラーに起因することが示されました。
StructRAG (ICLR 2025): 適切なドキュメント構造の選択により、GraphRAGを28ポイント上回る
StructRAG (ICLR 2025) は、推論前に各クエリを表、グラフ、カタログ、アルゴリズム、またはチャンクといったタスクに適した構造タイプにルーティングします。これにより、LoongベンチマークにおいてGraphRAGを28ポイント上回るスコアを記録しつつ、22倍の高速化を実現しました。DPOでトレーニングされたルーター単体で、15ポイントの精度向上に寄与しています。
シングルエージェント：同等トークンでマルチホップにおいてMASに匹敵
等しい思考トークン予算の下では、シングルエージェントLLMはマルチホップ推論においてマルチエージェントシステムに匹敵するかそれを上回り、よりシンプルな金融エージェント設計が有利です。
Self-RAG：LLMのための適応的リトリーバルと自己批判
Self-RAG（ICLR 2024 Oral）は、言語モデルがいつ検索を行うかを自ら決定し、4つの反省トークンを使用して自らの結果を評価するようにトレーニングする手法です。PopQAで55.8%、伝記のFactScoreで80.2を達成し、5つのベンチマークでChatGPTを上回りました。この分析では、そのメカニズム、アブレーション結果、再現性の限界、およびBeancount元帳を利用する金融AIエージェントへの影響について解説します。
AgentBench: LLMをエージェントとして評価する — 金融AIの信頼性への教訓
AgentBench（Liuら、ICLR 2024）は、8つの対話環境で27のLLMをベンチマーク評価 — GPT-4は総合4.01、最良のオープンソースモデルは0.96。3つの支配的な障害モード（ナレッジグラフ障害の67.9%でタスク上限超過、データベース障害の53.3%でフォーマットエラー、無効なアクション）は、実台帳にBeancount書き戻しエージェントを展開する際のリスクに直接対応する。
MemGPT: 92.5% マルチセッション想起率 vs 32.1% ベースライン
MemGPTのOS型メモリ階層がGPT-4のマルチセッションチャット精度を32.1%の固定コンテキストから92.5%に向上—複数年台帳エージェントに必須。