思考トークンの予算が同一の場合、シングルエージェントLLMがマルチホップ推論においてマルチエージェントシステムを上回る

マルチエージェント間の議論やガードレール・アーキテクチャについていくつかのログ・エントリを費やした後、私は一つの前提を検証したいと考えました。複数のLLMをオーケストレーションすることは、実際に優れた推論をもたらすのでしょうか、それとも単により多くの計算リソースを浪費しているだけなのでしょうか？スタンフォード大学のDat Tran氏とDouwe Kiela氏は、2026年4月に公開されたプレプリントでまさにこの問いを投げかけており、その回答はマルチエージェントの信奉者にとって不都合なものでした。

論文の内容

「Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets」（arXiv:2604.02460）は、一見単純な方法論的指摘を行っています。ほぼすべてのマルチエージェント・ベンチマークは、単一のエージェントと、大幅に多くの計算量を使用するマルチエージェント・システムを比較しているという点です。思考トークン予算（プロンプトと最終回答を除いた、中間推論トークンの一致）を一定に保つと、マルチホップ推論タスクにおいて、シングルエージェントはマルチエージェント・システムと同等か、あるいはそれを上回る結果を出しました。

著者はこれを、情報処理不等式（Data Processing Inequality: DPI）を用いた情報理論的な議論で枠組み化しています。あるエージェントが別のエージェントにメッセージを渡す際、受け手側のエージェントは元のコンテキストそのものではなく、処理された後のコンテキストを元に作業することになります。その連鎖の中で、情報は失われるか現状維持されるかのどちらかであり、決して増えることはありません。したがってDPIは、マルチエージェントの分解が不可避な通信ボトルネックを導入し、シングルエージェントの有効なコンテキスト活用能力がすでに低下している場合にのみ、マルチエージェント・システムがシングルエージェントを上回ることができると予測します。

主なアイデア

• この研究では、Qwen3-30B、DeepSeek-R1-Distill-Llama-70B、Gemini 2.5の3つのモデルファミリーを使用し、100から10,000トークンまでの6段階のトークン予算にわたって「思考トークン」（中間推論トークンのみ）を制御しました。
• 5つのマルチエージェントアーキテクチャが評価されました：順次（sequential）、サブタスク並列（subtask-parallel）、並列ロール（parallel-roles）、討論（debate）、およびアンサンブル（ensemble）。
• 使用されたベンチマークは、FRAMES（複数のソースからの統合を必要とする824問の難易度の高いマルチホップ問題）とMuSiQue（4ホップの世界知識問題）です。
• ほぼすべての予算一致条件下で、シングルエージェント・システムが最高、あるいは統計的に同等の精度を達成しました。シングルエージェント（SAS）の精度は予算全体で0.280〜0.427の範囲であり、比較可能なマルチエージェント（MAS）のバリアントは平均0.280〜0.420でした。
• MASの特徴的な失敗モードは「過剰な探索と逸脱」です。エージェントは枝刈りを行わずにサブクエリを探索し、元のクエリを見失います。SASは元の質問に対する強力な語彙的アンカーリングを維持します。
• DPIの予測は経験的に裏付けられました。コンテキストが著しく劣化している場合（α=0.7でのマスキングまたは置換）においてのみ、マルチエージェント・システムが競争力を持つようになりました。

維持されるもの、されないもの

核心となる手法は正しい方向性です。計算リソースが一定に保たれることが稀であるため、マルチエージェント・ベンチマークには再現性の問題がありますが、著者が思考予算の一致を強調したことは真の貢献です。DPIの枠組みは明快であり、そこから導き出される実験的予測（コンテキスト活用が破綻した時にMASが役立つ）が3つのモデルファミリーで検証されたことで、信頼性が高まっています。

とは言え、いくつかのギャップも重要です。この論文はテキストベースのマルチホップ推論のみを評価しています。ツールの使用、コードの実行、画像認識タスクは明示的に除外されています。この除外は重大です。実際にデプロイされている本番環境のマルチエージェント・システムの多くは、純粋なテキストQAではなく、エージェント間でのツール呼び出し、API検索、またはコードインタープリタのオーケストレーションを行っています。エージェント間のメッセージパッシングに関するDPIの議論は、理論的にはこれらの設定にも適用可能ですが、経験的な主張はまだ検証されていません。

Geminiのトークン予算制御が近似値であることも認められています。Geminiの思考チャネルが標準的なシングルエージェント・モードでは十分に活用されていないように見えたため、著者は構造化プロンプトを用いた特別なSAS-Lバリアントを開発しました。これは精査に値する混同変数です。もし3つのモデルファミリーのうち1つで思考トークンの計測が信頼できない場合、予算均等化の主張の解釈は難しくなります。

また、一般的なアーキテクチャ上の主張を行うには、2つのベンチマークでは不十分です。FRAMESはわずか824問しかありません。MuSiQueは標準的なベンチマークですが、マルチホップ構造の多様性をすべてカバーしているわけではありません。そして、モデルの能力がスケールするにつれて、シングルとマルチの差がどのように変化するかについては触れられていません。この結果は、根本的なアーキテクチャ上の発見というよりも、現在のモデルサイズの特性である可能性があります。

なぜこれが金融AIにとって重要なのか

Bean Labsとの関連性は現実的ですが、正確な理解が必要です。Beancount書き戻しエージェントにとって、私が最も関心があるアーキテクチャは「作成者・検証者（writer-verifier）」ペアです。一方のエージェントが元帳エントリを生成し、もう一方がコミットする前にポリシー準拠をチェックします。これはマルチホップのテキストQAではなく、検証者が元のコンテキストを再処理するのではなく、提案された成果物を検査する逐次的なツール利用パイプラインです。DPIの議論は緩やかに適用されます。提案されたエントリから作業する別の検証エージェントは、作成者が破棄した事実を復元することはできません。しかし、実務上のボトルネックは情報の喪失ではなく、ポリシー規則の想起や算術的な正確性です。

この論文がより直接的に影響するのは、以前のログ（Du et al., M3MAD-Bench）で検討した討論アーキテクチャです。目的が元帳の誤りを見つけるためのエージェントの討論ペアであり、両エージェントの合計思考予算が、拡張された推論を行うシングルエージェントと同じである場合、ここでの証拠はシングルエージェントのアプローチの方が信頼できることを示唆しています。コンテキストが著しく劣化している場合にのみMASが競争力を持つという発見も重要です。コンテキストがクリーンで整形式である、適切に構造化されたBeancountエントリの場合、シングルエージェントの優位性が維持されるはずです。

実用的な教訓としては、コンテキストの活用がボトルネックであると信じる特定の理由がない限り、マルチエージェントの複雑さを疑うべきだということです。ほとんどの元帳QAタスクにおいて、それはおそらくボトルネックではありません。

次に読むべきもの

• Mixture-of-Agents Enhances Large Language Model Capabilities (arXiv:2406.04692) — この論文が最も直接的に異議を唱えているAlpacaEvalの主張を行っている論文。どのような予算前提を置いていたかを理解するために読む価値があります。
• "Rethinking the Bounds of LLM Reasoning: Are Multi-Agent Discussions the Key?" (arXiv:2402.18272, ACL 2024) — 本質的に同じ発見をした初期のバージョン。優れたプロンプトを持つシングルエージェントがマルチエージェントの討論に匹敵することを示しており、批判がどのように進化したかを知るのに役立ちます。
• テスト時計算スケーリングに関する文献（DeepSeek-R1、OpenAI o1システムカード） — より広範な問いは、追加の推論計算が実際にどこで役立つかということであり、単一モデル内での拡張された思考の連鎖（Chain-of-Thought）の方が、より堅牢な答えである可能性があります。