Single-Agent-LLMs übertreffen Multi-Agenten-Systeme beim Multi-Hop-Reasoning unter gleichem Thinking-Token-Budget

Nachdem ich mehrere Log-Einträge mit Multi-Agenten-Debatten und Guardrail-Architekturen verbracht habe, wollte ich die Prämisse auf den Prüfstand stellen: Bringt uns die Orchestrierung mehrerer LLMs tatsächlich ein besseres Reasoning (Schlussfolgern), oder geben wir einfach nur mehr Rechenleistung aus? Dat Tran und Douwe Kiela von Stanford stellen genau diese Frage in einem im April 2026 veröffentlichten Preprint, und die Antwort ist für Multi-Agenten-Evangelisten unangenehm.

Das Paper

"Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets" (arXiv:2604.02460) macht einen täuschend einfachen methodischen Punkt: Fast alle Multi-Agenten-Benchmarks vergleichen einen einzelnen Agenten mit einem Multi-Agenten-System, das deutlich mehr Rechenleistung verbraucht. Sobald man das Thinking-Token-Budget konstant hält – also die Token für die Zwischenschritte der Argumentation abgleicht, unter Ausschluss von Prompts und finalen Antworten – ziehen Single-Agenten bei Multi-Hop-Reasoning-Aufgaben mit Multi-Agenten-Systemen gleich oder übertreffen diese.

Die Autoren untermauern dies mit einem informationstheoretischen Argument über die Datenverarbeitungsungleichung (Data Processing Inequality, DPI). Wenn ein Agent eine Nachricht an einen anderen weitergibt, arbeitet der empfangende Agent mit einer verarbeiteten Version des ursprünglichen Kontexts, nicht mit dem Kontext selbst. Informationen können in dieser Kette nur verloren gehen oder gleich bleiben – niemals gewonnen werden. Die DPI sagt daher voraus, dass die Multi-Agenten-Dekomposition unvermeidbare Kommunikationsengpässe einführt und Multi-Agenten-Systeme Single-Agenten nur dann übertreffen können, wenn die effektive Kontextnutzung eines Single-Agenten bereits beeinträchtigt ist.

Kernideen

• Die Studie kontrolliert die "Thinking-Token" – also ausschließlich Token für Zwischenschritte der Argumentation – über sechs Token-Budgets von 100 bis 10.000 Token hinweg unter Verwendung von drei Modellfamilien: Qwen3-30B, DeepSeek-R1-Distill-Llama-70B und Gemini 2.5.
• Fünf Multi-Agenten-Architekturen werden evaluiert: sequenziell, Subtask-parallel, Parallel-Roles, Debatte und Ensemble.
• Als Benchmarks dienen FRAMES (824 anspruchsvolle Multi-Hop-Fragen, die die Integration aus mehreren Quellen erfordern) und MuSiQue (4-Hop-Fragen zum Weltwissen).
• Single-Agent-Systeme (SAS) erreichten in fast allen budgetangeglichenen Bedingungen die höchste oder statistisch äquivalente Genauigkeit. Die SAS-Genauigkeit lag zwischen 0,280 und 0,427 über die Budgets hinweg; vergleichbare Multi-Agenten-Varianten (MAS) erreichten im Durchschnitt 0,280 bis 0,420.
• Der charakteristische Fehlermodus für MAS ist Over-Exploration und Drift: Agenten untersuchen Unterfragen ohne Selektion und verlieren die ursprüngliche Anfrage aus den Augen. SAS behalten eine stärkere lexikalische Verankerung an der ursprünglichen Frage bei.
• Die DPI-Vorhersage bestätigt sich empirisch: Unter starker Kontextdegradierung (Maskierung oder Substitution bei α=0,7) werden Multi-Agenten-Systeme wettbewerbsfähig – aber erst dann.

Was Bestand hat – und was nicht

Die Kernmethodik ist der richtige Schritt. Das Feld hat ein Reproduzierbarkeitsproblem bei Multi-Agenten-Benchmarks, gerade weil die Rechenleistung selten konstant gehalten wird, und das Beharren der Autoren auf angeglichenen Thinking-Budgets ist ein echter Beitrag. Der DPI-Rahmen ist schlüssig, und die daraus resultierende experimentelle Vorhersage – dass MAS hilft, wenn die Kontextnutzung zusammenbricht – wurde über drei Modellfamilien hinweg verifiziert, was die Glaubwürdigkeit erhöht.

Dennoch gibt es relevante Lücken. Das Paper evaluiert nur textbasiertes Multi-Hop-Reasoning. Es schließt die Nutzung von Tools, Code-Ausführung und Bildverarbeitungsaufgaben explizit aus. Dieser Ausschluss ist signifikant: Die meisten Multi-Agenten-Systeme, die tatsächlich produktiv eingesetzt werden, führen kein reines Text-QA durch, sondern orchestrieren Tool-Aufrufe, API-Abfragen oder Code-Interpreten über Agenten hinweg. Das DPI-Argument über die Nachrichtenübermittlung zwischen Agenten ist theoretisch auf diese Szenarien anwendbar, aber der empirische Beleg wurde dort noch nicht erbracht.

Die Kontrolle des Gemini-Token-Budgets wird als approximativ eingeräumt – die Autoren entwickelten eine spezielle SAS-L-Variante mit strukturiertem Prompting, da der Thinking-Kanal von Gemini im Standard-Single-Agent-Modus unterausgelastet schien. Das ist ein Störfaktor, den man genauer unter die Lupe nehmen sollte. Wenn die Abrechnung der Thinking-Token für eine der drei Modellfamilien unzuverlässig ist, wird die Behauptung des Budgetausgleichs schwerer interpretierbar.

Zwei Benchmarks sind zudem dürftig für eine allgemeine architektonische Behauptung. FRAMES umfasst nur 824 Fragen; MuSiQue ist ein Standard-Benchmark, deckt aber nicht die gesamte Vielfalt der Multi-Hop-Strukturen ab. Zudem adressiert das Paper nicht, wie sich der Abstand zwischen Single- und Multi-Agenten verändert, wenn die Modellkapazität skaliert – das Ergebnis könnte eine Eigenschaft aktueller Modellgrößen sein und kein grundlegender architektonischer Befund.

Warum dies für Finanz-KI wichtig ist

Die Verbindung zu Bean Labs ist real, erfordert aber Präzision. Für einen Beancount-Write-Back-Agenten interessiert mich am meisten die Architektur eines Writer-Verifier-Paares: Ein Agent generiert einen Ledger-Eintrag, ein anderer prüft ihn auf Richtigkeit und Richtlinienkonformität, bevor er festgeschrieben wird. Das ist kein Multi-Hop-Text-QA – es ist eine sequenzielle Tool-Nutzungs-Pipeline, bei der der Verifizierer ein vorgeschlagenes Artefakt prüft, anstatt denselben ursprünglichen Kontext erneut zu verarbeiten. Das DPI-Argument gilt hier nur bedingt: Ein separater Verifizierungsagent, der auf Basis des vorgeschlagenen Eintrags arbeitet, kann immer noch keine Fakten wiederherstellen, die der Ersteller verworfen hat. Aber der Engpass in der Praxis ist der Abruf von Richtlinien und die arithmetische Korrektheit, nicht der Informationsverlust zwischen Nachrichten.

Direkter trifft dieses Paper die Debatten-Architekturen, die in früheren Logs betrachtet wurden (Du et al., M3MAD-Bench). Wenn das Ziel ein debattierendes Agentenpaar ist, um Ledger-Fehler zu finden, und wenn beide Agenten zusammen das gleiche Thinking-Budget haben wie ein einzelner Agent mit erweitertem Reasoning, deutet die Evidenz hier darauf hin, dass der Single-Agent-Ansatz zuverlässiger ist. Die Erkenntnis, dass MAS nur dann wettbewerbsfähig ist, wenn der Kontext stark degradiert ist, zählt ebenfalls: Für gut strukturierte Beancount-Einträge, bei denen der Kontext sauber und wohlgeformt ist, sollte der Vorteil des Single-Agenten bestehen bleiben.

Die praktische Lektion lautet: Seien Sie misstrauisch gegenüber Multi-Agenten-Komplexität, es sei denn, Sie haben einen spezifischen Grund zu der Annahme, dass die Kontextnutzung der Flaschenhals ist. Für die meisten Ledger-QA-Aufgaben ist sie das wahrscheinlich nicht.

Was Sie als Nächstes lesen sollten

• Mixture-of-Agents Enhances Large Language Model Capabilities (arXiv:2406.04692) – das Paper, dessen AlpacaEval-Behauptungen hier am direktesten herausgefordert werden; lesenswert, um zu verstehen, welche Budget-Annahmen dort getroffen wurden.
• "Rethinking the Bounds of LLM Reasoning: Are Multi-Agent Discussions the Key?" (arXiv:2402.18272, ACL 2024) – eine frühere Version im Wesentlichen desselben Befunds: Ein Single-Agent mit guten Prompts erreicht das Niveau von Multi-Agenten-Diskussionen; nützlich, um die Entwicklung der Kritik zu verfolgen.
• Literatur zur Skalierung von Test-Time Compute (DeepSeek-R1, OpenAI o1 System Card) – die übergeordnete Frage ist, wo zusätzliche Inferenz-Rechenleistung tatsächlich hilft; eine erweiterte Chain-of-Thought innerhalb eines einzelnen Modells könnte die robustere Antwort sein.