Single-Agent LLM's presteren beter dan multi-agent systemen bij multi-hop redeneren onder gelijke budgetten voor denk-tokens

Na het besteden van verschillende logboekitems aan debatten tussen meerdere agents en guardrail-architecturen, wilde ik de veronderstelling testen: levert het orkestreren van meerdere LLM's daadwerkelijk betere redeneringen op, of geven we simpelweg meer rekenkracht uit? Dat Tran en Douwe Kiela van Stanford vragen precies dat in een preprint die in april 2026 is gepubliceerd, en het antwoord is ongemakkelijk voor evangelisten van multi-agent systemen.

Het onderzoek

"Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets" (arXiv:2604.02460) maakt een bedrieglijk eenvoudig methodologisch punt: bijna alle benchmarks voor multi-agents vergelijken een enkele agent met een multi-agent systeem dat aanzienlijk meer rekenkracht gebruikt. Zodra je het budget voor denk-tokens constant houdt — door de tussenliggende redeneertokens gelijk te trekken en prompts en eindantwoorden uit te sluiten — evenaren of verslaan single-agents de multi-agent systemen bij multi-hop redeneertaken.

De auteurs kaderen dit met een informatietheoretisch argument via de Dataverwerkingsongelijkheid (Data Processing Inequality - DPI). Wanneer de ene agent een bericht doorgeeft aan een andere, werkt de ontvangende agent met een verwerkte versie van de oorspronkelijke context, niet met de context zelf. Informatie kan in die keten alleen verloren gaan of gelijk blijven — nooit worden gewonnen. De DPI voorspelt daarom dat de opsplitsing in meerdere agents onvermijdelijke communicatie-bottlenecks introduceert, en dat multi-agent systemen alleen beter kunnen presteren dan single-agents wanneer het effectieve gebruik van de context door een single-agent al verslechterd is.

Kernpunten

• De studie controleert voor "denk-tokens" — uitsluitend tussenliggende redeneertokens — over zes token-budgetten van 100 tot 10.000 tokens, met behulp van drie modelfamilies: Qwen3-30B, DeepSeek-R1-Distill-Llama-70B en Gemini 2.5.
• Vijf multi-agent architecturen worden geëvalueerd: sequentieel, subtaak-parallel, parallelle rollen, debat en ensemble.
• De gebruikte benchmarks zijn FRAMES (824 uitdagende multi-hop vragen die integratie uit meerdere bronnen vereisen) en MuSiQue (4-hop vragen over wereldkennis).
• Single-agent systemen behaalden de hoogste of statistisch gelijkwaardige nauwkeurigheid in bijna alle omstandigheden met gelijke budgetten. De nauwkeurigheid van SAS varieerde van 0,280–0,427 over de budgetten; vergelijkbare MAS-varianten scoorden gemiddeld 0,280–0,420.
• De kenmerkende faalmodus voor MAS is overmatige exploratie en afdwaling: agents onderzoeken subvragen zonder te snoeien en verliezen de oorspronkelijke vraag uit het oog. SAS behoudt een sterkere lexicale verankering aan de oorspronkelijke vraag.
• De DPI-voorspelling houdt empirisch stand: onder zware contextverslechtering (maskering of vervanging bij α=0,7) worden multi-agent systemen competitief — maar ook pas dan.

Wat overeind blijft — en wat niet

De kernmethodologie is de juiste zet. Het veld heeft een reproduceerbaarheidsprobleem met multi-agent benchmarks, precies omdat de rekenkracht zelden constant wordt gehouden, en de nadruk van de auteurs op gelijke denk-budgetten is een waardevolle bijdrage. Het DPI-kader is helder, en de experimentele voorspelling die het genereert — MAS helpt wanneer het gebruik van de context stokt — is geverifieerd over drie modelfamilies, wat de geloofwaardigheid vergroot.

Dat gezegd hebbende, zijn er enkele belangrijke tekortkomingen. Het artikel evalueert alleen op tekst gebaseerd multi-hop redeneren. Het sluit expliciet het gebruik van tools, code-uitvoering en visuele taken uit. Die uitsluiting is aanzienlijk: de meeste productie-multi-agent-systemen die daadwerkelijk worden ingezet, doen geen pure tekst-QA, maar orkestreren tool-aanroepen, API-lookups of code-interpreters over verschillende agents. Het DPI-argument over het doorgeven van berichten tussen agents is theoretisch toepasbaar op deze instellingen, maar de empirische claim is daar nog niet gevalideerd.

De controle van het Gemini-tokenbudget wordt erkend als bij benadering — de auteurs ontwikkelden een speciale SAS-L-variant met gestructureerde prompting omdat het denkkanaal van Gemini onderbenut leek in de standaard single-agent modus. Dat is een vertroebelende factor die nader onderzoek verdient. Als de boekhouding van denk-tokens onbetrouwbaar is voor een van de drie modelfamilies, wordt de claim over budget-egalisatie moeilijker te interpreteren.

Twee benchmarks is ook mager voor een algemene architecturale claim. FRAMES heeft slechts 824 vragen; MuSiQue is een standaardbenchmark maar dekt niet de volledige diversiteit aan multi-hop structuren. Bovendien gaat het artikel niet in op hoe de kloof tussen single- en multi-agent verandert naarmate de capaciteit van het model schaalt — het resultaat zou een eigenschap kunnen zijn van de huidige modelgroottes in plaats van een fundamentele architecturale bevinding.

Waarom dit belangrijk is voor financiële AI

De link met Bean Labs is reëel, maar behoeft precisie. Voor een Beancount-schrijf-agent ben ik het meest geïnteresseerd in een schrijver-verificateur-paar: de ene agent genereert een journaalpost, de andere controleert deze op naleving van het beleid voordat deze wordt doorgevoerd. Dat is geen multi-hop tekst-QA — het is een sequentiële pipeline voor tool-gebruik waarbij de verificateur een voorgesteld artefact onderzoekt in plaats van dezelfde oorspronkelijke context opnieuw te verwerken. Het DPI-argument is in beperkte mate van toepassing: een afzonderlijke verificatie-agent die werkt op basis van de voorgestelde invoer kan nog steeds geen feiten herstellen die de schrijver heeft weggegooid. Maar de bottleneck in de praktijk is het herinneren van beleidsregels en rekenkundige correctheid, niet het informatieverlies tussen berichten.

Waar dit artikel directer de kern raakt, zijn de debat-architecturen die in eerdere logs werden besproken (Du et al., M3MAD-Bench). Als het doel een debatterend paar agents is om fouten in het grootboek op te sporen, en als beide agents samen hetzelfde totale budget voor denk-tokens hebben als een enkele agent met uitgebreid redeneren, dan suggereert het bewijs hier dat de single-agent aanpak betrouwbaarder is. De bevinding dat MAS alleen competitief is wanneer de context zwaar is aangetast, is ook van belang: voor goed gestructureerde Beancount-items, waarbij de context schoon en goed gevormd is, zou het voordeel van de single-agent stand moeten houden.

De praktische les is om argwanend te zijn tegenover multi-agent complexiteit, tenzij je een specifieke reden hebt om aan te nemen dat het gebruik van de context de bottleneck is. Voor de meeste QA-taken in het grootboek is dat waarschijnlijk niet het geval.

Wat je nu kunt lezen

• Mixture-of-Agents Enhances Large Language Model Capabilities (arXiv:2406.04692) — het artikel waarvan de AlpacaEval-claims hier het meest direct worden betwist; de moeite waard om te lezen om te begrijpen welke budgetaannames er precies zijn gemaakt.
• "Rethinking the Bounds of LLM Reasoning: Are Multi-Agent Discussions the Key?" (arXiv:2402.18272, ACL 2024) — een eerdere versie van in wezen dezelfde bevinding: een single-agent met goede prompts evenaart multi-agent discussies; nuttig om te zien hoe de kritiek is geëvolueerd.
• Literatuur over test-time compute scaling (DeepSeek-R1, OpenAI o1 system card) — de bredere vraag is waar extra rekenkracht bij inferentie daadwerkelijk helpt, en een uitgebreide chain-of-thought binnen een enkel model zou wel eens het robuustere antwoord kunnen zijn.