TheAgentCompany: Benchmarking van LLM-agents voor realistische bedrijfstaken
TheAgentCompany benchmarkt 175 bedrijfstaken in een gesimuleerd intranet, en het beste model, Gemini-2.5-Pro, voltooit slechts 30% voor $4 per stuk.
Mike Thrift
Marketingmanager
τ²-bench: De kosten meten van dual-control in conversationele AI-agents
τ²-bench vindt dat actieve gebruikers met eigen tools conversationele agent-succes met 18–25 punten verlagen. Beancount-agents met gedeelde schrijftoegang verliezen hetzelfde.
WorkArena++: De kloof van 93% tussen menselijke en AI-agentprestaties bij compositionele bedrijfstaken
GPT-4o lost 2,1% van WorkArena++'s 682 compositionele bedrijfstaken op; mensen lossen 93,9% op, wat toont waarom agents vastlopen op impliciet accountingwerk.
GAIA-benchmark: Meten wat grensverleggende AI-agenten echt kunnen
GAIA's 466 taken tonen frontier AI-agents op 74,55% versus 92% voor mensen, waarbij Level 3-coördinatie nog steeds het moeilijkste gat is.
OSWorld: Desktop AI-agents slagen in 12% van de taken waar mensen in 72% slagen
OSWorld vindt dat desktop-AI-agents slagen voor 12,24% van echte taken versus 72,36% voor mensen, met 75% van de fouten door visuomotorische grounding, niet redeneren.
WebArena: De 812-Taken Benchmark die Meet wat Web-agents Werkelijk Wel en Niet Kunnen
GPT-4 voltooit slechts 14,41% van WebArena's 812 webtaken versus 78,24% voor mensen; agents falen meestal door een taak onterecht onmogelijk te verklaren.
WorkArena: Hoe LLM-webagents presteren op echt zakelijk kenniswerk
WorkArena's 33 ServiceNow-taken tonen GPT-4o op 42,7% overall maar 0% op lijstfilters, een muur die gestructureerde UI-interactie moet slechten.
τ-bench: De betrouwbaarheid van AI-agents meten in praktijkgerichte toolgebruik-domeinen
τ-bench vindt dat top-LLM's dalen van pass@1 0,692 naar pass@4 0,462 op retail-tool-taken. Write-back-agents op een grootboek staan voor dezelfde consistentieklif.
Chain-of-Table: Evoluerende Tabellen in de LLM-Redeneerketen
Chain-of-Table haalt 67,31% op WikiTQ tegen 61,48% voor tekstuele chain-of-thought, en leidt met 10,25 punten op tabellen boven 4.000 tokens.
TableLlama: Kan een open 7B-model GPT-4 evenaren in tabelbegrip?
TableLlama verslaat GPT-4 bij kolomtype-annotatie (F1 94 versus 32), maar blijft 33 punten achter bij WikiTQ compositioneel redeneren.
TAPAS: Zwak gesuperviseerde tabel-QA zonder SQL, en wat dit betekent voor Beancount
TAPAS beantwoordt tabelvragen door cellen te selecteren, nooit door SQL te genereren. Het past bij kleine Beancount-grootboekquery's maar bezwijkt op schaal.
MAC-SQL: Multi-Agent Collaboratieve Text-to-SQL
MAC-SQL's drie-agent-ontwerp haalt 59,59% uitvoeringsnauwkeurigheid op BIRD, met de Refiner die +4,63 punten toevoegt — een template voor Beancount-grootboekquery's.