TheAgentCompany: Benchmarking agentov LLM na podnikových úlohách z reálneho sveta
TheAgentCompany benchmarkuje 175 podnikových úloh v simulovanom intranete a najlepší model Gemini-2.5-Pro dokončí len 30 % za 4 $ za úlohu.
Mike Thrift
Marketingový manažér
τ²-bench: Meranie nákladov na duálne riadenie v konverzačných AI agentoch
τ²-bench zisťuje, že aktívni používatelia s vlastnými nástrojmi znižujú úspešnosť konverzačných agentov o 18–25 bodov. Beancount agenti zdieľajúci zápis strácajú rovnako.
WorkArena++: 93 % priepasť medzi výkonom ľudí a AI agentov pri kompozičných podnikových úlohách
GPT-4o rieši 2,1 % zo 682 kompozičných podnikových úloh WorkArena++; ľudia riešia 93,9 %, čo ukazuje, prečo agenti zlyhávajú na účtovnej práci s implicitnými cieľmi.
GAIA Benchmark: Meranie toho, čo hraničné AI agenty skutočne dokážu
466 úloh GAIA ukazuje špičkových AI agentov na 74,55 % oproti 92 % u ľudí, pričom koordinácia na úrovni 3 zostáva najťažšou medzerou.
OSWorld: Desktop AI Agents Succeed on 12% of Tasks Where Humans Succeed on 72%
OSWorld finds desktop AI agents succeed on 12.24% of real tasks versus 72.36% for humans, with 75% of failures from visuomotor grounding, not reasoning.
WebArena: Benchmark s 812 úlohami, ktorý meria, čo weboví agenti skutočne dokážu a čo nie
GPT-4 dokončí len 14,41 % z 812 webových úloh WebArena oproti 78,24 % u ľudí; agenti väčšinou zlyhávajú falošným vyhlásením, že úloha je nemožná.
WorkArena: Ako si weboví agenti LLM poradia so skutočnou podnikovou znalostnou prácou
33 úloh ServiceNow v WorkArena ukazuje GPT-4o na 42,7 % celkovo, ale 0 % pri filtroch zoznamov — múr, ktorý musí interakcia so štruktúrovaným UI prekonať.
τ-bench: Meranie spoľahlivosti AI agentov v reálnych doménach s použitím nástrojov
τ-bench zisťuje, že špičkové LLM klesajú z pass@1 0,692 na pass@4 0,462 pri retail úlohách s nástrojmi. Agenti zapisujúci do ledgera čelia rovnakému útesu konzistencie.
Chain-of-Table: Evolving Tables in the LLM Reasoning Chain
Chain-of-Table hits 67.31% on WikiTQ versus 61.48% for text-only chain-of-thought, and leads by 10.25 points on tables over 4,000 tokens.
TableLlama: Dokáže otvorený model so 7B parametrami konkurovať GPT-4 v porozumení tabuliek?
TableLlama prekonáva GPT-4 v anotácii typu stĺpca (F1 94 vs 32), no zaostáva o 33 bodov v kompozičnom uvažovaní na WikiTQ.
TAPAS: Slabo dohliadané tabuľkové QA bez SQL a čo to znamená pre Beancount
TAPAS odpovedá na otázky o tabuľkách výberom buniek, nikdy negeneruje SQL. Hodí sa na malé dotazy nad Beancount ledgerom, ale pri väčšom rozsahu zlyháva.
MAC-SQL: Spolupráca viacerých agentov pri prevode textu na SQL
Trojagentový dizajn MAC-SQL dosahuje 59,59 % presnosti vykonania na BIRD, pričom Refiner pridáva +4,63 bodu — šablóna na generovanie dotazov nad Beancount ledgerom.