TheAgentCompany: Avaluació comparativa d'agents LLM en tasques empresarials del món real
TheAgentCompany avalua 175 tasques empresarials en una intranet simulada, i el millor model, Gemini-2.5-Pro, només en completa el 30% a $4 cadascuna.
Mike Thrift
Responsable de màrqueting
τ²-bench: Mesurant el cost del control dual en agents d'IA conversacional
τ²-bench troba que usuaris actius amb eines pròpies redueixen l'èxit dels agents conversacionals en 18–25 punts. Els agents Beancount amb accés d'escriptura perden igual.
WorkArena++: La bretxa del 93% entre el rendiment humà i el dels agents d'IA en tasques empresarials composicionals
GPT-4o resol el 2,1% de les 682 tasques empresarials composicionals de WorkArena++; els humans en resolen el 93,9%, mostrant per què els agents s'encallen en comptabilitat.
Rendiment GAIA: Mesurant què poden fer realment els agents d'IA de frontera
Les 466 tasques de GAIA mostren els agents d'IA frontera al 74,55% davant el 92% dels humans, amb la coordinació de nivell 3 encara com la bretxa més difícil de tancar.
OSWorld: Desktop AI Agents Succeed on 12% of Tasks Where Humans Succeed on 72%
OSWorld finds desktop AI agents succeed on 12.24% of real tasks versus 72.36% for humans, with 75% of failures from visuomotor grounding, not reasoning.
WebArena: El referent de 812 tasques que mesura el que els agents web realment poden i no poden fer
GPT-4 només completa el 14,41% de les 812 tasques web de WebArena davant el 78,24% dels humans; els agents fallen sobretot declarant falsament una tasca impossible.
WorkArena: Com es comporten els agents web d'LLM en treballs de coneixement empresarial reals
Les 33 tasques ServiceNow de WorkArena mostren GPT-4o al 42,7% global però 0% en filtres de llista, un mur que la interacció estructurada amb la interfície ha de superar.
τ-bench: Mesurant la fiabilitat dels agents d'IA en dominis d'ús d'eines del món real
τ-bench troba que els millors LLM baixen de pass@1 0,692 a pass@4 0,462 en tasques d'eines de venda al detall. Els agents d'escriptura afronten el mateix precipici.
Chain-of-Table: Evolving Tables in the LLM Reasoning Chain
Chain-of-Table hits 67.31% on WikiTQ versus 61.48% for text-only chain-of-thought, and leads by 10.25 points on tables over 4,000 tokens.
TableLlama: Pot un model obert de 7B igualar GPT-4 en la comprensió de taules?
TableLlama supera GPT-4 en anotació de tipus de columna (F1 94 vs 32), però queda 33 punts enrere en raonament composicional a WikiTQ.
TAPAS: Weakly Supervised Table QA Without SQL, and What It Means for Beancount
TAPAS answers table questions by selecting cells, never generating SQL. It fits small Beancount ledger queries but breaks down at scale.
MAC-SQL: Text-to-SQL col·laboratiu multiagent
El disseny de tres agents de MAC-SQL assoleix 59,59% de precisió d'execució a BIRD, amb el Refiner afegint +4,63 punts: una plantilla per generar consultes de llibre Beancount.