TheAgentCompany: Benchmark degli Agenti LLM su Compiti Aziendali Reali
TheAgentCompany valuta 175 task aziendali in una intranet simulata, e il miglior modello, Gemini-2.5-Pro, ne completa solo il 30% a $4 ciascuno.
#enterprise-software
Software aziendale
Automazione del software aziendale, agenti web e ricerca su compiti di knowledge work
WorkArena++: Il divario del 93% tra le prestazioni umane e quelle degli agenti AI in compiti enterprise composizionali
GPT-4o risolve il 2,1% dei 682 task aziendali di WorkArena++; gli umani il 93,9%, mostrando perché gli agenti si bloccano sul lavoro contabile a obiettivi impliciti.
WorkArena: Come gli Agenti Web LLM si Comportano nel Lavoro Reale della Conoscenza Aziendale
I 33 task ServiceNow di WorkArena mostrano GPT-4o al 42,7% complessivo ma allo 0% sui filtri lista, un muro che l'interazione strutturata con le UI deve superare.