TheAgentCompany: Avaluació comparativa d'agents LLM en tasques empresarials del món real
TheAgentCompany avalua 175 tasques empresarials en una intranet simulada, i el millor model, Gemini-2.5-Pro, només en completa el 30% a $4 cadascuna.
#enterprise-software
Programari empresarial
Recerca en automatització de programari empresarial, agents web i tasques de treball del coneixement
WorkArena++: La bretxa del 93% entre el rendiment humà i el dels agents d'IA en tasques empresarials composicionals
GPT-4o resol el 2,1% de les 682 tasques empresarials composicionals de WorkArena++; els humans en resolen el 93,9%, mostrant per què els agents s'encallen en comptabilitat.
WorkArena: Com es comporten els agents web d'LLM en treballs de coneixement empresarial reals
Les 33 tasques ServiceNow de WorkArena mostren GPT-4o al 42,7% global però 0% en filtres de llista, un mur que la interacció estructurada amb la interfície ha de superar.