TheAgentCompany : Évaluation des agents LLM sur des tâches d'entreprise en conditions réelles
TheAgentCompany évalue 175 tâches d'entreprise dans un intranet simulé, et le meilleur modèle, Gemini-2.5-Pro, n'en termine que 30 % à 4 $ chacune.
#enterprise-software
Logiciel d'entreprise
Automatisation des logiciels d'entreprise, agents web et recherche sur les tâches de travail intellectuel
WorkArena++ : L'écart de 93 % entre les performances humaines et celles des agents IA sur les tâches d'entreprise compositionnelles
GPT-4o résout 2,1 % des 682 tâches d'entreprise compositionnelles de WorkArena++ ; les humains en résolvent 93,9 %, d'où le blocage sur la comptabilité à objectif implicite.
WorkArena : comment les agents Web LLM se comportent face au travail de connaissance réel en entreprise
Les 33 tâches ServiceNow de WorkArena montrent GPT-4o à 42,7 % au global mais 0 % sur les filtres de liste, un mur que l'interaction structurée doit franchir.