TheAgentCompany: Evaluación Comparativa de Agentes de LLM en Tareas Empresariales del Mundo Real
TheAgentCompany evalúa 175 tareas empresariales en una intranet simulada, y el mejor modelo, Gemini-2.5-Pro, completa solo 30% a $4 cada una.
#enterprise-software
Software Empresarial
Investigación sobre automatización de software empresarial, agentes web y tareas de trabajo del conocimiento
WorkArena++: La brecha del 93% entre el rendimiento humano y el de los agentes de IA en tareas empresariales de composición
GPT-4o resuelve 2.1% de las 682 tareas empresariales composicionales de WorkArena++; humanos logran 93.9%, mostrando por qué los agentes fallan.
WorkArena: Cómo se desempeñan los agentes web de LLM en el trabajo de conocimiento empresarial real
Las 33 tareas de ServiceNow en WorkArena muestran a GPT-4o con 42.7% global pero 0% en filtros de lista, un muro que la interacción con UI estructurada debe superar.