TheAgentCompany: Avaliando Agentes de LLM em Tarefas Empresariais do Mundo Real
O TheAgentCompany avalia 175 tarefas empresariais em uma intranet simulada, e o melhor modelo, Gemini-2.5-Pro, conclui apenas 30% a US$ 4 cada.
#enterprise-software
Software Empresarial
Automação de software empresarial, agentes web e trabalho de conhecimento
WorkArena++: A Lacuna de 93% entre o Desempenho Humano e de Agentes de IA em Tarefas Empresariais Composicionais
O GPT-4o resolve 2,1% das 682 tarefas empresariais do WorkArena++; humanos resolvem 93,9%, por isso agentes travam em metas implícitas.
WorkArena: Como Agentes Web de LLM se Comportam em Trabalho de Conhecimento Empresarial Real
As 33 tarefas ServiceNow do WorkArena mostram o GPT-4o com 42,7% no geral, mas 0% em filtros de lista, uma barreira que a interação estruturada com UI precisa vencer.