TheAgentCompany: Avaliando Agentes de LLM em Tarefas Empresariais do Mundo Real
O TheAgentCompany avalia 175 tarefas empresariais em uma intranet simulada, e o melhor modelo, Gemini-2.5-Pro, conclui apenas 30% a US$ 4 cada.
Mike Thrift
Gerente de marketing
τ²-bench: Medindo o Custo do Controle Duplo em Agentes de IA Conversacionais
O τ²-bench mostra que usuários ativos com suas ferramentas cortam o sucesso de agentes em 18–25 pontos. Agentes Beancount perdem igual.
WorkArena++: A Lacuna de 93% entre o Desempenho Humano e de Agentes de IA em Tarefas Empresariais Composicionais
O GPT-4o resolve 2,1% das 682 tarefas empresariais do WorkArena++; humanos resolvem 93,9%, por isso agentes travam em metas implícitas.
Benchmark GAIA: Medindo o Que os Agentes de IA de Fronteira Realmente Conseguem Fazer
As 466 tarefas do GAIA mostram agentes de IA de fronteira em 74,55% contra 92% dos humanos, com a coordenação de Nível 3 ainda sendo a lacuna mais difícil de fechar.
OSWorld: Agentes de IA para Desktop Têm Sucesso em 12% das Tarefas Onde Humanos Têm Sucesso em 72%
O OSWorld mostra agentes de desktop acertando 12,24% das tarefas reais contra 72,36% dos humanos, com 75% das falhas vindo de ancoragem visuomotora.
WebArena: O Benchmark de 812 Tarefas que Mede o que Agentes Web Realmente Podem e Não Podem Fazer
O GPT-4 conclui apenas 14,41% das 812 tarefas web do WebArena contra 78,24% dos humanos; os agentes falham principalmente ao declarar falsamente que uma tarefa é impossível.
WorkArena: Como Agentes Web de LLM se Comportam em Trabalho de Conhecimento Empresarial Real
As 33 tarefas ServiceNow do WorkArena mostram o GPT-4o com 42,7% no geral, mas 0% em filtros de lista, uma barreira que a interação estruturada com UI precisa vencer.
τ-bench: Medindo a Confiabilidade de Agentes de IA em Domínios de Uso de Ferramentas no Mundo Real
O τ-bench mostra LLMs top caindo de pass@1 0,692 para pass@4 0,462 em ferramentas de varejo. Agentes de escrita enfrentam o mesmo abismo.
Chain-of-Table: Evoluindo Tabelas na Cadeia de Raciocínio de LLMs
O Chain-of-Table atinge 67,31% no WikiTQ contra 61,48% do chain-of-thought puramente textual, e lidera por 10,25 pontos em tabelas com mais de 4.000 tokens.
TableLlama: Pode um Modelo Aberto de 7B Igualar o GPT-4 na Compreensão de Tabelas?
O TableLlama supera o GPT-4 na anotação de tipos de coluna (F1 94 vs 32), mas fica 33 pontos atrás no raciocínio composicional do WikiTQ.
TAPAS: Table QA Fracamente Supervisionado Sem SQL, e o Que Isso Significa para o Beancount
O TAPAS responde perguntas sobre tabelas selecionando células, nunca gerando SQL. Ele se adequa a consultas pequenas de ledger Beancount, mas quebra em escala.
MAC-SQL: Colaboração Multi-Agente de Texto para SQL
O design de três agentes do MAC-SQL atinge 59,59% de acurácia de execução no BIRD, com o Refiner somando +4,63 pontos — um modelo para gerar consultas de ledger Beancount.