TheAgentCompany: Evaluación Comparativa de Agentes de LLM en Tareas Empresariales del Mundo Real
TheAgentCompany evalúa 175 tareas empresariales en una intranet simulada, y el mejor modelo, Gemini-2.5-Pro, completa solo 30% a $4 cada una.
Mike Thrift
Gerente de marketing
τ²-bench: Midiendo el costo del control dual en agentes de IA conversacional
τ²-bench halla que usuarios activos con sus propias herramientas reducen el éxito de agentes conversacionales en 18–25 puntos, igual que en Beancount.
WorkArena++: La brecha del 93% entre el rendimiento humano y el de los agentes de IA en tareas empresariales de composición
GPT-4o resuelve 2.1% de las 682 tareas empresariales composicionales de WorkArena++; humanos logran 93.9%, mostrando por qué los agentes fallan.
Benchmark GAIA: Midiendo lo que los agentes de IA de vanguardia realmente pueden hacer
Las 466 tareas de GAIA muestran a los agentes de IA de frontera en 74.55% frente a 92% de los humanos, con la coordinación de Nivel 3 aún como la brecha más difícil de cerrar.
OSWorld: Los agentes de IA de escritorio superan el 12% de las tareas, frente al 72% de éxito humano
OSWorld halla que los agentes de escritorio de IA tienen éxito en 12.24% de tareas reales frente a 72.36% de humanos, con 75% de fallos visuomotores.
WebArena: El benchmark de 812 tareas que mide lo que los agentes web realmente pueden y no pueden hacer
GPT-4 completa solo 14.41% de las 812 tareas web de WebArena frente a 78.24% de los humanos; los agentes fallan sobre todo al declarar falsamente imposible una tarea.
WorkArena: Cómo se desempeñan los agentes web de LLM en el trabajo de conocimiento empresarial real
Las 33 tareas de ServiceNow en WorkArena muestran a GPT-4o con 42.7% global pero 0% en filtros de lista, un muro que la interacción con UI estructurada debe superar.
τ-bench: Midiendo la confiabilidad de los agentes de IA en dominios de uso de herramientas del mundo real
τ-bench halla que los mejores LLM caen de pass@1 0.692 a pass@4 0.462 en tareas de herramientas minoristas, mismo risco para agentes de libro mayor.
Chain-of-Table: Evolución de tablas en la cadena de razonamiento de LLM
Chain-of-Table logra 67.31% en WikiTQ frente a 61.48% del chain-of-thought solo texto, y lidera por 10.25 puntos en tablas de más de 4,000 tokens.
TableLlama: ¿Puede un modelo abierto de 7B igualar a GPT-4 en la comprensión de tablas?
TableLlama supera a GPT-4 en anotación de tipos de columna (F1 94 vs 32), pero queda 33 puntos por detrás en razonamiento composicional de WikiTQ.
TAPAS: Table QA débilmente supervisado sin SQL y qué significa para Beancount
TAPAS responde preguntas sobre tablas seleccionando celdas, sin generar SQL. Sirve para consultas pequeñas del libro mayor Beancount pero se degrada a escala.
MAC-SQL: Text-to-SQL colaborativo multi-agente
El diseño de tres agentes de MAC-SQL logra 59.59% de precisión de ejecución en BIRD, con el Refiner sumando +4.63 puntos, plantilla para Beancount.