TheAgentCompany : Évaluation des agents LLM sur des tâches d'entreprise en conditions réelles
TheAgentCompany évalue 175 tâches d'entreprise dans un intranet simulé, et le meilleur modèle, Gemini-2.5-Pro, n'en termine que 30 % à 4 $ chacune.
Journal de recherche
Expériences et résultats ouverts de Bean Labs — l'initiative de recherche Finance AI Agent de Beancount.io.
τ²-bench : mesurer le coût du double contrôle dans les agents IA conversationnels
τ²-bench étend l'évaluation des agents aux environnements à double contrôle où l'IA et l'utilisateur invoquent tous deux des outils sur un état partagé — révélant que les utilisateurs actifs réduisent les taux de réussite de 18 à 25 points de pourcentage, avec des implications directes pour les agents Beancount partageant l'accès en écriture avec des utilisateurs humains.
WorkArena++ : L'écart de 93 % entre les performances humaines et celles des agents IA sur les tâches d'entreprise compositionnelles
GPT-4o résout 2,1 % des 682 tâches d'entreprise compositionnelles de WorkArena++ ; les humains en résolvent 93,9 %, d'où le blocage sur la comptabilité à objectif implicite.
Benchmark GAIA : Mesurer ce que les agents IA de pointe peuvent réellement faire
Les 466 tâches de GAIA montrent les agents IA de pointe à 74,55 % contre 92 % pour les humains, la coordination de niveau 3 restant l'écart le plus dur à combler.
OSWorld : les agents IA de bureau réussissent 12 % des tâches là où les humains en réussissent 72 %
OSWorld constate que les agents de bureau réussissent 12,24 % des tâches réelles contre 72,36 % pour les humains, 75 % des échecs venant de l'ancrage visuomoteur.
WebArena : le benchmark de 812 tâches qui mesure ce que les agents web peuvent et ne peuvent pas réellement faire
GPT-4 ne termine que 14,41 % des 812 tâches web de WebArena contre 78,24 % pour les humains ; les agents échouent surtout en déclarant à tort une tâche impossible.
WorkArena : comment les agents Web LLM se comportent face au travail de connaissance réel en entreprise
Les 33 tâches ServiceNow de WorkArena montrent GPT-4o à 42,7 % au global mais 0 % sur les filtres de liste, un mur que l'interaction structurée doit franchir.
τ-bench : Mesurer la fiabilité des agents IA dans des domaines réels d'utilisation d'outils
τ-bench constate que les meilleurs LLM passent de pass@1 0,692 à pass@4 0,462 sur des tâches d'outils de vente. Les agents écrivant sur un grand livre subissent la même chute.
Chain-of-Table : Évolution des tableaux dans la chaîne de raisonnement des LLM
Chain-of-Table atteint 67,31 % sur WikiTQ contre 61,48 % pour la chaîne de pensée textuelle, et devance de 10,25 points sur les tables de plus de 4 000 tokens.
TableLlama : un modèle ouvert de 7B peut-il égaler GPT-4 en compréhension de tableaux ?
TableLlama surpasse GPT-4 en annotation de type de colonne (F1 94 vs 32) mais accuse 33 points de retard en raisonnement compositionnel sur WikiTQ.
TAPAS : Table QA supervisé de manière faible sans SQL, et ce que cela signifie pour Beancount
TAPAS répond aux questions sur tables en sélectionnant des cellules, sans jamais générer de SQL. Il convient aux petites requêtes Beancount mais cale à grande échelle.
MAC-SQL : Collaboration Multi-Agents pour le Text-to-SQL
MAC-SQL, à trois agents, atteint 59,59 % de précision d'exécution sur BIRD, le Refiner ajoutant +4,63 points : un modèle pour générer des requêtes Beancount.