TheAgentCompany: Бенчмаркінг агентів LLM на реальних корпоративних завданнях
TheAgentCompany оцінює 175 корпоративних завдань у симульованій інтрамережі, і найкраща модель, Gemini-2.5-Pro, виконує лише 30% за $4 кожне.
#enterprise-software
Корпоративне програмне забезпечення
Автоматизація корпоративного ПЗ, веб-агенти та дослідження інтелектуальної праці
WorkArena++: 93% розрив між ефективністю людей та ШІ-агентів у композиційних корпоративних завданнях
GPT-4o розв'язує 2.1% з 682 композиційних корпоративних задач WorkArena++; люди — 93.9%, що показує, чому агенти застрягають на бухгалтерській роботі з неявними цілями.
WorkArena: Як вебагенти на базі LLM справляються з реальною інтелектуальною працею на підприємствах
33 завдання WorkArena у ServiceNow показують GPT-4o на рівні 42,7% загалом, але 0% на фільтрах списків — стіна, яку має подолати структурована взаємодія з UI.