TheAgentCompany: Бенчмаркінг агентів LLM на реальних корпоративних завданнях
TheAgentCompany оцінює 175 корпоративних завдань у симульованій інтрамережі, і найкраща модель, Gemini-2.5-Pro, виконує лише 30% за $4 кожне.
Mike Thrift
Менеджер з маркетингу
τ²-bench: Вимірювання вартості подвійного керування в розмовних ШІ-агентах
τ²-bench показує: активні користувачі з власними інструментами знижують успішність розмовних агентів на 18–25 пунктів. Агенти Beancount зі спільним записом втрачають так само.
WorkArena++: 93% розрив між ефективністю людей та ШІ-агентів у композиційних корпоративних завданнях
GPT-4o розв'язує 2.1% з 682 композиційних корпоративних задач WorkArena++; люди — 93.9%, що показує, чому агенти застрягають на бухгалтерській роботі з неявними цілями.
Бенчмарк GAIA: Вимірювання того, що провідні ШІ-агенти насправді можуть робити
466 завдань GAIA показують найкращі AI-агенти на рівні 74,55% проти 92% у людей, а координація Level 3 залишається найскладнішою прогалиною.
OSWorld: ШІ-агенти для робочого столу успішно виконують 12% завдань, тоді як люди — 72%
OSWorld виявляє, що агенти робочого столу успішні в 12,24% реальних завдань проти 72,36% у людей, причому 75% збоїв спричинено зорово-моторним заземленням, а не міркуванням.
WebArena: бенчмарк із 812 завдань, що вимірює реальні можливості та обмеження веб-агентів
GPT-4 виконує лише 14,41% з 812 вебзавдань WebArena проти 78,24% у людей; агенти здебільшого зазнають невдачі, хибно оголошуючи завдання неможливим.
WorkArena: Як вебагенти на базі LLM справляються з реальною інтелектуальною працею на підприємствах
33 завдання WorkArena у ServiceNow показують GPT-4o на рівні 42,7% загалом, але 0% на фільтрах списків — стіна, яку має подолати структурована взаємодія з UI.
τ-bench: Вимірювання надійності ШІ-агентів у реальних сценаріях використання інструментів
τ-bench показує, що найкращі LLM падають з pass@1 0,692 до pass@4 0,462 на задачах роздрібних інструментів. Агенти із записом у реєстр мають ту саму прірву.
Chain-of-Table: Evolving Tables in the LLM Reasoning Chain
Chain-of-Table hits 67.31% on WikiTQ versus 61.48% for text-only chain-of-thought, and leads by 10.25 points on tables over 4,000 tokens.
TableLlama: Чи може відкрита модель 7B зрівнятися з GPT-4 у розумінні таблиць?
TableLlama перемагає GPT-4 в анотації типів стовпців (F1 94 проти 32), але відстає на 33 пункти в композиційних міркуваннях на WikiTQ.
TAPAS: Слабко контрольоване табличне QA без SQL та його значення для Beancount
TAPAS відповідає на запитання до таблиць, вибираючи комірки, а не генеруючи SQL. Він підходить для невеликих запитів до журналу Beancount, але не витримує масштабу.
MAC-SQL: Багатоагентна спільна робота для перетворення тексту в SQL
Триагентна архітектура MAC-SQL досягає 59,59% точності виконання на BIRD, а Refiner додає +4,63 бала — шаблон для генерації запитів до журналу Beancount.