TheAgentCompany: Бенчмаркинг LLM-агентов на реальных корпоративных задачах
TheAgentCompany тестирует 175 корпоративных задач в смоделированном интранете, и лучшая модель Gemini-2.5-Pro выполняет лишь 30% по $4 за каждую.
Mike Thrift
Менеджер по маркетингу
τ²-bench: Оценка стоимости двойного управления в разговорных ИИ-агентах
τ²-bench показывает, что активные пользователи со своими инструментами снижают успех разговорных агентов на 18–25 баллов. Агенты Beancount с общей записью теряют так же.
WorkArena++: 93-процентный разрыв между эффективностью человека и ИИ-агентов в композиционных корпоративных задачах
GPT-4o решает 2,1% из 682 композиционных корпоративных задач WorkArena++, а люди решают 93,9%, показывая, почему агенты буксуют на бухгалтерской работе с неявными целями.
Бенчмарк GAIA: оценка реальных возможностей передовых ИИ-агентов
466 задач GAIA показывают передовых ИИ-агентов на уровне 74,55% против 92% у людей, а координация уровня 3 остаётся самым сложным разрывом.
OSWorld: настольные ИИ-агенты справляются с 12% задач, в то время как люди — с 72%
OSWorld обнаруживает, что настольные ИИ-агенты справляются с 12,24% реальных задач против 72,36% у людей, причём 75% сбоев из-за зрительно-моторной привязки, а не рассуждений.
WebArena: бенчмарк из 812 задач, измеряющий реальные возможности и ограничения веб-агентов
GPT-4 выполняет лишь 14,41% из 812 веб-задач WebArena против 78,24% у людей; агенты чаще всего терпят неудачу, ложно объявляя задачу невыполнимой.
WorkArena: Как LLM веб-агенты справляются с реальными задачами по обработке корпоративных знаний
33 задачи ServiceNow в WorkArena показывают GPT-4o на уровне 42.7% в целом, но 0% на фильтрах списков — стена, которую должно преодолеть структурированное взаимодействие с UI.
τ-bench: Измерение надежности ИИ-агентов в реальных сценариях использования инструментов
τ-bench показывает, что лучшие LLM падают с pass@1 0,692 до pass@4 0,462 на розничных задачах. Агенты, пишущие в леджер, ждут тот же обрыв согласованности.
Chain-of-Table: Эволюция таблиц в цепочке рассуждений LLM
Chain-of-Table достигает 67,31% на WikiTQ против 61,48% для текстовой цепочки рассуждений и лидирует на 10,25 пункта на таблицах свыше 4 000 токенов.
TableLlama: Может ли открытая модель 7B сравниться с GPT-4 в понимании таблиц?
TableLlama превосходит GPT-4 в аннотации типов столбцов (F1 94 против 32), но отстаёт на 33 балла в композиционных рассуждениях на WikiTQ.
TAPAS: слабо контролируемое табличное QA без SQL и что это значит для Beancount
TAPAS отвечает на вопросы к таблицам, выбирая ячейки, а не генерируя SQL. Он подходит для небольших запросов к регистру Beancount, но не справляется в масштабе.
MAC-SQL: Мультиагентное совместное преобразование текста в SQL
Трёхагентная архитектура MAC-SQL достигает 59,59% точности выполнения на BIRD, а Refiner добавляет +4,63 пункта — шаблон для генерации запросов к регистру Beancount.