MemGPT: 92.5% multi-session recall против 32.1% baseline
OS-стиль памяти MemGPT повышает точность многосеансового чата GPT-4 до 92.5% против 32.1% фиксированного контекста — необходимо для многолетних агентов учета.
Mike Thrift
Менеджер по маркетингу
SWE-agent: как дизайн интерфейса открывает возможности автоматизации разработки ПО
Agent-Computer Interfaces от SWE-agent подняли GPT-4 Turbo с чистого shell до 12,47% на SWE-bench — прирост на 10,7 пункта только за счёт дизайна интерфейса.
SWE-bench: Могут ли языковые модели решать реальные проблемы на GitHub?
SWE-bench тестирует языковые модели на 2 294 реальных задачах GitHub; на момент публикации Claude 2 решил лишь 1,96%. Поиск и длина патча формируют кодирующих агентов.
CodeAct: почему исполняемый код Python делает LLM-агентов на 20% точнее
CodeAct заменяет вызовы инструментов в JSON на исполняемый Python, повышая успех агента GPT-4 примерно на 20 пунктов и сокращая число шагов на 30%.
Самокоррекция: GPT-4 падает с 95,5% до 91,5% на GSM8K
Huang et al. (ICLR 2024): внутренняя самокоррекция снижает результат GPT-4 с 95,5% до 91,5% на GSM8K — агентам для учёта нужны внешние валидаторы, а не саморецензирование.
Tree of Thoughts: осознанное решение задач с помощью поиска через LLM
Tree of Thoughts достигает 74% в Game of 24 там, где цепочка рассуждений GPT-4 даёт 4%, за счёт поиска и возврата по шагам — шаблон, который могут перенять финансовые агенты.
CRITIC: Почему самокоррекция LLM требует обратной связи от внешних инструментов
CRITIC повышает открытый QA на 7.7 F1 и снижает токсичность на 79.2%, проверяя правки LLM внешними инструментами, а не самой моделью.
Reflexion: языковые агенты, которые учатся на ошибках без переобучения
Reflexion достигает 91% на HumanEval с GPT-4 без обновления весов, но терпит неудачу на WebShop. Вербальное подкрепление требует чёткого сигнала оценщика.
Самосогласованность: голосование большинством при сэмплировании повышает точность цепочки рассуждений
Self-consistency мажоритарно голосует по многим выборочным путям рассуждений вместо одной жадной декодировки, добавляя 17.9 балла на GSM8K без дополнительного обучения.
PAL: +38 б.п. по сложной математике, передав арифметику Python
PAL получает +38,1 б.п. по сравнению с цепочкой рассуждений на GSM-hard, запуская Python для арифметики — правильное разделение для надежных расчетов в бухгалтерских книгах Beancount.
Могут ли LLM рассуждать над табличными данными? Чему нас учат четыре бенчмарка для финансового ИИ
Четыре бенчмарка показывают GPT-4 на 42% в реальных табличных вопросах против 86% у людей и 19,6% на сложных агрегациях, поэтому финансовым агентам нужен чистый табличный ввод.
Конституционный ИИ для бухгалтерских агентов: RLAIF, программные правила и риски Гудхарта
Constitutional AI заменяет ручную разметку вредоносных данных обратной связью ИИ, позволяя бухгалтерским агентам применять правила реестра без проверяющего на каждую операцию.