MemGPT: 92.5% multi-session recall против 32.1% baseline
OS-стиль памяти MemGPT повышает точность многосеансового чата GPT-4 до 92.5% против 32.1% фиксированного контекста — необходимо для многолетних агентов учета.
Mike Thrift
Менеджер по маркетингу
SWE-agent: как дизайн интерфейса открывает возможности автоматизации разработки ПО
SWE-agent (NeurIPS 2024) представляет интерфейсы агент-компьютер (ACI) — специализированные уровни между LLM и программными средами. Решение показало улучшение на 10,7 процентных пункта по сравнению с прямым доступом к оболочке и 12,47% успешности на SWE-bench с GPT-4 Turbo. Дизайн интерфейса, а не возможности модели, является основным узким местом для автономных кодинг-агентов.
SWE-bench: Могут ли языковые модели решать реальные проблемы на GitHub?
SWE-bench оценивает языковые модели на 2 294 реальных проблемах GitHub в 12 репозиториях Python с использованием тестов на основе выполнения; на момент публикации Claude 2 решил только 1,96% проблем при реалистичном поиске, став бенчмарком де-факто для кодинг-агентов и выявив ошибки поиска и длины патчей, имеющие прямое отношение к агентам записи Beancount.
CodeAct: почему исполняемый код Python делает LLM-агентов на 20% точнее
CodeAct (ICML 2024) заменяет вызов инструментов через JSON исполняемым кодом Python, повышая вероятность успеха агентов GPT-4 примерно на 20 процентных пунктов в задачах с использованием нескольких инструментов и сокращая количество итераций взаимодействия на 30% — это имеет прямое значение для создания надежных агентов сверки Beancount.
Самокоррекция: GPT-4 падает с 95,5% до 91,5% на GSM8K
Huang et al. (ICLR 2024): внутренняя самокоррекция снижает результат GPT-4 с 95,5% до 91,5% на GSM8K — агентам для учёта нужны внешние валидаторы, а не саморецензирование.
Tree of Thoughts: осознанное решение задач с помощью поиска через LLM
Tree of Thoughts (ToT) достигает 74% в «Игре 24» против 4% у стандартного GPT-4 CoT, организуя рассуждения LLM в ветвящееся дерево поиска с отсечением и возвратом — это имеет прямое значение для многоэтапной финансовой классификации и налоговой оптимизации в рабочих процессах Beancount.
CRITIC: Почему самокоррекция LLM требует обратной связи от внешних инструментов
CRITIC (ICLR 2024) обеспечивает прирост F1 на 7,7 в задачах QA с открытым доменом и снижение токсичности на 79,2%, основывая пересмотр ответов LLM на сигналах внешних инструментов — цикл «проверка-исправление», который напрямую соотносится с безопасностью записи данных для финансовых агентов Beancount.
Reflexion: языковые агенты, которые учатся на ошибках без переобучения
Reflexion (NeurIPS 2023) позволяет LLM-агентам совершенствоваться, сохраняя вербальный анализ ошибок в эпизодическом буфере — без необходимости обновления весов. Метод достигает 91% на HumanEval с GPT-4, но терпит неудачу в WebShop, выявляя структурное ограничение: вербальное подкрепление работает только тогда, когда оценщик выдает четкий, действенный сигнал. Вот что это значит для создания самокорректирующегося агента для учета в Beancount.
Самосогласованность: голосование большинством при сэмплировании повышает точность цепочки рассуждений
Самосогласованность заменяет жадное декодирование цепочки рассуждений голосованием большинством по N сэмплированным путям рассуждений — повышая точность GPT-3 на GSM8K на 17,9 процентных пункта без дополнительного обучения — и напрямую применима к многошаговым финансовым расчетам, где одиночное декодирование модели ненадежно.
PAL: +38 б.п. по сложной математике, передав арифметику Python
PAL получает +38,1 б.п. по сравнению с цепочкой рассуждений на GSM-hard, запуская Python для арифметики — правильное разделение для надежных расчетов в бухгалтерских книгах Beancount.
Могут ли LLM рассуждать над табличными данными? Чему нас учат четыре бенчмарка для финансового ИИ
Четыре бенчмарка 2024–2025 годов показывают, что GPT-4 набирает 42% в ответах на вопросы по реальным таблицам против 86% у людей, причем точность сложных агрегаций падает до 19,6%. При этом нативный синтаксис Beancount находится в самом конце иерархии сериализации по эффективности для ввода в LLM.
Конституционный ИИ для бухгалтерских агентов: RLAIF, программные правила и риски Гудхарта
Статья Anthropic о конституционном ИИ (Bai et al., 2022) описывает обучение LLM следованию правилам с помощью обратной связи от ИИ, а не меток вреда от человека. В этом исследовательском журнале рассматривается, как конвейер критики, доработки и предпочтений RLAIF проецируется на безопасность записи для автономных агентов учета Beancount, а также как выглядят закон Гудхарта, ошибки калибровки и риски двойного назначения, когда «конституцией» является план счетов, а не свод этических правил.