MemGPT: 92.5% багатосесійне пригадування проти 32.1% базового рівня
ОС-подібні рівні пам'яті MemGPT підвищують точність багатосесійного чату GPT-4 до 92.5% проти 32.1% фіксованого контексту — необхідно для багаторічних ledger-агентів.
Mike Thrift
Менеджер з маркетингу
SWE-agent: Як дизайн інтерфейсу розкриває можливості автоматизованої програмної інженерії
Agent-Computer Interfaces від SWE-agent підняли GPT-4 Turbo з сирого shell до 12.47% на SWE-bench — приріст на 10.7 пункти лише завдяки дизайну інтерфейсу.
SWE-bench: Чи можуть мовні моделі вирішувати реальні проблеми GitHub?
SWE-bench тестує мовні моделі на 2 294 реальних задачах GitHub; на момент публікації Claude 2 розв'язав лише 1,96%. Пошук і обмеження довжини патча визначають кодових агентів.
CodeAct: Чому виконуваний код Python робить LLM-агентів на 20% точнішими
CodeAct замінює виклики інструментів JSON на виконуваний Python, підвищуючи успішність агента GPT-4 на ~20 пунктів і скорочуючи кількість кроків на 30%.
Самокорекція: GPT-4 падає з 95.5% до 91.5% на GSM8K
Huang et al. (ICLR 2024): внутрішня самокорекція знижує GPT-4 з 95.5% до 91.5% на GSM8K — бухгалтерським агентам потрібні зовнішні валідатори, а не самостійна перевірка.
Tree of Thoughts: Свідоме розв'язання проблем через пошук у LLM
Tree of Thoughts досягає 74% у Game of 24 там, де ланцюг міркувань GPT-4 дає 4%, завдяки пошуку й поверненню назад по кроках — шаблон, який можуть запозичити фінансові агенти.
CRITIC: Чому самокорекція LLM потребує зворотного зв’язку від зовнішніх інструментів
CRITIC підвищує QA відкритого домену на 7,7 F1 і знижує токсичність на 79,2%, перевіряючи правки LLM зовнішніми інструментами, а не нею самою.
Reflexion: мовні агенти, які вчаться на помилках без перенавчання
Reflexion досягає 91% на HumanEval з GPT-4 без оновлення ваг, але зазнає невдачі на WebShop. Вербальне підкріплення потребує чіткого сигналу оцінювача.
Самоузгодженість: семплювання з більшості голосуванням підвищує точність міркувань за ланцетом продумок
Self-consistency обирає більшістю голосів серед багатьох вибірок шляхів міркування замість одного жадібного декодування, додаючи 17.9 пункти на GSM8K без додаткового навчання.
PAL: +38 п.п. на складній математиці, віддаючи арифметику Python
PAL дає +38,1 п.п. перевершуючи chain-of-thought на GSM-hard, виконуючи арифметику в Python — правильний розподіл для надійних розрахунків у бухгалтерській книзі Beancount.
Чи можуть LLM аналізувати табличні дані? Що чотири бенчмарки кажуть про ШІ у фінансах
Чотири бенчмарки показують GPT-4 на 42% у табличному QA проти 86% у людей і 19,6% на складних агрегаціях, тож фінансовим агентам потрібні чисті таблиці.
Конституційний ШІ для бухгалтерських агентів: RLAIF, правила політики та ризики Ґудгарта
Конституційний ШІ замінює вручну розмічені дані про шкоду зворотним зв'язком ШІ, тож бухгалтерські агенти застосовують правила реєстру без рецензента на кожну транзакцію.