Reflexion: мовні агенти, які вчаться на помилках без перенавчання

Я роздумував над тим, що потрібно для створення агента для ведення книги Beancount, який би ставав кращим з часом без перенавчання щоразу, коли він припускається помилки. Робота Шінна та ін. «Reflexion: Language Agents with Verbal Reinforcement Learning» (NeurIPS 2023) безпосередньо розглядає це питання, і відповідь є водночас перспективною та більш обмеженою, ніж свідчать заголовки.

Стаття

Reflexion (Шінн, Кассано, Берман, Гопінат, Нарасімхан, Яо; NeurIPS 2023) пропонує замість коригування ваг моделі за допомогою дорогого навчання з підкріпленням покращувати агента, змушуючи його писати власний аналіз помилок природною мовою. Після кожної спроби модель саморефлексії (Self-Reflection) зчитує траєкторію та сигнал винагороди, створює вербальний аналіз (post-mortem) і додає його до епізодичного буфера пам'яті. Під час наступної спроби Актив (Actor) зчитує накопичені рефлексії перед початком дій. Градієнт не обчислюється. Модель не доналаштовується (fine-tuning). «Навчання» повністю відбувається в межах контекстного вікна.

Трьохкомпонентна архітектура — Actor, Evaluator, Self-Reflection — достатньо модульна, щоб адаптуватися до різних типів завдань. Evaluator може бути результатом бінарного юніт-тесту, LLM-суддею або специфічною для завдання евристикою. Саме ця гнучкість робить статтю цікавою за межами тестів на написання коду.

Ключові ідеї

• На HumanEval Python pass@1 Reflexion + GPT-4 досягає 91%, порівняно з базовим показником GPT-4 у 80% — це справжній і значний розрив. На Leetcode Hard приріст становить 7,5% → 15%, що є прогресом, але також нагадуванням про те, наскільки складними залишаються ці задачі.
• В AlfWorld (текстове планування побутових завдань) Reflexion вирішує 130/134 завдання після 12 спроб проти 108/134 для базової моделі ReAct — це найбільш переконливий результат прийняття рішень у статті.
• На HotpotQA (multi-hop QA) CoT + Reflexion показує зростання з 61% до 75% точності збігу (exact match) на 100 вибраних запитаннях.
• На MBPP (другий бенчмарк Python) Reflexion трохи погіршує продуктивність: 80,1% → 77,1%. Автори приховують це в тексті.
• В WebShop Reflexion не допомагає. Автори пояснюють це тим, що завдання вимагає «значної різноманітності та дослідження» — агент пише некорисні рефлексії, які не узагальнюються під час пошуку товарів.
• Пам'ять обмежена 1–3 збереженими досвідами. Це прагматично з огляду на довжину контексту, але означає, що агент не може накопичувати знання протягом тривалого розгортання.

Що працює, а що — ні

Основне твердження є обґрунтованим: вербальна рефлексія покращує результати в завданнях з чітким зворотним зв’язком, який можна перевірити. Якщо ви знаєте, чи пройшов код юніт-тести, модуль рефлексії має конкретні дані для роздумів. Результати AlfWorld та HumanEval є реальними та значущими.

Але невдача з WebShop є повчальною, і стаття дещо недооцінює її. Рефлексія працює, коли оцінювач може видати чіткий, дієвий сигнал. Коли причиною невдачі є те, що «агент досліджував не ту частину великого простору пошуку», вказівка «наступного разу спробуй інші терміни пошуку» не веде до збіжності. Це структурне обмеження: вербальне підкріплення не є заміною стратегій дослідження.

Експерименти з кодуванням також мають певну циклічність, яку автори визнають у своєму блозі: агент генерує власні юніт-тести для оцінки власного коду. Недосконалий набір тестів створює хибнопозитивні результати. Показник 91% на HumanEval тримається тому, що HumanEval надає еталонні тести, але петля самооцінки агента менш надійна в нових задачах, де не існує зовнішнього оракула.

Відтворюваність є реальною проблемою. Усі основні результати використовують GPT-4, а експерименти зі starchat-beta показують відсутність покращення порівняно з базовим рівнем, що означає залежність техніки від можливостей моделі. Командам, які використовують менші моделі або моделі з відкритими вагами, не варто очікувати таких же результатів.

Чому це важливо для AI у сфері фінансів

Кейс використання Beancount має саме ту властивість, яка дозволяє Reflexion працювати добре: чіткий оцінювач. Якщо агент неправильно класифікує транзакцію, перевірка балансу книги або крок звірки може дати бінарний сигнал — книги збалансовані або ні. Це набагато краща поверхня зворотного зв'язку, ніж неоднозначна винагорода за пошук товарів у WebShop.

Конкретно, я можу уявити агента для запису в Beancount, який після невдалої спроби проведення (недійсний рахунок, неправильна валюта, помилка твердження) генерує вербальну рефлексію: «Я використав Expenses:Meals, але цей рахунок вимагає підкатегорії. Наступного разу я перевірю ієрархію рахунків перед записом». Ця рефлексія зберігається і витягується під час наступної подібної транзакції. Агент фактично накопичує специфічну для сесії політику на основі власних помилок.

Обмеження пам'яті є головним архітектурним викликом. Буфер на 1–3 досвіди підходить для однієї сесії, але розгорнутий бухгалтерський агент повинен вчитися на тисячах транзакцій і тижнях роботи. Розширення Reflexion до довготривалої пам'яті — можливо, шляхом підсумовування або індексації рефлексій — є відкритою проблемою. Стаття її не вирішує.

Що прочитати далі

• Language Agent Tree Search (LATS) (Zhou et al., arXiv:2310.04406; ICML 2024) — розширює Reflexion, обгортаючи цикл рефлексії та повторних спроб у пошук по дереву Монте-Карло, що дозволяє агентам досліджувати кілька гілок міркувань замість того, щоб слідувати одній траєкторії. Досягає 92,7% на HumanEval з GPT-4.
• Retroformer (Yao et al., arXiv:2308.02151; ICLR 2024) — замість того, щоб покладатися на ту саму LLM для саморефлексії, Retroformer навчає окрему легку ретроспективну модель за допомогою градієнта політики, роблячи процес рефлексії таким, що піддається навчанню в різних завданнях. Більш принциповий підхід, але вимагає донавчання.
• Self-Reflection in LLM Agents: Effects on Problem-Solving Performance (arXiv:2405.06682, 2024) — емпіричне дослідження, що спеціально вивчає, коли і чому рефлексія допомагає, з абляціями для різних типів завдань. Корисно для калібрування того, коли застосовувати Reflexion, а коли — інші стратегії корекції.