LOG-009 розглядав PAL, який перекладає арифметику на інтерпретатор Python, щоб модель ніколи не мусила обчислювати самостійно. Self-consistency атакує ортогональну проблему: а що якщо модель міркує правильно здебільшого, але не завжди? Відповідь виявляється статистичною, а не архітектурною — і напрочуд ефективною.
Стаття
"Self-Consistency Improves Chain of Thought Reasoning in Language Models" авторства Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery та Denny Zhou (ICLR 2023, arXiv:2203.11171) представляє стратегію декодування, яка замінює єдиний жадібний шлях ланцюжка думок голосуванням за більшістю серед багатьох вибраних шляхів. Інтуїція компактна: складна задача міркування зазвичай має одну правильну відповідь, але багато валідних шляхів до неї; неправильна відповідь частіше походить від ідіосинкратичних помилок, які не всі сходяться на тій самій помилці.
Метод підключається без змін. Візьміть будь-який наявний у вас запит ланцюжка думок (CoT), виберіть N завершень за ненульової температури, витягніть фінальну відповідь з кожного та поверніть відповідь за більшістю. Без донавчання, без додаткових моделей, без додаткових людських розміток.
Ключові ідеї
- Розмір вибірки та температура: Стаття використовує 40 шляхів міркувань на задачу за температури 0,7. Це не магічне число з пошуку гіперпараметрів — абляції показують, що приріст виходить на плато приблизно на 20–30 вибірках, тож 40 — консервативний вибір.
- Основні прирости над стандартним CoT: GSM8K +17,9%, SVAMP +11,0%, AQuA +12,2%, StrategyQA +6,4%, ARC-challenge +3,9% — усе це абсолютні покращення точності з тією самою моделлю та запитом.
- Результати GSM8K за моделями: На text-davinci-002 (GPT-3) self-consistency піднімає точність з 78,7% до 86,5%. На Codex — з 74,5% до 82,3%. Прирости узгоджені між родинами моделей.
- Без витрат на навчання: Усе відбувається під час інференсу. Підхід працює з будь-яким чорноскриньковим API, де можна вибирати за температури > 0.
- Голосування за більшістю для витягуваних відповідей: Агрегація чиста, коли відповіді дискретні (число, вибір літери). Для відкритої генерації стаття менш конкретна щодо визначення "найбільш узгодженого" — обмеження, яке автори визнають.
Що витримує перевірку — а що ні
Емпіричні прирости реальні, широко відтворені, і метод справді корисний. Але кілька структурних слабкостей заслуговують на увагу.
По-перше, вартість зростає лінійно з кількістю вибірок. Вибірка 40 шляхів під час інференсу коштує 40× бюджету токенів одного шляху. Для задач, де важливі затримка та вартість API — агент, що обробляє сотні транзакцій за ніч — це не безкоштовно. Подальша робота (Early-Stopping Self-Consistency, ICLR 2024) вирішує це: зупиняючись, щойно голосування досягає порогу впевненості, можна скоротити вибірки на 80% на GSM8K без вимірюваної втрати точності. Базова стаття взагалі не обговорює вартість, що є дивним упущенням.
По-друге, припущення голосування за більшістю руйнується, коли модель систематично помиляється. Якщо модель послідовно неправильно читає конвертацію валют або неправильно застосовує податкове правило в усіх 40 шляхах, неправильна відповідь виграє голосування. Self-consistency підсилює найпоширенішу помилку, а не правильну. Це центральна епістемологічна прогалина: метод підвищує точність всередині розподілу переконань моделі, але нічого не робить для калібрування, коли цей розподіл зосереджений на неправильній відповіді.
По-третє, Wang & Wang (2025, arXiv:2503.16974) досліджують узгодженість LLM безпосередньо на фінансових та бухгалтерських задачах у 50 незалежних запусках. Вони виявляють, що бінарна класифікація та аналіз тональності вже майже ідеально відтворювані з однією вибіркою, тоді як складні задачі (прогнозування, генерація) показують реальну варіативність. Їхній практичний висновок: агрегування лише 3–5 запусків різко покращує узгодженість на складних задачах — набагато дешевша версія тієї самої ідеї self-consistency.
Чому це важливо для фінансового ШІ
Операції з реєстром Beancount, що включають багатокрокову арифметику — податкові розрахунки, базу витрат з поправкою на курс валют, графіки амортизації, зіставлення рахунків-фактур — це саме ті задачі, де єдине жадібне декодування ненадійне, але правильна відповідь унікальна й перевірювана. Self-consistency — це дешеве втручання, яке має бути стандартом для будь-якої задачі фінансового агента, де вихід можна перевірити (чи баланс досі нульовий?).
Цікавіший висновок — архітектурний. Self-consistency перетворює інференс на ансамбль голосування. Для безпеки запису — коли агент вносить проведення в реєстр — я б ставив умову на впевненість більшості: проводити лише якщо 35 із 40 шляхів згодні. Незгода — це сигнал, що агент має ескалювати до людини замість запису. Це конкретний, реалізовний фільтр безпеки, який коштує бюджету інференсу, а не інженерної складності.
Режим відмови через систематичне зміщення особливо важливий для податкових і регуляторних правил, де моделі, як відомо, галюцинують деталі, специфічні для юрисдикції. У таких випадках PAL (LOG-009) — правильне рішення: повністю перекласти обчислення. Self-consistency та PAL доповнюють одне одного — PAL відповідає за арифметичну правильність; self-consistency відповідає за неоднозначність і надійність міркувань.
Що читати далі
- Tree of Thoughts: Deliberate Problem Solving with Large Language Models (Yao et al., 2023, arXiv:2305.10601) — розширює self-consistency від голосування за шляхами до пошуку за шляхами, що важливо, коли простір міркувань розгалужується, а не йде паралельно.
- Escape Sky-high Cost: Early-stopping Self-Consistency for Multi-step Reasoning (Lei et al., ICLR 2024) — вирішення проблеми вартості; скорочує вибірку більш ніж на 80% на GSM8K, зберігаючи точність.
- Universal Self-Consistency for Large Language Models (Chen et al., arXiv:2311.17311) — розширює голосування за більшістю на відкриту генерацію за допомогою судді-LLM, закриваючи прогалину в агрегації, яку оригінальна стаття залишає відкритою.





