# Self-Consistency: вибіркове голосування за більшістю підвищує точність ланцюжка думок

LOG-009 розглядав PAL, який перекладає арифметику на інтерпретатор Python, щоб модель ніколи не мусила обчислювати самостійно. Self-consistency атакує ортогональну проблему: а що якщо модель міркує правильно здебільшого, але не завжди? Відповідь виявляється статистичною, а не архітектурною — і напрочуд ефективною.



## Стаття

"Self-Consistency Improves Chain of Thought Reasoning in Language Models" авторства Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery та Denny Zhou (ICLR 2023, arXiv:2203.11171) представляє стратегію декодування, яка замінює єдиний жадібний шлях ланцюжка думок голосуванням за більшістю серед багатьох вибраних шляхів. Інтуїція компактна: складна задача міркування зазвичай має одну правильну відповідь, але багато валідних шляхів до неї; неправильна відповідь частіше походить від ідіосинкратичних помилок, які не всі сходяться на тій самій помилці.

Метод підключається без змін. Візьміть будь-який наявний у вас запит ланцюжка думок (CoT), виберіть *N* завершень за ненульової температури, витягніть фінальну відповідь з кожного та поверніть відповідь за більшістю. Без донавчання, без додаткових моделей, без додаткових людських розміток.

## Ключові ідеї

- **Розмір вибірки та температура**: Стаття використовує 40 шляхів міркувань на задачу за температури 0,7. Це не магічне число з пошуку гіперпараметрів — абляції показують, що приріст виходить на плато приблизно на 20–30 вибірках, тож 40 — консервативний вибір.
- **Основні прирости над стандартним CoT**: GSM8K +17,9%, SVAMP +11,0%, AQuA +12,2%, StrategyQA +6,4%, ARC-challenge +3,9% — усе це абсолютні покращення точності з тією самою моделлю та запитом.
- **Результати GSM8K за моделями**: На text-davinci-002 (GPT-3) self-consistency піднімає точність з 78,7% до 86,5%. На Codex — з 74,5% до 82,3%. Прирости узгоджені між родинами моделей.
- **Без витрат на навчання**: Усе відбувається під час інференсу. Підхід працює з будь-яким чорноскриньковим API, де можна вибирати за температури > 0.
- **Голосування за більшістю для витягуваних відповідей**: Агрегація чиста, коли відповіді дискретні (число, вибір літери). Для відкритої генерації стаття менш конкретна щодо визначення "найбільш узгодженого" — обмеження, яке автори визнають.

## Що витримує перевірку — а що ні

Емпіричні прирости реальні, широко відтворені, і метод справді корисний. Але кілька структурних слабкостей заслуговують на увагу.

По-перше, **вартість зростає лінійно з кількістю вибірок**. Вибірка 40 шляхів під час інференсу коштує 40× бюджету токенів одного шляху. Для задач, де важливі затримка та вартість API — агент, що обробляє сотні транзакцій за ніч — це не безкоштовно. Подальша робота (Early-Stopping Self-Consistency, ICLR 2024) вирішує це: зупиняючись, щойно голосування досягає порогу впевненості, можна скоротити вибірки на 80% на GSM8K без вимірюваної втрати точності. Базова стаття взагалі не обговорює вартість, що є дивним упущенням.

По-друге, **припущення голосування за більшістю руйнується, коли модель систематично помиляється**. Якщо модель послідовно неправильно читає конвертацію валют або неправильно застосовує податкове правило в усіх 40 шляхах, неправильна відповідь виграє голосування. Self-consistency підсилює найпоширенішу помилку, а не правильну. Це центральна епістемологічна прогалина: метод підвищує *точність* всередині розподілу переконань моделі, але нічого не робить для *калібрування*, коли цей розподіл зосереджений на неправильній відповіді.

По-третє, Wang & Wang (2025, arXiv:2503.16974) досліджують узгодженість LLM безпосередньо на фінансових та бухгалтерських задачах у 50 незалежних запусках. Вони виявляють, що бінарна класифікація та аналіз тональності вже майже ідеально відтворювані з однією вибіркою, тоді як складні задачі (прогнозування, генерація) показують реальну варіативність. Їхній практичний висновок: агрегування лише 3–5 запусків різко покращує узгодженість на складних задачах — набагато дешевша версія тієї самої ідеї self-consistency.

## Чому це важливо для фінансового ШІ

Операції з реєстром Beancount, що включають багатокрокову арифметику — податкові розрахунки, базу витрат з поправкою на курс валют, графіки амортизації, зіставлення рахунків-фактур — це саме ті задачі, де єдине жадібне декодування ненадійне, але правильна відповідь унікальна й перевірювана. Self-consistency — це дешеве втручання, яке має бути стандартом для будь-якої задачі фінансового агента, де вихід можна перевірити (чи баланс досі нульовий?).

Цікавіший висновок — архітектурний. Self-consistency перетворює інференс на ансамбль голосування. Для безпеки запису — коли агент вносить проведення в реєстр — я б ставив умову на впевненість більшості: проводити лише якщо 35 із 40 шляхів згодні. Незгода — це сигнал, що агент має ескалювати до людини замість запису. Це конкретний, реалізовний фільтр безпеки, який коштує бюджету інференсу, а не інженерної складності.

Режим відмови через систематичне зміщення особливо важливий для податкових і регуляторних правил, де моделі, як відомо, галюцинують деталі, специфічні для юрисдикції. У таких випадках PAL (LOG-009) — правильне рішення: повністю перекласти обчислення. Self-consistency та PAL доповнюють одне одного — PAL відповідає за арифметичну правильність; self-consistency відповідає за неоднозначність і надійність міркувань.

## Що читати далі

- Tree of Thoughts: Deliberate Problem Solving with Large Language Models (Yao et al., 2023, arXiv:2305.10601) — розширює self-consistency від голосування за шляхами до пошуку за шляхами, що важливо, коли простір міркувань розгалужується, а не йде паралельно.
- Escape Sky-high Cost: Early-stopping Self-Consistency for Multi-step Reasoning (Lei et al., ICLR 2024) — вирішення проблеми вартості; скорочує вибірку більш ніж на 80% на GSM8K, зберігаючи точність.
- Universal Self-Consistency for Large Language Models (Chen et al., arXiv:2311.17311) — розширює голосування за більшістю на відкриту генерацію за допомогою судді-LLM, закриваючи прогалину в агрегації, яку оригінальна стаття залишає відкритою.
