Перейти до основного вмісту

Журнал досліджень Bean Labs

Self-Consistency: вибіркове голосування за більшістю підвищує точність ланцюжка думок

Опубліковано Останнє оновлення 5 хв. читанняMike ThriftMike Thrift
Self-Consistency: вибіркове голосування за більшістю підвищує точність ланцюжка думок

Документ: https://arxiv.org/abs/2203.11171

Зміст цієї сторінки

LOG-009 розглядав PAL, який перекладає арифметику на інтерпретатор Python, щоб модель ніколи не мусила обчислювати самостійно. Self-consistency атакує ортогональну проблему: а що якщо модель міркує правильно здебільшого, але не завжди? Відповідь виявляється статистичною, а не архітектурною — і напрочуд ефективною.

Стаття​

"Self-Consistency Improves Chain of Thought Reasoning in Language Models" авторства Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery та Denny Zhou (ICLR 2023, arXiv:2203.11171) представляє стратегію декодування, яка замінює єдиний жадібний шлях ланцюжка думок голосуванням за більшістю серед багатьох вибраних шляхів. Інтуїція компактна: складна задача міркування зазвичай має одну правильну відповідь, але багато валідних шляхів до неї; неправильна відповідь частіше походить від ідіосинкратичних помилок, які не всі сходяться на тій самій помилці.

Метод підключається без змін. Візьміть будь-який наявний у вас запит ланцюжка думок (CoT), виберіть N завершень за ненульової температури, витягніть фінальну відповідь з кожного та поверніть відповідь за більшістю. Без донавчання, без додаткових моделей, без додаткових людських розміток.

Ключові ідеї​

  • Розмір вибірки та температура: Стаття використовує 40 шляхів міркувань на задачу за температури 0,7. Це не магічне число з пошуку гіперпараметрів — абляції показують, що приріст виходить на плато приблизно на 20–30 вибірках, тож 40 — консервативний вибір.
  • Основні прирости над стандартним CoT: GSM8K +17,9%, SVAMP +11,0%, AQuA +12,2%, StrategyQA +6,4%, ARC-challenge +3,9% — усе це абсолютні покращення точності з тією самою моделлю та запитом.
  • Результати GSM8K за моделями: На text-davinci-002 (GPT-3) self-consistency піднімає точність з 78,7% до 86,5%. На Codex — з 74,5% до 82,3%. Прирости узгоджені між родинами моделей.
  • Без витрат на навчання: Усе відбувається під час інференсу. Підхід працює з будь-яким чорноскриньковим API, де можна вибирати за температури > 0.
  • Голосування за більшістю для витягуваних відповідей: Агрегація чиста, коли відповіді дискретні (число, вибір літери). Для відкритої генерації стаття менш конкретна щодо визначення "найбільш узгодженого" — обмеження, яке автори визнають.

Що витримує перевірку — а що ні​

Емпіричні прирости реальні, широко відтворені, і метод справді корисний. Але кілька структурних слабкостей заслуговують на увагу.

По-перше, вартість зростає лінійно з кількістю вибірок. Вибірка 40 шляхів під час інференсу коштує 40× бюджету токенів одного шляху. Для задач, де важливі затримка та вартість API — агент, що обробляє сотні транзакцій за ніч — це не безкоштовно. Подальша робота (Early-Stopping Self-Consistency, ICLR 2024) вирішує це: зупиняючись, щойно голосування досягає порогу впевненості, можна скоротити вибірки на 80% на GSM8K без вимірюваної втрати точності. Базова стаття взагалі не обговорює вартість, що є дивним упущенням.

По-друге, припущення голосування за більшістю руйнується, коли модель систематично помиляється. Якщо модель послідовно неправильно читає конвертацію валют або неправильно застосовує податкове правило в усіх 40 шляхах, неправильна відповідь виграє голосування. Self-consistency підсилює найпоширенішу помилку, а не правильну. Це центральна епістемологічна прогалина: метод підвищує точність всередині розподілу переконань моделі, але нічого не робить для калібрування, коли цей розподіл зосереджений на неправильній відповіді.

По-третє, Wang & Wang (2025, arXiv:2503.16974) досліджують узгодженість LLM безпосередньо на фінансових та бухгалтерських задачах у 50 незалежних запусках. Вони виявляють, що бінарна класифікація та аналіз тональності вже майже ідеально відтворювані з однією вибіркою, тоді як складні задачі (прогнозування, генерація) показують реальну варіативність. Їхній практичний висновок: агрегування лише 3–5 запусків різко покращує узгодженість на складних задачах — набагато дешевша версія тієї самої ідеї self-consistency.

Чому це важливо для фінансового ШІ​

Операції з реєстром Beancount, що включають багатокрокову арифметику — податкові розрахунки, базу витрат з поправкою на курс валют, графіки амортизації, зіставлення рахунків-фактур — це саме ті задачі, де єдине жадібне декодування ненадійне, але правильна відповідь унікальна й перевірювана. Self-consistency — це дешеве втручання, яке має бути стандартом для будь-якої задачі фінансового агента, де вихід можна перевірити (чи баланс досі нульовий?).

Цікавіший висновок — архітектурний. Self-consistency перетворює інференс на ансамбль голосування. Для безпеки запису — коли агент вносить проведення в реєстр — я б ставив умову на впевненість більшості: проводити лише якщо 35 із 40 шляхів згодні. Незгода — це сигнал, що агент має ескалювати до людини замість запису. Це конкретний, реалізовний фільтр безпеки, який коштує бюджету інференсу, а не інженерної складності.

Режим відмови через систематичне зміщення особливо важливий для податкових і регуляторних правил, де моделі, як відомо, галюцинують деталі, специфічні для юрисдикції. У таких випадках PAL (LOG-009) — правильне рішення: повністю перекласти обчислення. Self-consistency та PAL доповнюють одне одного — PAL відповідає за арифметичну правильність; self-consistency відповідає за неоднозначність і надійність міркувань.

Що читати далі​

  • Tree of Thoughts: Deliberate Problem Solving with Large Language Models (Yao et al., 2023, arXiv:2305.10601) — розширює self-consistency від голосування за шляхами до пошуку за шляхами, що важливо, коли простір міркувань розгалужується, а не йде паралельно.
  • Escape Sky-high Cost: Early-stopping Self-Consistency for Multi-step Reasoning (Lei et al., ICLR 2024) — вирішення проблеми вартості; скорочує вибірку більш ніж на 80% на GSM8K, зберігаючи точність.
  • Universal Self-Consistency for Large Language Models (Chen et al., arXiv:2311.17311) — розширює голосування за більшістю на відкриту генерацію за допомогою судді-LLM, закриваючи прогалину в агрегації, яку оригінальна стаття залишає відкритою.

Джерело: https://beancount.io/uk/bean-labs/research-logs/2026/04/24/self-consistency-chain-of-thought

Опубліковано: 24 квітня 2026 р.

Останнє оновлення: 14 вересня 2026 р.