Препрочитам статията от 2022 г. на Wei и кол. за Chain-of-Thought (arXiv:2201.11903) с конкретен въпрос в ума: по-ранни експерименти показаха, че CoT prompting повишава точността, но вреди на пълнотата при откриване на финансови аномалии. Статията би трябвало да обясни защо — или поне да ми даде достатъчно механистична интуиция, за да формулирам хипотеза.
Статията
„Chain-of-Thought Prompting Elicits Reasoning in Large Language Models“ от Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma и колеги (Google Brain) е статията, която постави CoT на картата. Идеята е проста: вместо да искате от модела директно да скочи до отговора, му показвате няколко примера, в които отговорът е предшестван от изписана следа на разсъждение. След това моделът генерира собствена следа на разсъждение, преди да отговори.
Статията тества това върху аритметични (GSM8K, SVAMP, AQuA), изискващи здрав разум (CommonsenseQA, StrategyQA) и символни разсъждения (конкатенация на букви, хвърляне на монета) задачи в три големи езикови модела — PaLM 540B, GPT-3 175B и LaMDA 137B — и сравнява със стандартен few-shot prompting.
Ключови идеи
- GSM8K (математически текстови задачи): стандартният prompting с PaLM 540B постига 17.9%; CoT постига 56.9%, скок от 39 пункта. Това е зашеметяващ напредък по труден бенчмарк и това е водещият резултат, с който статията е известна.
- Конкатенация на букви: стандартен 7.6%, CoT 99.4%. За чисто символна манипулация CoT практически решава задачата при голям мащаб.
- CommonsenseQA: стандартен 78.1%, CoT 79.9%. Минимален напредък. Задачи, които не изискват многостъпкови изводи, не се възползват особено.
- Скалата на мащаба: CoT надеждно помага само при около 100B+ параметри. Под ~10B, добавянето на следа на разсъждение често вреди — моделът произвежда „гладки, но нелогични вериги на разсъждение“, които активно го подвеждат.
- Лесните задачи не показват полза: При MAWPS SingleOp (едностъпкова аритметика), PaLM 540B постига 94.1% и със стандартен, и с CoT prompting. Разсъждаващият овърхед не добавя стойност, когато задачата не изисква действително многостъпкови изводи.
- Няма гаранция за коректност: авторите са изрични, че LLM може да произведе привидно кохерентна следа на разсъждение, която води до грешен отговор. Следата и отговорът се генерират съвместно, като нито едно от двете не се проверява независимо.
Какво издържа — и какво не
Емпиричните резултати издържат. Печалбите при GSM8K са възпроизведени в последващи работи, прагът на мащаба съответства на това, което се наблюдава другаде, а числата за символно разсъждение са съвместими с това, което бихте очаквали от механиката на in-context learning. Тази статия е свършила истинска наука.
Това, което намирам за недостатъчно проучено, е асиметрията точност/пълнота. Wei и кол. показват обобщени числа за точността — те не разделят нивата на фалшиви положителни спрямо фалшиви отрицателни резултати. Но ако помислите как CoT променя разпределението на отговорите, механизмът е показателен: CoT подтиква модела да генерира и да се ангажира с път на разсъждение. Това стесняване на пространството на генериране вероятно повишава специфичността (точността) за сметка на покритието (пълнотата). Моделът произвежда по-малко отговори общо, а тези, които произвежда, са склонни да бъдат по-добре обосновани — но може да пропусне верни отговори, които не се вписват в чиста поетапна разказвателна структура. За откриване на аномалии във финансови данни, където класът „аномалия“ е рядък и нетипичен по дефиниция, това е точно моделът на провал, който бихте очаквали.
Статията също така оставя отворен механистичния въпрос. Авторите са внимателни да не твърдят, че моделът „всъщност разсъждава“ в някакъв силен смисъл. Дали CoT извлича истински многостъпкови изводи или сложен пряк път за разпознаване на образи, който имитира такива изводи, остава неразрешено. Доклад от Wharton от 2025 г., тестващ съвременни разсъждаващи модели (o3-mini, o4-mini), установи, че изричните CoT инструкции произвеждат само 2–3% маргинални печалби, а понякога намаляват „перфектната точност“, като предизвикват грешки по въпроси, на които моделът иначе би отговорил правилно. Прагът на мащаба от статията може да се е изместил, тъй като моделите са станали по-добри в имплицитното разсъждение — но проблемът с вариативността, при който CoT въвежда ненулев шанс да отклони иначе верен отговор, продължава да съществува.
Защо това е важно за AI във финансите
Три връзки с програмата на Bean Labs:
Първо, проблемът с безопасността при запис. Агент с CoT prompting, който обяснява разсъжденията си преди да предприеме действие в счетоводната книга, предоставя одитна следа — но следата на разсъждение не е гаранция за коректност. Агентът може да произведе правдоподобно изглеждащо обяснение за грешно действие. Това означава, че показването на потребителите на следа на разсъждение може да създаде фалшива увереност, вместо истинска одитируемост.
Второ, асиметрията при откриване на аномалии. Ако CoT повишава точността, но намалява пълнотата при задачи за откриване на редки събития, тогава за случаите на използване в Beancount — намиране на погрешно класифицирани транзакции, отбелязване на дублирани записи, засичане на нарушения на политики — наивното използване на CoT може да произведе по-малко фалшиви тревоги за сметка на пропускане на реални проблеми. Това е потенциално грешният компромис. Финансов агент, който уверено обяснява защо не е отбелязал нещо подозрително, е по-опасен от такъв, който свръхотбелязва.
Трето, зависимостта от мащаба. Ако производствените финансови агенти работят на по-малки модели поради разходи или латентност, печалбите от CoT се изпаряват — и могат да се обърнат. Всяка оценка на финансов агент, базиран на CoT, трябва да се извършва при същия мащаб на модела, който се използва в производството.
Какво да четете след това
- „Self-Consistency Improves Chain of Thought Reasoning in Language Models" (Wang и кол., 2022, arXiv:2203.11171) — взема проби от множество CoT пътища и използва гласуване с мнозинство; директно адресира проблема с вариативността, който Wei и кол. отбелязват
- „Large Language Models are Zero-Shot Reasoners" (Kojima и кол., 2022, arXiv:2205.11916) — показва, че „Нека помислим стъпка по стъпка“ без никакви примери също извлича разсъждение; тества границата на това, от което CoT действително се нуждае
- „Is Chain-of-Thought Reasoning of LLMs a 'Reasoning' or 'Searching' Process?" (arXiv:2508.01191) — директно атакува механистичния въпрос, който оригиналната статия оставя отворен
