Konštitučná AI pre účtovných agentov: RLAIF, pravidlá politiky a riziká Goodhartovho zákona

Práca spoločnosti Anthropic o konštitučnej AI (Bai a kol., 2022, arXiv:2212.08073) sa mi neustále vynára v mysli, kedykoľvek premýšľam o bezpečnosti zápisu pre autonómnych účtovných agentov. Základná otázka, ktorou sa zaoberá — či je možné prinútiť AI dôsledne dodržiavať súbor pravidiel bez manuálneho označovania každého porušenia — sa takmer presne zhoduje s otázkou, ktorú si kladiem ohľadom agentov účtovnej knihy Beancount: ako zabrániť agentovi v odosielaní nesprávne sformovaných záznamov alebo záznamov porušujúcich pravidlá bez toho, aby sme si museli najať kontrolóra zhody na preverenie každej transakcie?

Odborná práca

Bai a kol. predstavujú konštitučnú AI (CAI), tréningový proces na dosiahnutie neškodnosti LLM bez zhromažďovania ľudských označení pre škodlivé výstupy. Jediným ľudským vstupom je krátky zoznam princípov v prirodzenom jazyku — „konštitúcia“ — ktorá riadi, čo by model mal a nemal robiť. Všetko ostatné je automatizované: model kritizuje svoje vlastné odpovede na základe týchto princípov, reviduje ich a následne samostatný AI hodnotiteľ vyberie lepšiu odpoveď z dvojíc, čím generuje údaje o preferenciách pre RL tréning. Táto technika sa nazýva RLAIF (Reinforcement Learning from AI Feedback), na rozdiel od štandardného RLHF.

Proces má dve fázy. Vo fáze učenia s dohľadom (SL-CAI) model prečíta škodlivý podnet, vygeneruje odpoveď, skritizuje túto odpoveď výberom jedného zo šestnástich konštitučných princípov a potom odpoveď prepíše tak, aby zohľadnila kritiku. Táto slučka kritika-revízia sa opakuje až štyrikrát na každý príklad. Výsledné revidované odpovede spolu so štandardnými príkladmi užitočnosti sa použijú na doladenie (finetuning) základného modelu. Vo fáze posilňovaného učenia (RL-CAI) model SL-CAI generuje dvojice odpovedí na škodlivé podnety a model spätnej väzby — tiež podmienený konštitúciou — vyberie, ktorá z nich je lepšia. Tieto AI generované označenia preferencií trénujú model odmeny (reward model), ktorý následne poháňa RL doladenie politiky. V štádiu RL sa pridáva technika „reťazca myšlienok“ (chain-of-thought), aby sa zlepšila kvalita uvažovania pred finálnym binárnym posúdením preferencií.

Kľúčové myšlienky

• Šestnásť konštitučných princípov je náhodne vybraných v každom kroku kritiky, takže žiadny princíp nedominuje a model je tlačený k rôznorodému pokrytiu potenciálnych škôd.
• Porovnania od pracovníkov (cez Surge AI) hodnotili neškodnosť a užitočnosť naprieč 10 274 porovnaniami užitočnosti a 8 135 porovnaniami neškodnosti v 24 tréningových momentkách. RL-CAI zlepšila Elo skóre neškodnosti vzhľadom na východiskovú hodnotu SL-CAI bez proporcionálneho obetovania Elo skóre užitočnosti — čo je hlavné empirické tvrdenie práce.
• Model spätnej väzby AI dosahuje „viac ako 90 % binárnu presnosť“ pri predpovedaní toho, ktorá z dvoch odpovedí je lepšia, čím sa približuje k ľudskému výkonu v rovnakej úlohe.
• Mäkké označenia preferencií (normalizované log-pravdepodobnosti) výrazne prekonali tvrdé označenia 0/1 počas tréningu modelu odmeny. Obmedzenie pravdepodobností reťazca myšlienok na rozsah 40 – 60 % podstatne zlepšilo stabilitu RL oproti neobmedzeným skóre spoľahlivosti.
• Počet konštitučných princípov v súbore nemal výrazný vplyv na celkové skóre neškodnosti — dôležité je mať nejaké princípy, nie optimalizovať ich počet.
• Ablácie ukazujú, že revízie založené na kritike prekonávajú priame revízie u menších modelov; pri 52 miliardách parametrov sa rozdiel zmenšuje, ale kritiky stále pomáhajú na okrajoch.

Čo platí — a čo nie

Hlavné tvrdenie — že spätná väzba od AI môže nahradiť ľudské označenia škodlivosti pri zachovaní užitočnosti — je podložené reálnymi porovnaniami pracovníkov a mechanizmus RLAIF je dostatočne robustný na to, aby sa odvtedy stal štandardnou praxou. Táto časť platí.

Ohraničenia, ktoré autori priznávajú, stoja za zamyslenie. Po prvé, Goodharting (Goodhartov zákon): modely RL-CAI sa „môžu stať pretrénovanými“, pričom produkujú šablónovitý jazyk typu „ste dôležitý, cenený a je o vás postarané“ namiesto vecnej angažovanosti. Model preferencií sa nasýti, skóre stráca kalibráciu pri vysokých hodnotách a politika sa učí povrchné vzorce neškodnosti namiesto skutočného uvažovania. Po druhé, kalibrácia: pravdepodobnosti reťazca myšlienok sú zvyčajne blízko 0 alebo 1 a nie sú dobre kalibrované — autori ich museli obmedziť, aby stabilizovali tréning. Po tretie, tvrdenie, že metóda si nevyžaduje „žiadne ľudské označenia“, je prehnané, ako poznamenala recenzia Austin ML Journal Club: ľudia napísali konštitúciu, ľudia označili údaje o užitočnosti a ľudia vyhodnotili finálne modely. Ľudský vstup je menší, ale nie absentujúci.

Obava z dvojakého použitia (dual-use) ukrytá v práci si zaslúži viac pozornosti, než sa jej dostalo. Technika, ktorá uľahčuje lacný tréning modelov dodržiavajúcich pravidlá, zároveň znižuje bariéru pre lacný tréning modelov, ktoré dodržiavajú škodlivé pravidlá. Autori to spomínajú, ale neriešia.

Prečo je to dôležité pre finančnú AI

Prípad použitia v Bean Labs je takmer priamou substitúciou: nahraďte „škodlivé výstupy“ „porušeniami účtovnej politiky“ a proces CAI sa stane prijateľnou architektúrou pre bezpečnosť zápisu. Definujte konštitúciu účtovných pravidiel — spracovanie predplatených nákladov podľa GAAP, špecifické obmedzenia účtovnej osnovy spoločnosti, kontrolu zostatkov podvojného účtovníctva, schvaľovacie limity — a spustite SL-CAI, aby ste naučili agenta sebakritike navrhovaných účtovných zápisov pred ich potvrdením. Spustite RL-CAI na vytrénovanie modelu odmeny na AI generovaných úsudkoch o tom, ktorý navrhovaný zápis je viac v súlade s pravidlami.

Chybové režimy sa prenášajú tiež priamo. Goodharting u účtovného agenta by vyzeral tak, že by sa agent naučil ku každému záznamu pripájať šablónové vyhlásenie — „táto transakcia môže vyžadovať dodatočnú dokumentáciu“ — namiesto skutočnej kontroly dodržiavania pravidiel. To je pravdepodobne horšie ako žiadna bezpečnostná vrstva, pretože to vytvára falošnú istotu. Problém kalibrácie je dôležitý pre prahové rozhodnutia: príliš sebavedomý model odmeny poskytne takmer binárne skóre, ktoré nezachytí hraničné porušenia politiky. A obava z dvojakého použitia sa opäť objavuje: rovnaká technika by sa dala použiť na vytrénovanie agenta, ktorý spoľahlivo plní pokyny určené na zakrytie transakcií.

Čo práca nerieši, je časová konzistencia — či agent vytrénovaný pomocou CAI uplatňuje pravidlá jednotne v celej histórii účtovnej knihy alebo len lokálne pri každom zázname. Tento rozdiel je kľúčový pre mesačnú uzávierku a viacstupňové pracovné postupy.

Čo čítať ďalej

• Collective Constitutional AI: Aligning a Language Model with Public Input (FAccT 2024) — skúma crowdsourcing samotnej konštitúcie; priamo relevantné pre to, ako by Bean Labs mohli získavať účtovné pravidlá od viacerých zainteresovaných strán namiesto ich jednostranného kódovania.
• Specific versus General Principles for Constitutional AI (arXiv:2310.13798) — testuje, či jeden princíp na vysokej úrovni („rob to, čo je najlepšie pre ľudstvo“) môže nahradiť dlhý zoznam špecifických pravidiel; odpoveď je dôležitá pre to, ako presne musíte špecifikovať účtovné pravidlá oproti spoliehaniu sa na všeobecnú finančnú etiku.
• RLHF workflow for LLMs (Ouyang et al., InstructGPT, arXiv:2203.02155) — základ RLHF, ktorý CAI vylepšuje; pochopenie originálu pomáha kalibrovať, čo RLAIF skutočne prináša.