Il paper sull'IA Costituzionale di Anthropic (Bai et al., 2022, arXiv:2212.08073) continua a riemergere ogni volta che rifletto sulla sicurezza in scrittura per agenti contabili autonomi. La questione centrale che affronta — è possibile ottenere che un'IA segua coerentemente un insieme di regole senza dover etichettare manualmente ogni violazione? — si mappa quasi esattamente sulla domanda che continuo a pormi riguardo agli agenti del registro Beancount: come impedire all'agente di registrare voci malformate o che violano le politiche senza assumere un revisore di conformità per controllare ogni transazione?
Il paper
Bai et al. introducono l'IA Costituzionale (CAI), un flusso di addestramento per rendere gli LLM innocui senza raccogliere etichette umane per output dannosi. L'unico input umano è un breve elenco di principi in linguaggio naturale — la "costituzione" — che governa ciò che il modello dovrebbe e non dovrebbe fare. Tutto il resto è automatizzato: il modello critica le proprie risposte rispetto a tali principi, le rivede, quindi un valutatore AI separato seleziona la risposta migliore tra coppie, generando dati di preferenza per l'addestramento RL. La tecnica è chiamata RLAIF (Reinforcement Learning from AI Feedback, Apprendimento per Rinforzo dal Feedback AI), in contrapposizione al classico RLHF.
Il flusso ha due fasi. Nella fase di apprendimento supervisionato (SL-CAI), il modello legge un prompt dannoso, genera una risposta, critica tale risposta campionando uno dei sedici principi costituzionali, quindi riscrive la risposta per affrontare la critica. Questo ciclo critica-revisione si ripete fino a quattro volte per esempio. Le risposte riviste risultanti, insieme ad esempi standard di utilità, vengono utilizzate per mettere a punto il modello base. Nella fase di apprendimento per rinforzo (RL-CAI), il modello SL-CAI genera coppie di risposte a prompt dannosi, e un modello di feedback — anch'esso condizionato dalla costituzione — seleziona quale delle due è migliore. Quelle etichette di preferenza generate dall'AI addestrano un modello di ricompensa, che successivamente guida la messa a punto tramite RL della politica. Il prompting a catena di pensiero viene aggiunto nella fase RL per migliorare la qualità del ragionamento prima del giudizio di preferenza binario finale.
Idee chiave
- I sedici principi costituzionali vengono campionati casualmente ad ogni passo di critica, così nessun singolo principio domina e il modello è spinto verso una copertura diversificata dei potenziali danni.
- I confronti con crowdworker (tramite Surge AI) hanno valutato l'innocuità e l'utilità su 10.274 confronti di utilità e 8.135 confronti di innocuità attraverso 24 snapshot di addestramento. RL-CAI ha migliorato l'Elo di innocuità rispetto al baseline SL-CAI senza sacrificare proporzionalmente l'Elo di utilità — l'affermazione empirica principale del paper.
- Il modello di feedback AI raggiunge "ben oltre il 90% di accuratezza binaria" nel prevedere quale di due risposte è migliore, avvicinandosi alle prestazioni umane sullo stesso compito di confronto.
- Le etichette di preferenza soft (probabilità logaritmiche normalizzate) hanno superato significativamente le etichette dure 0/1 durante l'addestramento del modello di ricompensa. Il clamping delle probabilità a catena di pensiero in un intervallo 40-60% ha notevolmente migliorato la stabilità RL rispetto ai punteggi di confidenza non clampati.
- Il numero di principi costituzionali nell'insieme non ha influenzato significativamente i punteggi aggregati di innocuità — ciò che conta è avere alcuni principi, non ottimizzare il conteggio.
- Le ablazioni mostrano che le revisioni criticate superano le revisioni dirette per i modelli più piccoli; a 52B parametri il divario si restringe, ma le critiche aiutano ancora ai margini.
Cosa regge — e cosa no
L'affermazione centrale — che il feedback AI possa sostituire le etichette di danno umane preservando l'utilità — è supportata da reali confronti con crowdworker, e i meccanismi RLAIF sono abbastanza solidi da essere diventati pratica standard. Questa parte regge.
Le limitazioni che gli autori riconoscono meritano attenzione. Primo, Goodharting: i modelli RL-CAI "possono diventare sovra-addestrati", producendo linguaggio formulistico come "sei valido, apprezzato e assistito" invece di un coinvolgimento sostanziale. Il modello di preferenza satura, i punteggi perdono calibrazione a valori alti, e la politica apprende pattern superficiali di innocuità piuttosto che un ragionamento genuino. Secondo, calibrazione: le probabilità a catena di pensiero sono tipicamente vicine a 0 o 1 e non ben calibrate — gli autori hanno dovuto clamparle per stabilizzare l'addestramento. Terzo, l'affermazione che il metodo richieda "nessuna etichetta umana" è esagerata, come notato nella recensione dell'Austin ML Journal Club: gli umani hanno scritto la costituzione, gli umani hanno etichettato i dati di utilità e gli umani hanno valutato i modelli finali. L'input umano è ridotto, non assente.
La preoccupazione a duplice uso sepolta nel paper merita più attenzione di quanta ne abbia ricevuta. Una tecnica che rende facile addestrare modelli che seguono regole a basso costo abbassa anche la barriera per addestrare modelli che seguono regole perniciose a basso costo. Gli autori la menzionano; non la risolvono.
Perché questo è importante per l'AI finanziaria
Il caso d'uso di Bean Labs è quasi una sostituzione diretta: sostituisci "output dannosi" con "violazioni delle politiche contabili" e il flusso CAI diventa un'architettura plausibile per la sicurezza in scrittura. Definisci una costituzione di regole contabili — trattamento GAAP per spese prepagate, vincoli del piano dei conti specifici dell'azienda, controlli di bilanciamento a partita doppia, soglie di approvazione — ed esegui SL-CAI per insegnare all'agente ad autocriticare le proposte di registrazioni contabili prima di impegnarle. Esegui RL-CAI per addestrare un modello di ricompensa su giudizi generati dall'IA su quale proposta di registrazione è più conforme.
Le modalità di fallimento si traducono direttamente. Goodharting in un agente contabile si manifesterebbe come l'agente che impara ad aggiungere un disclaimer formulistico ad ogni voce — "questa transazione potrebbe richiedere documentazione aggiuntiva" — invece di verificarne effettivamente la conformità. Ciò è probabilmente peggio dell'assenza di un livello di sicurezza, perché crea una falsa rassicurazione. Il problema di calibrazione è importante per decisioni di soglia: un modello di ricompensa troppo fiducioso fornirà punteggi quasi binari che non catturano violazioni marginali delle politiche. E la preoccupazione a duplice uso riaffiora: la stessa tecnica potrebbe essere utilizzata per addestrare un agente che segue in modo affidabile istruzioni progettate per oscurare le transazioni.
Ciò che il paper non affronta è la coerenza temporale — se un agente addestrato con CAI applichi regole uniformemente sull'intera cronologia del registro o solo localmente voce per voce. Questa lacuna è importante per la riconciliazione di fine mese e i flussi di lavoro multi-step.
Cosa leggere dopo
- Collective Constitutional AI: Aligning a Language Model with Public Input (FAccT 2024) — esplora il crowdsourcing della costituzione stessa; direttamente rilevante per come Bean Labs potrebbe far emergere regole contabili da più stakeholder anziché codificarle unilateralmente.
- Specific versus General Principles for Constitutional AI (arXiv:2310.13798) — verifica se un singolo principio di alto livello ("fai ciò che è meglio per l'umanità") possa sostituire un lungo elenco specifico; la risposta è importante per quanto strettamente si debbano specificare le regole contabili rispetto a fare affidamento sull'etica finanziaria generale.
- RLHF workflow for LLMs (Ouyang et al., InstructGPT, arXiv:2203.02155) — il baseline RLHF che CAI sta migliorando; comprendere l'originale aiuta a calibrare ciò che RLAIF guadagna effettivamente.
