La pressione sugli agenti autonomi affinché siano sia economici che affidabili spinge in direzioni opposte: i modelli all'avanguardia sono affidabili ma costosi, i modelli piccoli sono economici ma soggetti a errori. Il documento ReDAct di Piatrashyn et al. (arXiv:2604.07036) propone una via di mezzo: eseguire un modello piccolo per impostazione predefinita e rinviare a un modello grande solo quando il modello piccolo è incerto. Lo sto leggendo perché la stessa tensione definisce ogni agente di write-back Beancount in produzione: vuoi che il sistema gestisca la categorizzazione di routine in modo economico e che faccia scalare i casi non ovvi prima che corrompano il registro.
Il documento
ReDAct (Reason-Defer-Act) si basa sul paradigma di prompting ReAct e introduce un'architettura agente a due modelli. Un modello piccolo ed economico — Qwen3-80B, Llama3.3-70B o Llama4-Maverick — gestisce ogni passaggio per impostazione predefinita. A ogni passaggio genera una traccia di ragionamento, quindi genera un'azione. Il sistema misura l'incertezza a livello di token solo sul passaggio di generazione dell'azione e la confronta con una soglia calibrata. Se l'incertezza supera tale soglia, il passaggio viene rieseguito da un modello grande ed costoso (GPT-5.2, Qwen3-235B o Qwen3-480B); altrimenti viene eseguita l'azione del modello piccolo.
Le misure di incertezza sono di natura teorica dell'informazione e richiedono solo le log-probabilità a livello di token: Probabilità di Sequenza (log-probabilità negativa sommata), Perplessità (normalizzata per lunghezza) ed Entropia Media dei Token (entropia media sulle posizioni dei token). La soglia viene calibrata da un set di rollout esclusi del modello piccolo scegliendo il valore che produce un numero target di chiamate al modello grande per episodio K.
Idee chiave
- Misurare l'incertezza al passaggio dell'azione, non al passaggio del ragionamento. Un esperimento ausiliario su 2.411 passaggi ALFWorld ha trovato che l'incertezza a livello di ragionamento ha uno scarso potere discriminante tra passaggi corretti e errati; la perplessità a livello di azione ha una ROC-AUC e un PRR misuratamente più alti come predittore di correttezza.
- Il rinvio PPL con Qwen3-80B + GPT-5.2 raggiunge l'80,8% ± 1,1% su ALFWorld, superando il solo GPT-5.2 al 78,3% ± 1,9%, con un costo di $16,25 contro $45,21 — circa il 64% più economico.
- ~15% dei passaggi vengono rinviati in pratica per soddisfare un target di calibrazione di circa il 10%; il divario deriva dal fatto che le traiettorie fallite (più corte) contribuiscono in modo sproporzionato al budget di rinvio.
- Il rinvio casuale allo stesso tasso ottiene il 77,0% — ancora meglio del solo modello piccolo (68,3%), ma peggiore del rinvio guidato da UQ. Il segnale di incertezza conta realmente, non solo il fatto di chiamare il modello grande più spesso.
- MiniGrid mostra meno margine di miglioramento. Qwen3-80B + GPT-5.2 con rinvio PPL raggiunge il 95,0% rispetto al 99,0% del solo GPT-5.2. Il vocabolario ridotto del compito crea un tetto più difficile per l'approccio di rinvio quando il modello piccolo è strutturalmente inadeguato.
- La distribuzione del rinvio dipende dal compito. ALFWorld rinvia di più nei passaggi successivi (storia del prompt più lunga), mentre MiniGrid mostra un pattern bimodale legato alla posizione iniziale dell'agente. Ciò significa che la calibrazione della soglia fissa generalizza meglio all'interno di una famiglia di compiti che tra famiglie di compiti.
Cosa regge — e cosa non regge
Il risultato empirico centrale è credibile: la perplessità sulla stringa di azione è un proxy ragionevole per stabilire se un dato passaggio sta per andare storto. La scomposizione ragionamento/azione in ReAct fornisce naturalmente un punto pulito per agganciare un segnale di incertezza, e l'esperimento ausiliario di previsione della correttezza fornisce una giustificazione meccanicistica genuina per la scelta progettuale.
Di ciò che sono meno convinto: il risultato "supera il solo modello grande" su ALFWorld. 80,8% ± 1,1% contro 78,3% ± 1,9% si sovrappongono a una deviazione standard. Gli autori attribuiscono questo a punti di forza complementari — il modello piccolo gestisce i passaggi di routine senza l'assunzione di rischi occasionale del modello grande — ma non c'è alcuna ablazione per passaggio per verificare questa narrazione. Potrebbe altrettanto facilmente essere rumore.
Anche la scelta del benchmark è limitante. ALFWorld e MiniGrid sono simulazioni domestiche testuali e navigazione in grid-world — ambienti ristretti che non esercitano la chiamata di strumenti, l'esecuzione di codice o il recupero multi-documento. Se il rinvio calibrato sull'incertezza regga in questi ambienti più ricchi (gli ambienti rilevanti per Beancount) rimane senza risposta. E la scelta di GPT-5.2 come modello grande rende difficili da riprodurre i numeri di costo.
La procedura di calibrazione ha una circolarità non affrontata: la soglia viene selezionata sulla stessa distribuzione su cui è stata calibrata, senza validazione su un set escluso. Gli autori riconoscono lo spostamento di distribuzione tra calibrazione (rollout del modello piccolo) e valutazione (rollout ibridi), ma lasciano la robustezza della soglia a lavori futuri.
Perché questo è importante per l'AI finanziaria
Gli agenti di write-back Beancount affrontano esattamente la stessa domanda di rinvio a ogni transazione. Un acquisto di generi alimentari di routine necessita di categorizzazione; uno swap di valuta estera multi-gamba insolito con un memo parzialmente corrispondente necessita di un umano. La pratica attuale è o l'automazione completa (rischiosa) o la revisione umana completa (costosa). Il framework di ReDAct suggerisce una via di mezzo percorribile: eseguire il modello economico e scalare quando la perplessità sulla voce di giornale candidata supera una soglia calibrata.
Il contesto finanziario aggiunge due considerazioni che il documento non affronta. In primo luogo, il rinvio qui dovrebbe spesso significare mettere in pausa e chiedere all'utente, non chiamare un LLM più grande — lo standard di correttezza del registro è l'intento dell'utente, non un punteggio di benchmark. In secondo luogo, l'irreversibilità di una voce Beancount impegnata è più alta di un oggetto fuori posto in ALFWorld. Il target di calibrazione K dovrebbe probabilmente essere regolato in modo conservativo verso una precisione inferiore sul modello piccolo prima di rinviare, non il contrario.
Il segnale di riduzione dei costi del 64% merita di essere preso sul serio anche con queste avvertenze. Se un agente Beancount elabora un mese di transazioni e solo il 15% delle decisioni di categorizzazione necessita del modello costoso, l'economia dell'esecuzione di un agente di write-back capace appare molto migliore.
Cosa leggere dopo
- KnowNo (Ren et al., 2023, CoRL): "Robots that ask for help: uncertainty alignment for large language model planners" — usa la previsione conforme per calibrare una garanzia di copertura su quando chiedere aiuto. ReDAct non lo confronta; comprendere il compromesso tra garanzie conformi e calibrazione della soglia è importante prima di scegliere un approccio di produzione. [arXiv:2307.01928]
- A Survey of Confidence Estimation and Calibration in Large Language Models (Guo et al., aggiornato, NAACL 2024) — tassonomia sistematica dei metodi di calibrazione a confidenza verbalizzata, basati su campionamento e post-hoc; il background teorico per decidere se la perplessità è il proxy di incertezza giusto o se una calibrazione logit calibrata funzionerebbe meglio. [arXiv:2311.08298]
- UALA: Uncertainty-Aware Language Agent (Han, Buntine, Shareghi) — applica una soglia di incertezza strutturalmente simile alla decisione di invocazione dello strumento (chiamare uno strumento vs fare affidamento sulla conoscenza del modello), riducendo le chiamate agli strumenti di oltre il 50%; il complemento diretto a ReDAct per l'asse dell'uso degli strumenti dell'incertezza dell'agente. [https://uala-agent.github.io/]