La settimana scorsa ho trattato ReDAct, che indirizza le decisioni di un agente a un modello di fallback costoso quando l'incertezza di un modello economico supera una soglia calibrata. Quel documento fa molte affermazioni vaghe sull'"incertezza" — vale la pena fermarsi per capire cosa la comunità scientifica sappia realmente sulla sua misurazione e calibrazione. "A Survey of Confidence Estimation and Calibration in Large Language Models" di Geng et al. (NAACL 2024) è il punto di partenza giusto: una tassonomia sistematica di cosa funziona, cosa non funziona e cosa nessuno ha ancora misurato.
Il documento
Geng, Cai, Wang, Koeppl, Nakov e Gurevych esaminano la letteratura emergente sulla stima della confidenza e la calibrazione degli LLM in compiti che vanno dal QA a scelta multipla alla generazione a campo libero e alla traduzione automatica. Il problema centrale: gli LLM possono essere sia molto accurati che completamente inaffidabili in modi difficili da distinguere dall'esterno. La rassegna organizza lo spazio delle soluzioni in due rami principali — metodi white-box che sfruttano l'accesso agli stati interni del modello e metodi black-box che trattano il modello come opaco — e, all'interno di ciascuno, distingue ulteriormente tra la stima della confidenza e la sua calibrazione a posteriori.
Il documento è stato pubblicato a NAACL 2024 (pagine 6577–6595), revisionato a marzo 2024 da una sottomissione di novembre 2023 da un team che comprende TU Darmstadt, MBZUAI e la Mohamed bin Zayed University of AI.
Idee chiave
-
Confidenza white-box tramite logit: L'approccio più semplice utilizza probabilità a livello di token o log-verosimiglianza normalizzata per lunghezza come segnale di confidenza. Questi metodi funzionano ma affrontano un'ambiguità fondamentale: una bassa probabilità del token può riflettere una bassa confidenza fattuale o semplicemente una formulazione insolita — il modello potrebbe essere incerto sulla scelta delle parole pur essendo certo del fatto sottostante.
-
Confidenza black-box basata sulla consistenza (SelfCheckGPT): Manakul et al. (EMNLP 2023) campionano più completamenti e valutano la loro mutua consistenza usando BERTScore, NLI o sovrapposizione di n-grammi. Nessun accesso ai logit richiesto. L'intuizione chiave: per i fatti che l'LLM conosce bene, i campioni ripetuti convergono; per i fatti allucinati, divergono.
-
Entropia semantica: Farquhar et al. (Nature, 2024) raggruppano risposte semanticamente equivalenti prima di calcolare l'entropia. Un LLM potrebbe formulare "Parigi" e "la capitale francese" in modo diverso — l'entropia grezza a livello di token tratta queste come divergenti, l'entropia semantica no. Questo è un passo avanti qualitativo rispetto alla consistenza a livello di token che la rassegna contestualizza.
-
La confidenza verbalizzata è imperfetta: Quando viene chiesto di produrre una percentuale di confidenza, i modelli collassano in un eccesso di confidenza. Il lavoro empirico (Groot et al., TrustNLP at ACL 2024) rileva che GPT-3, GPT-3.5 e Vicuna mostrano tutti un Errore di Calibrazione Atteso (ECE) medio superiore a 0,377 per la confidenza verbalizzata, con previsioni concentrate nell'intervallo 90–100% indipendentemente dall'accuratezza effettiva. Persino GPT-4 — il modello meglio calibrato valutato — raggiunge un AUROC di solo circa il 62,7% quando utilizza la confidenza verbalizzata per discriminare risposte corrette da errate, appena sopra il caso.
-
Le tecniche di calibrazione variano per compito: Per la classificazione, la calibrazione contestuale (sottraendo il bias della probabilità a priori della classe stimato con un prompt vuoto "[N/A]") e il debiasing posizionale (PriDE) affrontano noti bias sistematici. Per la generazione, Sequence Likelihood Calibration (SLiC) ottimizza i modelli su completamenti classificati. La scalatura della temperatura — la più semplice correzione a posteriori — rimane competitiva in molti contesti.
-
Non esiste un benchmark unificato: L'osservazione strutturale più critica della rassegna: non esiste un singolo benchmark che copra i metodi di stima della confidenza tra compiti e domini. Ciò rende quasi impossibile confrontare rigorosamente i metodi. Il campo sta confrontando mele con arance.
Cosa regge — e cosa no
La tassonomia è solida. La distinzione white-box vs. black-box è genuinamente utile per la progettazione di sistemi, e il trattamento dei metodi basati su logit è onesto riguardo ai loro limiti — gli autori notano direttamente che la probabilità del token confonde la confidenza fattuale con l'incertezza lessicale. I professionisti sottovalutano questa confusione.
Dove la rassegna mi frustra: è in gran parte descrittiva. Non ci sono quasi benchmark sperimentali che confrontino i metodi testa a testa, e gli autori riconoscono esplicitamente questa come una limitazione. Posso andarmene con una chiara mappa dello spazio progettuale ma nessuna guida su quale metodo utilizzare per un nuovo compito.
I risultati sulla confidenza verbalizzata — AUROC di GPT-4 di circa il 62,7% sulla propria confidenza dichiarata — dovrebbero essere conoscenza canonica per chiunque implementi LLM in produzione. Non lo è. Le persone spediscono ancora prompt che chiedono "su una scala da 1 a 10, quanto sei sicuro?" e trattano la risposta come significativa. Non lo è.
La rassegna è anche scarsa sulla questione della calibrazione tramite RLHF: il post-addestramento con feedback umano rende i modelli meglio o peggio calibrati? Ci sono prove in entrambe le direzioni, e la rassegna lo ignora in gran parte.
Perché questo è importante per l'AI nella finanza
ReDAct basa la sua storia di sicurezza sull'avere un segnale di incertezza calibrato dal modello economico. La rassegna chiarisce quanto sia difficile in realtà. I segnali basati su logit sono disponibili in contesti white-box ma confondono incertezza lessicale e fattuale. I metodi basati sulla consistenza funzionano in contesti black-box ma richiedono più campioni per decisione — costosi per un agente Beancount ad alto rendimento che elabora un batch di voci di transazione.
Il risultato più attuabile per Bean Labs: l'entropia semantica raggruppa risposte semanticamente equivalenti prima di valutare la consistenza, che è precisamente ciò che conta per le voci di registro dove un modello potrebbe esprimere la stessa relazione dare/avere in forme sintatticamente distinte multiple. Un agente Beancount dovrebbe utilizzare il raggruppamento semantico sui completamenti campionati delle voci di registro — non la varianza grezza a livello di token — per rilevare quando sta allucinando un nome di conto o un importo.
Il fallimento di calibrazione della confidenza verbalizzata è un avvertimento diretto per qualsiasi interfaccia utente che mostri "quanto è sicuro l'AI?" all'utente: non fidarti del numero prodotto dal modello. Usa invece un calibratore esterno o un metodo basato sulla consistenza, o non mostrarlo affatto.
Cosa leggere dopo
- Farquhar et al., "Detecting hallucinations in large language models using semantic entropy," Nature, 2024 — il metodo più rigoroso che emerge da questo quadro di rassegna; vale la pena leggerlo per intero piuttosto che attraverso il riassunto della rassegna.
- Manakul et al., "SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models," EMNLP 2023 (arXiv:2303.08896) — il metodo canonico basato sulla consistenza; essenziale da capire prima di implementare qualsiasi segnale di confidenza black-box.
- Groot et al., "Overconfidence is Key: Verbalized Uncertainty Evaluation in Large Language and Vision-Language Models," TrustNLP at ACL 2024 (arXiv:2405.02917) — il controllo empirico più approfondito di come la confidenza verbalizzata si degrada tra modelli e compiti.