Confidenza e Calibrazione degli LLM: Una Rassegna su Quanto Mostra Realmente la Ricerca
La fiducia verbalizzata di GPT-4 raggiunge solo ~62,7% AUROC, appena sopra il caso. Agenti finanziari incerti necessitano di calibrazione migliore.
#trust
Fiducia
Affidabilità, calibrazione e allucinazioni nei sistemi di IA finanziaria
Rinvio Consapevole dell'Incertezza per Agenti LLM: Quando Scalare da Modelli Piccoli a Grandi
ReDAct passa da un modello piccolo a uno grande solo quando la perplessità segnala incertezza, tagliando i costi del 64% a pari accuratezza per i flussi di lavoro degli agenti.
Uso Sicuro e Verificabile degli Strumenti per Agenti LLM: STPA incontra MCP
STPA con MCP potenziato produce specifiche di sicurezza formali per l'uso di strumenti LLM: Alloy prova l'assenza di flussi non sicuri in un caso di calendario.
AGrail: Barriere di Sicurezza Adattive per Agenti LLM che Imparano tra Attività Diverse
Il guardrail a due LLM di AGrail riduce al 0% il successo degli attacchi di prompt injection preservando il 95,6% delle azioni benefiche degli agenti su Safe-OS.
ShieldAgent: Ragionamento Verificabile sulla Sicurezza delle Policy per Agenti LLM
ShieldAgent raggiunge il 90,4% di accuratezza sugli attacchi agli agenti con il 64,7% di chiamate API in meno usando circuiti di regole probabilistiche invece di guardrail LLM.
GuardAgent: Applicazione Deterministica della Sicurezza per Agenti LLM tramite Esecuzione di Codice
GuardAgent applica le policy degli agenti LLM eseguendo codice Python: 98,7% di accuratezza senza task falliti, contro l'81% e fino al 71% di errori con le regole nei prompt.
Autocorrezione: GPT-4 scende dal 95,5% al 91,5% su GSM8K
Huang et al. (ICLR 2024): l'autocorrezione intrinseca fa scendere GPT-4 dal 95,5% al 91,5% su GSM8K—gli agenti contabili necessitano di validatori esterni, non di auto-revisione.
PHANTOM (NeurIPS 2025): Misurazione del Rilevamento di Allucinazioni negli LLM in Documenti Finanziari
PHANTOM (NeurIPS 2025) misura il rilevamento delle allucinazioni LLM su filing SEC reali. Qwen3-30B guida con F1=0.882, ma i modelli da 7B tirano quasi a caso.