PHANTOM (NeurIPS 2025) pone la domanda a cui più volevo risposta prima di fidarmi di un LLM per toccare un registro Beancount: un modello può davvero capire quando sta inventando cose riguardo un documento finanziario? I risultati non sono rassicuranti e le scelte metodologiche meritano un esame attento.
L'articolo
Lanlan Ji, Dominic Seyler, Gunkirat Kaur, Manjunath Hegde, Koustuv Dasgupta e Bing Xiang — per lo più affiliati a IBM Research — hanno costruito PHANTOM specificamente per colmare una lacuna lasciata aperta dai benchmark generici sulle allucinazioni. I benchmark standard sulle allucinazioni testano contesti brevi e puliti con domande ben formulate. I documenti finanziari sono l'opposto: un singolo deposito 10-K supera regolarmente i 100.000 token, i numeri sono precisi al centesimo e il linguaggio è denso di termini di dominio con significati non ovvi (EBITDA, ricavi differiti, avviamento). Il contributo principale è un dataset di triplette domanda-risposta-documento costruite da veri depositi SEC — relazioni annuali 10-K, depositi di fondi comuni 497K e dichiarazioni di delega DEF 14A — dove ogni risposta è corretta o deliberatamente allucinata, convalidata da annotatori umani. Il benchmark espande quindi questo set iniziale per testare lunghezze di contesto da circa 500 token fino a 30.000 token, e varia sistematicamente dove appaiono le informazioni rilevanti: all'inizio, al centro o alla fine del contesto.
Idee chiave
- Il compito è il rilevamento di allucinazioni, non la generazione di allucinazioni: dato un frammento di documento e una risposta, classificare se la risposta è fondata o fabbricata. Questo è un compito più semplice che generare una risposta fondata — eppure i modelli faticano ancora molto.
- La lunghezza del contesto conta molto. Il set iniziale utilizza frammenti di circa 500 token. Man mano che il contesto cresce a 10K, 20K e 30K token, le prestazioni calano significativamente in tutti i modelli — coerente con il risultato "Persi nel Mezzo" (arXiv:2307.03172) che gli LLM degradano quando le informazioni rilevanti sono sepolte in mezzo a un contesto lungo.
- Llama-3.3-70B-Instruct ottiene il punteggio F1 più alto di 0,916 sul dataset iniziale — ma gli autori segnalano che questo modello è stato anche utilizzato per generare il dataset iniziale, il che è un problema di circolarità che gonfia il numero.
- Qwen3-30B-A3B-Thinking ottiene F1 = 0,882, superando tutti i modelli closed-source testati. Il suo fratello non pensante Instruct ottiene 0,848, suggerendo che il calcolo a tempo di test (ragionamento a catena di pensiero) aggiunge valore reale qui.
- I modelli piccoli (Qwen-2.5-7B) ottengono punteggi solo leggermente superiori a una scelta casuale sul benchmark. Il rilevamento di allucinazioni su documenti finanziari lunghi sembra richiedere una capacità sostanziale del modello.
- La messa a punto di modelli open-source sui dati PHANTOM migliora sostanzialmente i loro tassi di rilevamento — l'articolo identifica questa come la direzione più promettente per i professionisti.
Cosa regge — e cosa no
La metodologia di costruzione è attenta. L'annotazione umana sul set iniziale, seguita da un'espansione sistematica attraverso lunghezze di contesto e posizioni di inserimento, conferisce a PHANTOM una struttura che manca alla maggior parte dei dataset finanziari NLP. La variazione di posizionamento in particolare è utile: permette di misurare se il fallimento di un modello riguarda la lunghezza totale del contesto o lo specifico pattern di attenzione a forma di U (forte all'inizio e alla fine, debole al centro) che è stato documentato in molte architetture LLM.
La circolarità di Llama-3.3-70B è un vero problema e gli autori meritano credito per averla segnalata — ma significa anche che il miglior risultato del benchmark non è interpretabile. Per i professionisti, i numeri più utili sono probabilmente i risultati di Qwen3 e Phi-4, dove non esiste tale contaminazione.
Cosa vorrei che l'articolo fornisse: la curva di degrado effettiva man mano che la lunghezza del contesto cresce da 500 a 30.000 token. L'articolo stabilisce che il degrado avviene e che il posizionamento conta, ma non sono riuscito a estrarre i punti percentuali specifici di calo dai materiali disponibili. Questa granularità è importante per decidere dove impostare la dimensione di un blocco di recupero in un sistema di produzione. Vale anche la pena notare che il benchmark testa solo se un modello rileva un'allucinazione in una risposta presentata — non testa se il modello allucinerà quando gli viene chiesto di produrre una risposta da zero. Questi sono diversi modi di fallimento correlati, e un sistema che ottiene un buon punteggio nel rilevamento può ancora fallire gravemente nella generazione.
Infine, il dataset copre tre tipi di depositi SEC. Questa è una fetta significativa dello spazio dei documenti finanziari, ma lascia fuori trascrizioni di chiamate sugli utili, rapporti di revisione, clausole di covenant in contratti di prestito e il tipo di descrizioni di scritture contabili ad hoc che riempiono un registro Beancount. La generalizzazione a questi formati è una domanda aperta.
Perché questo è importante per l'IA finanziaria
L'allucinazione è il problema di fiducia per ogni agente contabile autonomo che possa immaginare di costruire su Beancount. Lo scenario di scrittura contabile è il caso peggiore: un agente che legge un estratto conto bancario, classifica una transazione e registra una scrittura contabile. Se allucina il beneficiario, l'importo o il codice conto, il registro è silenziosamente errato. PHANTOM è il primo benchmark che abbia visto che cerca di misurare se i modelli possono individuare questa classe di errore in condizioni documentali realistiche.
La scoperta che i modelli piccoli (7B) si comportano quasi casualmente nel rilevamento di allucinazioni è direttamente rilevante per Bean Labs: se stiamo eseguendo un agente su dispositivo o a bassa latenza, non possiamo fare affidamento su un modello da 7B per auto-verificare il proprio output. Abbiamo bisogno di un modello di verifica più grande, di un controllo di recupero esterno o di un formato di output vincolato che renda le allucinazioni strutturalmente impossibili (ad esempio, forzando il modello a citare un numero di riga dal documento sorgente prima di registrare una voce). Il risultato della messa a punto è incoraggiante: l'adattamento specifico del dominio su dati in stile PHANTOM sembra recuperare gran parte della capacità di rilevamento anche per modelli più piccoli, il che suggerisce che un verificatore messo a punto potrebbe essere un componente pratico in una pipeline di scrittura contabile.
Cosa leggere dopo
- SelfCheckGPT (Manakul et al., arXiv:2303.08896) — rilevamento di allucinazioni basato su campioni senza un documento di riferimento; complementa l'approccio di PHANTOM basato su riferimenti e potrebbe generalizzare meglio ad annotazioni di registro aperte
- "Persi nel Mezzo" (Liu et al., arXiv:2307.03172) — l'articolo fondamentale sul degrado dell'attenzione posizionale in contesti lunghi; i risultati di posizionamento di PHANTOM sono essenzialmente una replica applicata di questo nel dominio finanziario
- FinanceBench (Islam et al., 2023) — il benchmark QA sui depositi SEC che ha mostrato GPT-4 Turbo con recupero fallire sull'81% di un campione di 150 casi; si abbina bene a PHANTOM come complemento lato generazione alla visione lato rilevamento di PHANTOM.