Sto riflettendo sul problema del "perso nel mezzo" da quando ho scritto il resoconto sulla scoperta originale di Liu et al.: se si passa un contesto lungo a un LLM, esso ignorerà sistematicamente le prove sepolte nel mezzo. "Trovato nel Mezzo: La Calibrazione del Bias di Attenzione Posizionale Migliora l'Utilizzo del Contesto Lungo" (Hsieh et al., ACL Findings 2024, arXiv:2406.16008) offre la soluzione più diretta e pratica che abbia visto: una calibrazione al momento dell'inferenza, senza bisogno di training, che sottrae il bias posizionale del modello dai suoi pesi di attenzione, recuperando fino a 15 punti percentuali di accuratezza RAG.
L'articolo
Hsieh et al. partono da un'osservazione diagnostica: gli LLM — anche quelli addestrati su contesti lunghi — mostrano un pattern di attenzione persistente a forma di U. I token all'inizio e alla fine dell'input ricevono un'attenzione sproporzionatamente alta indipendentemente dalla loro rilevanza, mentre i token nel mezzo sono sistematicamente sottopesati. Gli autori collegano questo empiricamente al calo di accuratezza del "perso nel mezzo", piuttosto che trattarlo come un fenomeno separato.
La loro soluzione è concettualmente elegante. Scompongono l'attenzione in due componenti additive: la rilevanza (ciò che vogliamo) e il bias posizionale (ciò che non vogliamo). Per isolare il termine di bias, passano un documento "fittizio" — contenuto di riempimento non informativo — attraverso lo stesso contesto in ogni posizione e registrano la distribuzione di attenzione risultante. L'attenzione su questo documento fittizio approssima il prior puramente posizionale. Sottraendolo dai punteggi di attenzione reali si ottiene un residuo che riflette meglio la vera rilevanza:
Attenzione calibrata = Attn(documento, k) − Attn(fittizio, k)
I punteggi riscalati vengono poi utilizzati per riordinare o ripesare i documenti recuperati prima del passaggio finale di generazione della risposta. È fondamentale notare che non è richiesto alcun training. La calibrazione viene applicata al momento dell'inferenza agli ultimi 16 strati del decoder e a tutte le teste di attenzione. Il costo è di O(K) passaggi forward aggiuntivi, dove K è il numero di documenti recuperati — non banale ma prevedibile.
Idee chiave
- Il bias di attenzione a forma di U è intrinseco all'architettura del modello e persiste anche in modelli esplicitamente addestrati con obiettivi di contesto lungo.
- Passare un documento fittizio (vuoto/rumoroso) attraverso lo stesso contesto di recupero isola il prior posizionale; sottrarlo rimuove il bias senza alcun fine-tuning.
- Il Recall@3 su NaturalQuestion (K=20, documento gold posizionato nel mezzo) passa dal 20,52% al 68,32% con la calibrazione; a K=10, dal 36,38% al 74,27%.
- L'accuratezza QA end-to-end migliora di 6–15 punti percentuali quando il documento gold è nel mezzo del contesto; i miglioramenti si mantengono in 22 delle 24 configurazioni sperimentali.
- Il metodo supera sei baselines di confronto: attenzione vanilla, ranking basato sulla generazione di query, prompting basato sulla generazione di rilevanza, ordinamento per attenzione (Peysakhovich & Lerer 2023), riordinamento dei prompt e LongLLMLingua-rk.
- Il metodo è stato valutato su NaturalQuestion (2.655 query reali su Wikipedia) e SynthWiki (990 voci sintetiche generate da GPT-4).
Cosa regge — e cosa no
Il risultato centrale è sorprendente e ci credo. Un divario di Recall@3 dal 20,52% al 68,32% per i documenti gold nel mezzo del contesto non è il tipo di numero che svanisce sotto esame — sta misurando qualcosa di reale su come viene distribuita l'attenzione. Il design senza training è un genuino vantaggio pratico: puoi applicarlo a qualsiasi pipeline RAG esistente senza toccare i pesi del modello.
Detto questo, ho alcune riserve. Primo, l'approccio del "documento fittizio" presuppone che il bias posizionale sia approssimativamente separabile per posizione e additivo — una scomposizione lineare che gli stessi autori segnalano come potenzialmente eccessivamente semplificata. Il bias di attenzione reale potrebbe interagire con il contenuto in modi non lineari. Secondo, gli O(K) passaggi forward aggiuntivi sono considerati "accettabili" ma non sono mai stati sottoposti a benchmark per latenza o costo. In un sistema di produzione con K=20 recuperi, stai eseguendo 21 passaggi forward invece di 1 per query. Per un agente Beancount che smista centinaia di transazioni, questo moltiplicatore è importante.
Terzo — e questa è la limitazione più interessante — gli autori notano che il bias posizionale potrebbe effettivamente essere utile per certi compiti. Il bias per la recenza, ad esempio, potrebbe essere ciò che fa sì che un modello pesi correttamente le voci di registro recenti rispetto a quelle più vecchie. Rimuovere il bias indiscriminatamente potrebbe danneggiare i compiti in cui la posizione è un segnale valido. Questo viene riconosciuto ma non studiato.
Infine, gli esperimenti utilizzano NaturalQuestion e un dataset sintetico. I documenti specifici della finanza — tabelle dense, dichiarazioni pluriennali, voci di registro con struttura ripetitiva — sono molto diversi dai passaggi di Wikipedia a dominio aperto. La calibrazione dovrebbe essere validata su queste distribuzioni prima di sostenere che funzionerà per il RAG finanziario.
Perché questo è importante per l'AI finanziaria
La connessione diretta è chiara: ogni resoconto da DocFinQA in poi ha ruotato attorno allo stesso problema. Quando un agente Beancount recupera 20 voci di registro rilevanti per rispondere a una domanda come "riconciliare marzo con l'estratto conto bancario", le voci nel mezzo della finestra recuperata riceveranno sistematicamente meno attenzione rispetto alle voci all'inizio e alla fine del contesto. Questo non è un fallimento del recupero — è un fallimento lato generazione che nessun miglioramento nel ranking del recupero risolverà.
La calibrazione "trovato nel mezzo" è una mitigazione plausibile che non richiede alcun riaddestramento del modello sottostante e potrebbe essere applicata direttamente all'interno del passo di generazione di qualsiasi pipeline di QA su registri. La preoccupazione per il costo O(K) è reale ma gestibile — una finestra di recupero di 20 documenti con un modello di dimensioni moderate è ancora ben entro limiti pratici. Ciò che vorrei vedere prima di implementarlo è una validazione su dati strutturati di Beancount specificamente: la correzione posizionale aiuta in modo uniforme o sopprime inavvertitamente il segnale di recenza che rende le transazioni recenti più affidabili di quelle vecchie?
Il principio più ampio — che i meccanismi di attenzione codificano priori posizionali indipendentemente dalla rilevanza del contenuto, e che questi priori possono essere calibrati senza riaddestramento — è un principio da tenere a mente. Apre la porta a calibrazioni simili per altri bias: bias di frequenza dei token, normalizzazione della lunghezza dell'input, bias di verbosità nella generazione.
Cosa leggere dopo
- "Mitigate Position Bias in LLMs via Scaling a Single Hidden States Channel" (arXiv:2406.02536, ACL Findings 2025) — propone di scalare una singola dimensione dello stato nascosto piuttosto che sottrarre i punteggi di attenzione; vale la pena confrontarlo direttamente con l'approccio di "trovato nel mezzo".
- "Large Language Models for Anomaly and Out-of-Distribution Detection: A Survey" (arXiv:2409.01980, NAACL 2025) — prossimo nella lista di lettura; collega il filone di AnoLLM, CausalTAD e AD-LLM in una tassonomia unificata.
- Liu et al., "Lost in the Middle: How Language Models Use Long Contexts" (arXiv:2307.03172, TACL 2023) — la diagnosi originale a cui "trovato nel mezzo" risponde; lettura di base essenziale.