Il vincolo che limita la maggior parte degli agenti LLM non è l'intelligenza — è la memoria. Ho pensato a questo concretamente nel contesto dei registri Beancount che coprono anni di transazioni: non importa quanto capace sia il modello sottostante, una volta che la storia del registro supera la finestra di contesto, l'agente inizia a dimenticare. MemGPT (Packer et al., UC Berkeley, 2023) affronta questo problema direttamente prendendo in prestito una soluzione che i sistemi operativi hanno risolto decenni fa.
L'articolo
"MemGPT: Towards LLMs as Operating Systems" (Packer, Wooders, Lin, Fang, Patil, Stoica, Gonzalez; arXiv:2310.08560) propone la gestione del contestuale virtuale — un'analogia deliberata con il modo in cui i sistemi operativi creano l'illusione di una grande memoria virtuale paginando tra RAM veloce e disco lento. La finestra di contesto dell'LLM gioca il ruolo della RAM: scarsa, veloce, direttamente accessibile. Due archivi esterni giocano il ruolo del disco: un archivio di richiamo (cronologia dei messaggi recenti) e un archivio storico (un database ricercabile a lungo termine per testo arbitrario). L'agente stesso decide cosa leggere dall'archivio esterno e cosa espellere dal contesto, utilizzando chiamate di funzione esplicite — strumenti che spostano i dati tra i livelli. Il sistema attiva un avviso di espulsione al 70% della capacità del contesto e forza uno svuotamento al 100%, generando un riepilogo ricorsivo dei messaggi espulsi per evitare la perdita totale di informazioni.
L'articolo valuta MemGPT su due domini: agenti conversazionali multi-sessione (il dataset Multi-Session Chat) e analisi documentale su grandi corpora che superano la finestra di contesto nativa del modello.
Idee chiave
- Tre livelli di memoria: memoria di lavoro in contesto (veloce, limitata), archivio di richiamo (messaggi recenti, ricercabile) e archivio storico (a lungo termine, indicizzato). L'agente scrive su tutti e tre tramite chiamate di strumenti.
- Deep Memory Retrieval (DMR): il compito di valutazione che richiede un ricordo coerente attraverso più sessioni passate. Con GPT-4, la baseline standard a contesto fisso raggiunge il 32,1% di accuratezza; MemGPT la porta al 92,5%. Baseline GPT-4 Turbo: 35,3% → 93,4%.
- Recupero annidato chiave-valore: il test di resistenza dell'analisi documentale. Il GPT-4 standard raggiunge lo 0% di accuratezza a tre livelli di annidamento; MemGPT con GPT-4 mantiene le prestazioni effettuando ricerche iterative nell'archivio storico.
- Flusso di controllo tramite interruzioni: l'agente segnala quando ha bisogno di più tempo (per eseguire operazioni di memoria) prima di rispondere, analogamente a un'interruzione del sistema operativo. Ciò mantiene il sistema reattivo senza forzare tutto in un unico passaggio di inferenza.
- Il problema dell'espulsione: quando il contesto è pieno, il contenuto viene riepilogato e svuotato. Il riepilogo ricorsivo preserva l'essenza ma perde inevitabilmente i dettagli — un compromesso che l'articolo riconosce ma non quantifica completamente.
Cosa regge — e cosa no
I numeri del DMR sono sorprendenti: un divario di accuratezza di 60 punti tra MemGPT e una baseline standard GPT-4 sul dataset Multi-Session Chat non è rumore. Il risultato del KV annidato — le baseline falliscono allo 0% mentre MemGPT continua a funzionare — dimostra qualcosa di reale riguardo al valore del recupero iterativo e mediato da strumenti rispetto all'esposizione passiva a contesti lunghi. Questo si collega al risultato "Lost in the Middle" di Liu et al. (arXiv:2307.03172): anche quando le informazioni entrano fisicamente nella finestra di contesto, i modelli degradano per i contenuti sepolti nel mezzo. MemGPT aggira questo problema recuperando solo ciò che è immediatamente necessario.
Detto questo, la valutazione ha vere lacune. Il dataset Multi-Session Chat è limitato — chat di persona generate da umani con formati strettamente controllati. Come l'approccio scala a conversazioni reali più disordinate o corpora specifici di dominio (documenti finanziari, corrispondenza normativa) non è testato. L'archivio storico negli esperimenti è un semplice database vettoriale; se la qualità del recupero rimane alta man mano che l'archivio cresce fino a milioni di documenti rimane una questione aperta. Più fondamentalmente: la strategia di recupero dell'agente è valida solo quanto le sue query. Se l'agente non sa cosa non sa — una modalità di fallimento comune nei compiti a lungo termine — non emetterà mai la giusta ricerca nell'archivio storico, e l'intera architettura collassa elegantemente nella stessa modalità di fallimento a contesto fisso.
C'è anche un costo di latenza che l'articolo tratta con leggerezza. Ogni ricerca nell'archivio storico è un'ulteriore chiamata di inferenza LLM (per generare la query) più una ricerca vettoriale. Per un agente Beancount che gestisce una riconciliazione di routine su anni di dati, questo potrebbe moltiplicarsi in molti round-trip per risposta. L'articolo non riporta i confronti di latenza a tempo di clock.
Lavori successivi hanno affinato queste critiche. A-MEM (arXiv:2502.12110) afferma prestazioni almeno 2× migliori di MemGPT su compiti multi-hop, sostenendo che la struttura rigida dei livelli di MemGPT dà risultati inferiori rispetto a una curatela della memoria più dinamica. I benchmark di Mem0 (2024-2025) mostrano approcci concorrenti che superano MemGPT in accuratezza e velocità in alcune impostazioni. Gli autori originali hanno da allora evoluto il progetto in Letta (settembre 2024), un framework per agenti open-source con "calcolo in tempo di sonno" asincrono per il consolidamento della memoria — un riconoscimento implicito che il design sincrono a agente singolo ha limiti di scalabilità.
Perché questo è importante per l'AI finanziaria
Un registro Beancount per una piccola impresa accumula decine di migliaia di transazioni in un decennio. Un agente incaricato di una riconciliazione di fine anno, un'indagine su anomalie o un'analisi delle tendenze pluriennali non può contenere tutto nel contesto. Il design a tre livelli di MemGPT si mappa quasi direttamente: la memoria di lavoro contiene il lotto di transazioni corrente in esame; l'archivio di richiamo contiene il contesto della sessione recente (cosa stavamo riconciliando l'ultima volta); l'archivio storico contiene l'intera storia del registro, le scritture contabili e i rapporti di anomalie precedenti. L'interfaccia di chiamata di funzione per le operazioni di memoria è essenzialmente la stessa interfaccia di cui l'agente ha già bisogno per le operazioni di riscrittura — questa non è una nuova classe di capacità, ma solo una nuova applicazione dello stesso meccanismo di chiamata degli strumenti.
La rilevanza più profonda è il cambiamento di prospettiva: invece di chiedere "possiamo inserire più cose nel contesto?", MemGPT chiede "l'agente può gestire la propria attenzione?" Per la finanza, questa è la domanda giusta. Un controllo fiscale potrebbe sollevare una domanda su una transazione di tre anni fa. Un contabile umano competente recupera la fattura originale, la controlla incrociata con il registro e richiama il contesto politico di quell'anno. Quel comportamento di recupero su richiesta è esattamente ciò che MemGPT ci addestra a progettare.
L'avvertenza onesta: MemGPT non è stato valutato su dati finanziari, e i documenti finanziari sono strutturalmente diversi dalle chat di persona. La qualità del recupero su dati numerici densi, transazioni multi-valuta e schemi contabili a partita doppia avrà bisogno del suo benchmark.
Cosa leggere dopo
- Lost in the Middle: How Language Models Use Long Contexts (Liu et al., arXiv:2307.03172) — la base empirica per cui finestre di contesto più lunghe da sole non risolvono il problema; i modelli falliscono nell'attenzione al contenuto dei documenti centrali, il che motiva approcci basati sul recupero come MemGPT.
- A-MEM: Agentic Memory for LLM Agents (arXiv:2502.12110) — un successivo lavoro del 2025 che afferma prestazioni di memoria multi-hop superiori sostituendo la struttura rigida dei livelli di MemGPT con una curatela della memoria dinamica; un punto di confronto necessario.
- Gorilla: Large Language Model Connected with Massive APIs (arXiv:2305.15334) — il prossimo su questa lista di letture; il design di chiamata di strumenti aumentata da recupero lì completa la gestione della memoria di MemGPT affrontando come gli agenti selezionano lo strumento giusto da una vasta superficie API.