La maggior parte dei benchmark di intelligenza artificiale in ambito finanziario verifica se gli LLM sono in grado di rispondere a domande su dati finanziari. InvestorBench pone una domanda più difficile: un agente LLM può fare soldi? È il primo benchmark che abbia visto che sottopone 13 diversi modelli backbone a compiti di trading reali (backtestati) su azioni, criptovalute ed ETF, misurando il rendimento cumulativo e l'indice di Sharpe anziché l'accuratezza nel rispondere a domande. Questo passaggio dalla comprensione al processo decisionale è l'impostazione corretta per Bean Labs.
L'articolo
InvestorBench (Li et al., arXiv:2412.18174, ACL 2025) introduce un benchmark e un framework per agenti associato per valutare gli LLM nel trading finanziario. L'architettura dell'agente è modulare: un Cervello (il backbone LLM), un livello di Percezione che converte i dati di mercato in testo, e un sistema di Memoria a livelli con tre finestre di decadimento: 14 giorni per le notizie quotidiane, 90 giorni per i rapporti trimestrali, e 365 giorni per le dichiarazioni annuali. Al momento della decisione, l'agente recupera informazioni da tutti e tre i livelli e ragiona per arrivare a un'azione di acquisto/vendita/mantenimento.
Il benchmark copre tre famiglie di compiti su singoli asset. Il trading di azioni utilizza sette titoli (MSFT, JNJ, TSLA, AAPL, ecc.) testati da ottobre 2020 a maggio 2021. Il trading di criptovalute copre Bitcoin ed Ethereum da aprile a novembre 2023. Il trading di ETF utilizza il dataset NIFTY da gennaio a settembre 2020. Ogni compito fornisce dati OHLCV, articoli di notizie con etichette di sentiment e dichiarazioni SEC o equivalenti. Le metriche principali sono il rendimento cumulativo (CR) e l'indice di Sharpe (SR).
Idee chiave
- Il design della memoria a livelli (finestre di decadimento di 14/90/365 giorni) rispecchia il modo in cui gli analisti professionisti trattano effettivamente le informazioni: l'azione dei prezzi quotidiana, gli utili trimestrali e il contesto strategico annuale hanno pesi temporali diversi.
- La dimensione del modello è il predittore più forte delle performance. I modelli open-source con oltre 67 miliardi di parametri eguagliano i modelli proprietari in termini di CR e SR sulle azioni, mentre i modelli più piccoli sono significativamente indietro. Qwen2.5-72B è in cima alla classifica delle azioni con un CR del 46,15% e un SR di 1,276 rispetto a un benchmark buy-and-hold del 34,10% di CR e 0,732 di SR.
- L'ottimizzazione per dominio specifico si ritorce contro con le azioni. Palmyra-Fin-70B — un modello pre-addestrato sulla finanza — ha ottenuto in media un CR di -0,45% e un SR di 0,031 sul trading azionario, peggio di ogni modello generico testato. Palmyra-Fin-70B ha invece performato bene sugli ETF (24,76% di CR, 1,152 di SR), cosa che gli autori attribuiscono al fatto che i compiti sugli ETF richiedono un ragionamento a più lungo orizzonte, allineato con il suo addestramento.
- I modelli proprietari (GPT-4, GPT-4o, GPT-o1-preview) hanno ottenuto in media sulle azioni un CR del 36,14% e un SR di 0,82, stabilmente al di sopra del buy-and-hold ma non in modo drammatico. Il loro vantaggio maggiore si vede nelle criptovalute, dove hanno raggiunto un CR del 23,60% su BTC contro il 21,82% del buy-and-hold, mentre i modelli open-source hanno ottenuto in media il 14,14%.
- Il benchmark è open-source e include strumenti di valutazione — un contributo praticamente utile, data la difficoltà di riprodurre esperimenti di trading.
Cosa regge — e cosa no
L'architettura di memoria a livelli è la scelta di design più solida dell'articolo, e il risultato empirico che supera il recupero basato puramente sulla similarità è plausibile e utile. Anche la correlazione tra dimensione e performance è un risultato pulito.
Il punto debole principale è che i periodi di test sono brevi backtest storici, non trading reale. Il periodo azionario (ottobre 2020–maggio 2021) coincide con uno dei mercati rialzisti più anomali mai registrati: gli stimoli post-COVID, la frenesia dei meme stock e i tassi vicini allo zero hanno spinto una diffusa crescita delle azioni. Il buy-and-hold ha guadagnato il 34,10% in circa sette mesi su un paniere di sette titoli. Se i miglioramenti degli agenti LLM rispetto a quel numero riflettano un genuino alpha o semplicemente un posizionamento più aggressivo in un mercato in rialzo non può essere determinato dai dati forniti. Allo stesso modo, il periodo degli ETF copre il crollo del COVID e la successiva ripresa — un regime così anormale che qualsiasi modello che fosse andato in difensiva a marzo 2020 sarebbe apparso profetico.
L'anomalia di Palmyra-Fin-70B — catastrofica con le azioni, forte con gli ETF — non è spiegata in modo soddisfacente. Se l'ottimizzazione per dominio riallinea un modello verso orizzonti temporali più lunghi, ciò dovrebbe manifestarsi anche nei risultati sulle azioni. Il fatto che non accada suggerisce che il risultato potrebbe essere rumore in una finestra di backtest breve, piuttosto che un risultato solido.
Inoltre, non esiste un confronto con baselines algoritmiche tradizionali (momentum, mean-reversion, modelli fattoriali). Utilizzare solo il buy-and-hold come baseline passiva stabilisce un livello basso. Se un semplice incrocio di medie mobili supera il buy-and-hold in questi periodi — cosa che spesso accade in mercati in trend — il confronto con gli agenti appare molto meno impressionante.
Infine, il benchmark testa solo decisioni su singoli asset. La gestione reale di un portafoglio richiede un dimensionamento correlato delle posizioni, un ribilanciamento e un'aggregazione del rischio che i compiti su singoli asset non catturano.
Perché questo è importante per l'AI finanziaria
L'architettura di memoria a livelli si traduce direttamente in Beancount. Un agente per la contabilità deve ragionare a diverse scale temporali simultaneamente: cosa è successo nella sessione di importazione di oggi (superficiale), cosa un trimestre di transazioni rivela su un budget (intermedio), e cosa i modelli pluriennali dicono sulla salute di un conto (profondo). La stratificazione 14/90/365 giorni di InvestorBench fornisce un modello di design concreto da prendere in prestito, anche se il contesto del trading differisce dalla contabilità.
Il risultato di Palmyra-Fin-70B contiene anche un avvertimento per gli sforzi di ottimizzazione di Beancount. Un modello addestrato estesamente su testi finanziari non prende automaticamente decisioni migliori come agente — il divario tra fluidità nel linguaggio finanziario e competenza nel ragionamento finanziario è reale. Se Bean Labs dovesse mai ottimizzare un modello sulla sintassi di Beancount e sulle regole contabili, la valutazione dell'agente deve testare la qualità delle decisioni, non solo il formato dell'output.
L'assenza nel benchmark di una valutazione della sicurezza nel non alterare dati (write-back safety) è un vuoto netto che Bean Labs può colmare. Gli agenti di InvestorBench possono solo perdere denaro; gli agenti di Beancount possono corrompere un libro mastro. Il framework di valutazione necessita di una dimensione di irreversibilità che i benchmark di trading non hanno motivo di includere.
Cosa leggere dopo
- FinMem: A Performance-Enhanced LLM Trading Agent with Layered Memory and Character Design (Yu et al., arXiv:2311.07743) — l'architettura di memoria a livelli che InvestorBench estende; leggere il design originale chiarisce cosa InvestorBench aggiunga effettivamente.
- TradingAgents: Multi-Agents LLM Financial Trading Framework (OpenReview 2024) — esplora il trading multi-agente basato sul dibattito, un diretto contrasto con il risultato su singolo agente del log della scorsa settimana.
- StockBench: Can LLM Agents Trade Stocks Profitably in Real-world Markets? (arXiv:2510.02209) — si dice valuti gli agenti su dati di mercato forward-looking in tempo reale, piuttosto che su backtest storici; affronta la preoccupazione di bias di sopravvivenza che ho sollevato qui.