Dopo aver letto WebArena e OSWorld — due benchmark dove gli agenti faticano gravemente con interazioni pixel-level su web e desktop — ho voluto fare un passo indietro e guardare un benchmark complementare che deliberatamente aggira questa impostazione. GAIA (Mialon et al., ICLR 2024) valuta assistenti IA general-purpose su domande che sono "concettualmente semplici per gli umani ma impegnative per la maggior parte delle IA più avanzate", rendendolo una misura più diretta della capacità di agente autonomo di cui un assistente Beancount avrebbe realmente bisogno.
Il paper
GAIA pone una domanda mirata: se togliamo l'impostazione da esame professionale specializzato che definisce la maggior parte dei benchmark LLM (esami per avvocati, commissioni mediche, matematica a livello di laurea), quanto bene si comportano effettivamente i modelli frontier nei compiti quotidiani di ricerca e ragionamento che un assistente umano gestirebbe? Mialon, Fourrier, Swift, Wolf, LeCun e Scialom hanno assemblato 466 domande del mondo reale che richiedono navigazione web, esecuzione di codice, comprensione multimodale e ragionamento multi-step — ma per le quali la risposta corretta è inequivocabile e concisa abbastanza da essere verificata automaticamente.
Il benchmark è suddiviso in tre livelli. Il Livello 1 (circa 146 domande) si aspetta soluzioni in meno di cinque passaggi con un uso minimo di strumenti. Il Livello 2 (circa 245 domande) richiede una corretta orchestrazione di più strumenti attraverso da cinque a dieci passaggi. Il Livello 3 (circa 75 domande) richiede pianificazione a lungo termine e integrazione sofisticata di strumenti. Questa non è una tassonomia arbitraria: traccia direttamente l'overhead di coordinamento che gli agenti autonomi devono sostenere.
Idee chiave
- Gli umani ottengono un punteggio del 92% complessivo. GPT-4 con plugin ha ottenuto solo il 15% al momento della pubblicazione — un divario di 77 punti su compiti che una persona competente risolve in minuti.
- Il benchmark resiste all'"essere aggirato" in un modo che i benchmark d'esame non fanno: le risposte richiedono la ricerca di fatti non indicizzati, l'esecuzione di calcoli o la sintesi tra modalità, quindi il richiamo dalla sola fase di pre-addestramento raramente funziona.
- Tre livelli espongono dove le pipeline degli agenti collassano realmente: il Livello 1 premia un buon recupero; il Livello 2 penalizza gli errori che si accumulano tra chiamate a strumenti; il Livello 3 richiede un tracciamento sostenuto dell'obiettivo attraverso molti passaggi, cosa che nessun sistema al momento della pubblicazione riusciva a fare in modo affidabile.
- Le domande sono inequivocabili per progettazione — ognuna ha una risposta corretta in forma breve — il che rende la valutazione automatica affidabile ma vincola anche il tipo di compito alla ricerca-e-derivazione piuttosto che al ragionamento a risposta aperta.
- A metà del 2026, il miglior agente segnalato pubblicamente sulla classifica HAL (Claude Sonnet 4.5) raggiunge il 74,55% complessivo: 82% al Livello 1, 73% al Livello 2 e 65% al Livello 3. La performance umana si attesta ancora a circa il 92%, quindi il Livello 3 mantiene un divario significativo.
- Il set di validazione è ora ampiamente disponibile e quasi certamente è trapelato nei dati di addestramento, rendendo i punteggi del set di validazione dei modelli più recenti essenzialmente non interpretabili. Il set di test tenuto da parte rimane più pulito ma è inaccessibile per l'autovalutazione.
Cosa regge — e cosa no
L'intuizione centrale — che i LLM frontier siano lontani dall'avere la robustezza di livello umano nei compiti pratici da assistente — è stata genuinamente importante alla fine del 2023 e ha innescato un'ondata produttiva di ricerca sugli agenti. La struttura a tre livelli è ben calibrata: il Livello 1 e il Livello 3 occupano strati di capacità significativamente diversi e il benchmark non collassa a un estremo.
Dove il paper mostra la sua età è nella configurazione di valutazione. La baseline "GPT-4 con plugin" era già obsoleta quando ICLR 2024 si è tenuto; gli agenti moderni che usano Claude 3.7 Sonnet o Claude Sonnet 4.5 colmano gran parte del divario sui Livelli 1 e 2. Più seriamente, circa il 5% delle domande ha errori o ambiguità nella risposta corretta, e gli autori lo riconoscono ma non pubblicano un dataset corretto. Questo è un problema di affidabilità non trascurabile per un benchmark di 466 domande.
La limitazione più profonda è il formato della risposta. GAIA funziona perché ogni risposta è una breve stringa verificabile. Questo vincolo limita i compiti a "cerca qualcosa e calcolalo o trasformalo" piuttosto che "abbozza un piano, eseguilo e produci un artefatto strutturato". I casi d'uso reali di Beancount — riconciliare un mese di transazioni, scrivere una registrazione contabile per un'operazione multi-gamba, generare un report di fine anno — non si adattano a questo stampo. GAIA misura una sfaccettatura di ciò di cui ha bisogno un assistente generale; non misura l'esecuzione del flusso di lavoro end-to-end.
La situazione di contaminazione è ora grave. Qualsiasi agente che elenca l'accuratezza del set di validazione come numero principale senza precauzioni esplicite dovrebbe essere visto con sospetto. La posizione in classifica dei modelli più recenti riflette quasi certamente, in parte, una sovrapposizione con il set di addestramento.
Perché questo è importante per la IA finanziaria
La traiettoria dal 15% al 74% in due anni e mezzo è incoraggiante, ma il divario rimanente di Livello 3 è precisamente dove risiede l'automazione Beancount. I compiti di Livello 3 richiedono di tracciare uno stato intermedio attraverso molti passaggi senza perdere l'obiettivo — esattamente ciò che un agente di scrittura in un registro deve fare quando recupera i saldi dei conti, applica una regola di riconciliazione, verifica il risultato rispetto a un vincolo, e poi lo conferma o lo annulla. Se gli agenti frontier falliscono ancora nel 35% delle domande GAIA di Livello 3, che sono concettualmente semplici per gli umani, questo è un avvertimento diretto sull'affidabilità per le operazioni di registro multi-step.
Il principio di progettazione di GAIA — domande inequivocabili, verificabili, trattabili dagli umani — è anche un modello utile per valutare gli agenti Beancount. Ho pensato a come sarebbe un set "FinGAIA": domande come "dato questo file di registro, quale conto è in rosso alla fine del mese?" o "qual è l'equivalente in USD del saldo in EUR al 31-12-2024?" che sono inequivocabili, richiedono l'uso di strumenti e degradano con grazia attraverso tre livelli di complessità. La metodologia di GAIA si traduce direttamente; il dominio ha solo bisogno di essere sostituito.
Una cosa che GAIA non affronta — e che Bean Labs deve eventualmente risolvere — è la scrittura sicura. Tutti i compiti GAIA sono di lettura-e-risposta. Un agente Beancount autonomo che modifica lo stato del registro ha bisogno di un protocollo di valutazione separato per correttezza, atomicità e reversibilità. GAIA mostra che gli agenti possono ottenere la risposta giusta; non dice nulla sul fatto che possano impegnarla in modo sicuro.
Cosa leggere dopo
- TheAgentCompany (arXiv:2412.14161) — 175 compiti all'interno di un'azienda software simulata con veri strumenti interni; il miglior agente completa il 24% in modo autonomo; l'analogo più diretto per valutare un agente Beancount integrato in un flusso di lavoro contabile reale.
- AssistantBench (arXiv:2407.15711, Yoran et al., 2024) — valuta gli agenti web su compiti realistici e che richiedono tempo, inviati da utenti reali; complementa GAIA testando il recupero a risposta aperta piuttosto che risposte fisse e verificabili.
- WorkArena++ (arXiv:2407.05291) — estende WorkArena a 682 compiti composizionali e multi-step per imprese; i più difficili (Livello 3) rimangono irrisolti da qualsiasi modello attuale, rendendolo la prossima frontiera di difficoltà dopo GAIA Livello 3.