WorkArena++ (arXiv:2407.05291, NeurIPS 2024) estende il benchmark originale WorkArena a 682 compiti enterprise composizionali che richiedono l'incatenamento di più flussi di lavoro — esattamente il lavoro cognitivo multi-step che un agente di automazione Beancount dovrebbe gestire. Lo sto leggendo ora perché il registro originale di WorkArena (LOG-061) lasciava aperta la domanda su cosa accade quando si compongono compiti atomici in flussi di lavoro reali. La risposta, come questo documento chiarisce, è che ogni LLM attuale precipita da un dirupo.
Il documento
Boisvert et al. presso ServiceNow Research prendono i componenti di compiti atomici dal WorkArena originale — compilazione di moduli, filtraggio di elenchi, ricerca nella knowledge base, lettura di dashboard — e li compongono in flussi di lavoro enterprise multi-step realistici. Il benchmark funziona interamente all'interno di un'istanza live di ServiceNow tramite l'ambiente BrowserGym, fornendo agli agenti osservazioni HTML e input di screenshot opzionali.
La decisione strutturale chiave è una gerarchia di difficoltà a tre livelli. L1 è il WorkArena originale: compiti atomici a singola azione come "filtra questo elenco per stato = Chiuso." L2 introduce compiti composizionali con istruzioni esplicite passo-passo — l'agente riceve una procedura completa nella chat ma deve eseguire una catena di sotto-compiti attraverso diversi moduli di ServiceNow senza perdere il filo. L3 è la versione difficile: l'agente riceve solo un obiettivo implicito ("onboarding di un nuovo dipendente") e deve prima recuperare la procedura rilevante dalla knowledge base aziendale prima di pianificare ed eseguire i passaggi. È esattamente così che operano i lavoratori della conoscenza reali.
Gli autori includono anche un meccanismo per generare automaticamente tracce di osservazione-azione ground-truth da soluzioni oracolari, consentendo la messa a punto supervisionata senza annotazione manuale.
Idee chiave
- Gli umani risolvono il 93,9% dei compiti compositi; GPT-4o ne risolve il 2,1%. Questo non è un fallimento di comprensione linguistica — è un fallimento di pianificazione ed esecuzione su larga scala.
- Nessun modello completa alcun compito L3. Il requisito di recuperare una procedura, pianificare passaggi ed eseguire senza guida esplicita è completamente irrisolto da tutti i modelli testati, incluso GPT-4o-v (la variante con capacità visiva).
- Solo GPT-4o e GPT-4o-v riescono in un sottoinsieme di compiti L2, principalmente sotto-compiti di memorizzazione. Gli agenti basati su Llama3 falliscono in gran parte sia a L2 che a L3.
- Il realismo del compito L3 è la scelta progettuale chiave: ricevere un obiettivo implicito come "onboarding di un nuovo dipendente" senza una procedura — e poi doverlo cercare — è il modo in cui i dipendenti ricevono effettivamente gli incarichi in contesti enterprise.
- Vengono testate cinque dimensioni di capacità: pianificazione sotto vincoli, recupero di informazioni, ragionamento basato sui dati, memoria sequenziale e riconoscimento di compiti irrealizzabili.
- Modalità di fallimento documentate: allucinazioni sugli elementi dell'interfaccia utente, incapacità di mantenere piani multi-step in un contesto lungo e fallimento nel fare riferimento incrociato a informazioni provenienti da documenti separati.
Cosa regge — e cosa no
Il titolo del 93,9% contro il 2,1% è sorprendente ma meccanicamente spiegabile. L2 e L3 richiedono che un modello ricordi cosa ha fatto tre passaggi fa, correli le informazioni recuperate da un documento con un modulo che sta per compilare e sappia quando un sotto-passaggio dipende dal completamento di uno precedente. Queste non sono cose esotiche — gli umani le fanno senza sforzo — ma gli attuali agenti LLM si rompono sulla coordinazione.
Quello che trovo più prezioso qui è il design L2 contro L3. L2 fornisce all'agente una procedura; L3 no. Il dirupo prestazionale tra di loro isola esattamente una capacità: la sostituzione di recupero-più-pianificazione al seguire istruzioni esplicite. Questa è la parte difficile del lavoro cognitivo autonomo, e il benchmark la espone chiaramente.
Quello che il documento non fa è mostrare che il meccanismo della traccia di addestramento aiuta effettivamente. Gli autori forniscono l'infrastruttura per generare dati di messa a punto e affermano che i modelli possono essere addestrati su di essi — ma non riportano i risultati di averlo fatto. Senza questo esperimento, WorkArena++ è un benchmark su cui tutti gli agenti attuali falliscono, senza un percorso dimostrato per il miglioramento. Questo limita la sua utilità a breve termine come obiettivo di addestramento.
La dipendenza da ServiceNow limita anche la generalizzabilità. ServiceNow ha un'interfaccia insolitamente strutturata e ben documentata. Se gli agenti falliscono qui, falliranno peggio sui sistemi enterprise più disordinati che la maggior parte delle organizzazioni utilizza effettivamente.
Perché questo è importante per l'AI finanziaria
Il collegamento con l'automazione Beancount è diretto. Un agente contabile autonomo esegue lavoro di tipo L3 per impostazione predefinita: un utente dice "riconcilia le spese del mese scorso," e l'agente deve recuperare la struttura contabile pertinente dal ledger, pianificare quali voci ispezionare, fare riferimento incrociato con i dati bancari importati ed eseguire operazioni di riscrittura — tutto senza una guida passo-passo. WorkArena++ mette un numero su quanto male gli agenti attuali gestiscono questo schema.
Il meccanismo della traccia di addestramento è anche immediatamente applicabile. I compiti Beancount hanno soluzioni oracolari deterministiche — le scritture contabili corrette sono verificabili — il che significa che le tracce ground-truth potrebbero essere generate su larga scala per la messa a punto di un agente ledger specializzato. Questo è precisamente ciò che WorkArena++ abilita senza sfruttare nel documento stesso. È più un progetto di design che un problema risolto.
Il tasso di successo zero a L3 è il punto di calibrazione più utile per Bean Labs: anche in un ambiente enterprise controllato con dati puliti e un'interfaccia ben strutturata, gli agenti all'avanguardia non possono ancora gestire compiti composizionali a obiettivo implicito. Questo divario è dove vive la ricerca interessante.
Cosa leggere dopo
- TheAgentCompany (arXiv:2412.14161) — 175 compiti all'interno di un'azienda software simulata con strumenti interni reali (GitLab, RocketChat); il miglior agente completa circa il 30%; un ambiente enterprise più naturalistico di ServiceNow
- τ²-bench (arXiv:2506.07982) — estende τ-bench ad ambienti a doppio controllo in cui sia l'agente che l'utente possono modificare lo stato condiviso simultaneamente; direttamente rilevante per sessioni Beancount in cui utenti e agenti co-modificano un ledger
- CRMArena-Pro (arXiv:2505.18878) — valutazione olistica degli agenti LLM in scenari aziendali CRM utilizzando modelli più recenti; testa se il divario di capacità di WorkArena++ si è ridotto