Dopo aver letto la valutazione di τ-bench sugli agenti che chiamano strumenti nei domini retail e aereo, ho voluto spingermi nel software aziendale — il territorio in cui gli agenti in stile Beancount devono effettivamente operare. WorkArena (Drouin et al., ServiceNow Research, 2024) valuta gli agenti web LLM su 33 compiti reali all'interno della piattaforma aziendale ServiceNow, rendendolo il test esistente più diretto se i modelli attuali possano automatizzare genuini flussi di lavoro di knowledge worker, piuttosto che scenari sintetici e giocattolo.
L'articolo
"WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks?" introduce un benchmark di 33 compiti e 19.912 istanze uniche tratte dalla piattaforma software aziendale ServiceNow. I compiti coprono sei categorie che i knowledge worker svolgono effettivamente ogni giorno: filtrare e ordinare elenchi, compilare moduli, cercare basi di conoscenza, ordinare da cataloghi di servizi, leggere dashboard e navigare nei menu. Insieme al benchmark, gli autori rilasciano BrowserGym, un'imbracatura di valutazione che fornisce agli agenti ricche osservazioni multimodali — HTML, alberi di accessibilità, screenshot — più uno spazio di azione standardizzato per le interazioni web.
La domanda centrale che l'articolo pone è se gli LLM attuali possano gestire i flussi di lavoro strutturati, multi-step e vincolati dall'UI che il vero software aziendale richiede. Questi non sono compiti di ricerca aperti o Q&A a turno singolo; sono sequenze orientate agli obiettivi di click, inserimenti in moduli e operazioni di filtro che lasciano tracce verificabili in un sistema live. Questa proprietà di verifica dallo stato del sistema è ciò che rende WorkArena significativamente diverso dalla maggior parte dei benchmark agentici, ed è esattamente la proprietà che un agente di scrittura Beancount dovrebbe soddisfare.
Idee chiave
- GPT-4o raggiunge il 42,7% complessivo su WorkArena con il prompting chain-of-thought; GPT-3.5-Turbo gestisce solo il 6,1%, e il modello open-source Llama3-70B-Instruct si attesta al 17,9% — un divario di 25 punti tra i modelli proprietari di frontiera e quelli open-source di frontiera.
- I compiti di filtro elenchi sono un muro completo: 0% per ogni modello. Il widget elenco di ServiceNow utilizza HTML non standard con cui nessuno degli agenti testati è riuscito a interagire in modo affidabile. L'ordinamento è quasi altrettanto scarso: GPT-4o raggiunge solo il 10% nei compiti di ordinamento elenchi.
- I compiti del catalogo servizi sono sorprendentemente trattabili: GPT-4o raggiunge il 77,8% nei nove compiti del catalogo servizi, dove l'UI è più convenzionale e le azioni richieste corrispondono strettamente ai modelli di compilazione di moduli che il modello ha probabilmente visto nell'addestramento.
- Le osservazioni multimodali aiutano a malapena. Aggiungere screenshot alle osservazioni di GPT-4o ha prodotto "miglioramenti delle prestazioni molto minori", suggerendo che il collo di bottiglia è la comprensione della struttura dell'UI, non l'assenza di input visivo.
- Chain-of-thought è portante. Rimuoverlo fa scendere Llama3-70B di circa 10 punti su WorkArena, confermando che i compiti web multi-step richiedono un ragionamento intermedio esplicito, non solo la previsione dell'azione.
- I meccanismi di memoria si sono rivelati controproducenti. Abilitare un flag
use_think_historyha causato negli agenti una "tendenza a rimanere ancorati a decisioni prese nei primi passi temporali, anche se errate" — un esempio concreto di impegno rigido mascherato da pianificazione.
Cosa regge — e cosa no
La proprietà più preziosa del benchmark è che viene eseguito su un'istanza live di ServiceNow: il successo è determinato dal fatto che lo stato del sistema sia effettivamente cambiato correttamente, non dalla corrispondenza di stringhe con un output atteso. Ciò rende lo 0% nei compiti di filtro elenchi particolarmente devastante — non c'è spazio per nascondersi. Anche la varietà dei compiti è genuinamente rappresentativa: le sei categorie abbracciano l'ampiezza di ciò su cui i knowledge worker spendono tempo, non compiti vetrina selezionati ad hoc.
Quello che trovo meno soddisfacente è il trattamento delle modalità di fallimento. L'articolo identifica che strutture HTML esotiche, iFrame annidati e DOM ombra rompono gli agenti, ma non ablata sistematicamente quali caratteristiche strutturali siano responsabili o in che proporzione. Il problema della dimensione del DOM — alberi HTML che vanno da 40k a 500k token — viene menzionato ma non analizzato a fondo: non sappiamo se la riassunzione, l'impaginazione o le osservazioni basate solo sull'albero di accessibilità recupererebbero le prestazioni. Inoltre, l'architettura ad agente singolo non viene mai confrontata con una configurazione multi-agente scomposta (una suddivisione selettore/esecutore, per esempio), quindi non è chiaro se il risultato dello 0% nel filtro elenchi sia un problema di interfaccia, un problema di pianificazione, o entrambi.
C'è anche una questione di validità della piattaforma da sollevare. ServiceNow è uno stack software aziendale specifico con modelli UI idiosincratici. I risultati ci dicono molto sugli agenti ServiceNow e un po' meno sugli agenti web aziendali in generale. Generalizzare il fallimento del filtro elenchi a, per esempio, un'interfaccia beanquery o uno strumento per fogli di calcolo richiede prove indipendenti.
Perché questo è importante per la finanza AI
I risultati di WorkArena sono un punto di calibrazione a cui torno spesso per l'agenda di automazione di Beancount. Lo schema di fallimento è istruttivo: gli agenti vanno bene in compiti che assomigliano a moduli web (catalogo servizi, 77,8%) e collassano in compiti che richiedono un'interazione precisa con widget UI strutturati e non standard (filtro elenchi, 0%). Un agente Beancount che esegue inserimenti in partita doppia dovrebbe affrontare un quadro misto: la parte di trasformazione da linguaggio naturale a transazione assomiglia ai compiti di compilazione moduli dove le prestazioni sono ragionevoli; ma le parti di interrogazione, filtro e riconciliazione — trovare voci specifiche, ordinare per data, applicare filtri conto — assomigliano molto di più ai compiti di elenco dove tutto si rompe.
L'articolo rinforza anche una lezione dai log CRITIC e Reflexion: la verifica esterna conta più del ragionamento interno. I compiti di WorkArena hanno successo o falliscono in base allo stato del sistema, e quella verità di base pulita è ciò che rende il benchmark onesto. Per gli agenti di scrittura Beancount, ciò sostiene fortemente una progettazione in cui ogni modifica impegnata del registro viene verificata tramite l'API Python di Beancount prima di essere accettata, non solo controllata dal ragionamento dell'agente stesso. Il tetto del 42,7% sul miglior modello a ICML 2024 suggerisce che anche per compiti UI aziendali convenzionali, il divario da "occasionalmente utile" a "affidabilmente automatizzabile" è ancora grande.
Cosa leggere dopo
- WorkArena++ (arXiv:2407.05291, NeurIPS 2024) — il seguito dello stesso team ServiceNow con 682 compiti composizionali che richiedono pianificazione, ragionamento aritmetico e recupero multi-documento; risponde direttamente se l'aumento della complessità dei compiti espone nuove modalità di fallimento oltre il muro dell'interazione UI.
- WebArena (arXiv:2307.13854, ICLR 2024) — il benchmark generale per agenti web complementare (812 compiti in e-commerce, forum, hosting di codice, CMS) dove GPT-4 raggiunge solo il 14,41% contro il 78% delle prestazioni umane; colloca i numeri di WorkArena nel panorama più ampio degli agenti web.
- OSWorld (arXiv:2404.07972, NeurIPS 2024) — estende la valutazione dell'automazione aziendale ad ambienti desktop completi inclusi applicazioni reali (LibreOffice, VS Code, Chrome); il test più completo per vedere se le modalità di fallimento di WorkArena sono specifiche dell'UI o riflettono un divario più profondo nelle competenze degli agenti.