Il benchmark di 812 compiti di WebArena è il predecessore diretto di WorkArena, di cui ho parlato ieri. Leggerli uno dopo l'altro chiarisce una distinzione chiave: WorkArena misura il lavoro di conoscenza aziendale in una singola piattaforma (ServiceNow), mentre WebArena stabilisce il livello minimo di capacità degli agenti web generici su software aperti realistici. Voglio capire quel livello precisamente prima di pensare ad agenti Beancount che opereranno in ambienti browser.
Il paper
Zhou et al. (ICLR 2024, arXiv:2307.13854) introducono WebArena, un benchmark riproducibile di 812 compiti su quattro siti web auto-hostati: un negozio e-commerce Magento, un forum sociale Postmill, un'istanza GitLab e un portale admin CMS Magento, integrati da un mirror OpenStreetMap e una copia offline di Wikipedia. A differenza dei compiti sintetici giocattolo di MiniWoB++, ogni sito WebArena esegue software open-source reale con scala autentica: circa 90.000 prodotti, 95 subreddit con oltre 127.000 post e 300 repository Git distribuiti su 1.000 account di sviluppatori. I compiti abbracciano tre categorie — ricerca di informazioni, navigazione del sito e modifiche di contenuti/configurazione — e vengono valutati sulla correttezza funzionale: se il risultato desiderato appare nel database o corrisponde a una risposta esatta/approssimativa, non se l'agente ha seguito la sequenza di azioni prevista.
Idee chiave
- GPT-4 raggiunge il 14,41%; gli umani raggiungono il 78,24%. Il divario è di 63,8 punti percentuali. GPT-3.5 ottiene l'8,75% e il basale Google Text-Bison-001 solo il 5,05%. Il prompting chain-of-thought aggiunge circa 2,3 punti per GPT-4 — utile ma non trasformativo.
- Il fallimento più comune è la falsa impossibilità. GPT-4 ha etichettato erroneamente circa il 54,9% dei compiti raggiungibili (428 su 812) come irrealizzabili, restituendo [N/A] invece di tentarli. Questa è la modalità di fallimento dominante, non sequenze di azioni rumorose o errori degli strumenti.
- Correttezza funzionale, non replay della traiettoria. La valutazione verifica quattro tipi di prova: corrispondenza esatta, controlli di parole chiave obbligatorie, corrispondenza fuzzy basata su LLM e validazione programmatica tramite query di database o JavaScript. Questo rende la metrica robusta alla parafrasi ma ancora suscettibile a specifiche di compito ambigue.
- L'auto-hosting containerizzato garantisce la riproducibilità. Tutti e quattro i siti sono distribuiti come container Docker, replicati dai benchmark successivi (WorkArena, OSWorld). Puoi resettare lo stato e garantire condizioni iniziali identiche, impossibili con il live scraping web.
- I template dei compiti evitano la memorizzazione cieca. 241 template generano 812 compiti istanziati (3,3 varianti ciascuno), il che aiuta in parte ma non impedisce a un modello determinato di apprendere schemi di template piuttosto che principi di navigazione web.
- La complessità reale del DOM è di ordini di grandezza superiore a MiniWoB++. Una pagina WebArena tipica si serializza in migliaia di token; lavori correlati riportano alberi DOM che superano i 100.000 token per viste di portali complessi.
Cosa regge — e cosa no
La metodologia di base è solida: software reale, valutazione basata sui risultati e ambienti riproducibili sono esattamente ciò che serve. Il numero del 14,41% si è dimostrato durevole in riproduzioni indipendenti, e la tassonomia dei fallimenti (falsa impossibilità, comportamenti di loop, rifiuto timido) è stata confermata da numerosi articoli successivi.
Le limitazioni sono reali, tuttavia. Primo, 812 compiti derivati da 241 template significa che il benchmark è finito e sistematicamente copribile; un agente che memorizza schemi di template potrebbe sovra-adattarsi senza generalizzare. WebArena Verified (2024–2025) ha scoperto e riparato controlli di valutazione disallineati, il che significa che parte del dato originale del 14,41% potrebbe riflettere rumore di valutazione piuttosto che pura capacità. Secondo, i quattro tipi di sito — e-commerce, forum, hosting di codice, CMS — sono plausibili ma non un campione fondato del web. Non c'è SaaS aziendale, nessun portale governativo ricco di moduli, nessuna interfaccia bancaria. Terzo, il benchmark ignora completamente sicurezza e affidabilità: un agente che riesce a "cancellare questo post" ottiene lo stesso punteggio cancelli il post giusto o dieci altri. ST-WebAgentBench (2024) è stato progettato specificamente per colmare questa lacuna.
Il risultato della falsa impossibilità è il più interessante e sottovalutato. Suggerisce che gli LLM sono calibrati per evitare l'azione in condizioni di incertezza — un prior ragionevole per modelli addestrati su feedback umano — ma che quella calibrazione conservativa è esattamente sbagliata per compiti agentici dove non agire è di per sé un errore costoso.
Perché questo è importante per l'AI finanziaria
Il divario tra il 14,41% e il 78,24% calibra direttamente ciò che un agente browser Beancount può ottenere oggi senza un'ingegneria specializzata. Se GPT-4 non può completare in modo affidabile compiti web di routine — ordinare un prodotto, creare un issue su GitLab, pubblicare su un forum — certamente non ci si può fidare che navighi l'interfaccia web di Fava senza supervisione. Questo non è un consiglio di disperazione; motiva il tipo di interfacce progettate su misura e spazi di azione strutturati che SWE-agent ha dimostrato funzionare per la modifica del codice. La lezione giusta è che la capacità grezza dell'LLM misurata su compiti generici non è ciò che conta; ciò che conta è quanto l'ambiente è progettato per supportare l'agente.
Il problema della falsa impossibilità ha un analogo diretto in contabilità: un agente che restituisce "Non posso determinare se questa transazione è un duplicato" invece di controllare sta fallendo esattamente nello stesso modo conservativo-ma-sbagliato. Gli agenti di write-back necessitano di un passo esplicito di verifica della fattibilità che forzi l'impegno piuttosto che l'astensione, abbinato a reti di sicurezza di rollback in modo che impegnarsi in modo errato sia recuperabile.
Per Beancount in particolare, la parte del CMS + portale admin di WebArena (admin Magento) è l'analogo strutturale più vicino all'interfaccia web di Fava: un'interfaccia admin multipagina con moduli complessi, navigazione annidata e stato che persiste tra sessioni. Il tetto del 14,41% su quella classe di compiti è ciò che dovrei trattare come presupposto predefinito finché non dimostriamo qualcosa di meglio.
Cosa leggere dopo
- VisualWebArena (Koh et al., 2024, arXiv:2401.13649) — estende WebArena ad agenti multimodali usando screenshot, il che è importante per Fava poiché non tutto lo stato rilevante è nel DOM
- OSWorld (Xie et al., NeurIPS 2024, arXiv:2404.07972) — benchmark completo dell'ambiente desktop; 12,24% per il miglior modello multimodale contro il 72,36% umano, estendendo il divario di capacità all'automazione GUI al di fuori del browser
- ST-WebAgentBench (arXiv:2410.06703) — affronta direttamente il divario di sicurezza in WebArena, misurando se gli agenti web rispettano i vincoli delle policy durante il completamento dei compiti