Ieri ho letto WebArena, che collocava gli agenti web autonomi a circa il 14% di successo rispetto a un benchmark umano del 78%. OSWorld (Xie et al., NeurIPS 2024) pone la stessa domanda per il desktop completo: Ubuntu, Windows, macOS, applicazioni GUI reali. La risposta è, per certi versi, ancora più umiliante — e la modalità di fallimento è sufficientemente diversa da essere interessante di per sé.
L'articolo
OSWorld costruisce un benchmark di 369 compiti basati su applicazioni desktop reali: LibreOffice, Chrome, VS Code, GIMP, Thunderbird, VLC e flussi di lavoro multi-applicazione. Ogni compito è accompagnato da uno script di valutazione programmatico che verifica lo stato effettivo del sistema dopo l'esecuzione — niente euristiche di corrispondenza di stringhe, nessun LLM come giudice. La configurazione utilizza macchine virtuali in modo che i compiti partano da uno stato riproducibile, e copre tutti e tre i principali sistemi operativi.
Gli autori testano una gamma di modelli all'avanguardia — GPT-4V, Gemini-Pro-Vision, Claude-3 Opus, Mixtral, CogAgent — in quattro configurazioni di input: solo screenshot, solo albero di accessibilità, screenshot più albero di accessibilità, e Set-of-Marks (SoM, dove gli elementi interattivi vengono sovrapposti con etichette numeriche prima che il modello agisca).
Idee chiave
- Gli umani su compiti non familiari hanno successo nel 72,36% dei casi. Il miglior modello al momento della sottomissione raggiunge il 12,24%. Il divario è di circa 60 punti percentuali.
- La performance solo screenshot per i modelli migliori (GPT-4V, Gemini-Pro-Vision) si attesta intorno al 5,26%–5,80% — il che significa che aggiungere contesto strutturato all'incirca raddoppia il successo, ma lascia comunque l'87% di fallimenti.
- I compiti con flussi di lavoro multi-applicazione sono la categoria più difficile, con un tetto massimo del 6,57%, rispetto ai compiti OS/CLI dove le interfacce testuali rendono l'ancoraggio più facile.
- L'albero di accessibilità e il Set-of-Marks aiutano, ma il loro beneficio dipende dal modello: gli autori riferiscono che possono anche introdurre confusione sovraccaricando il modello con struttura irrilevante.
- I progressi successivi alla pubblicazione sono stati rapidi — Agent S (GPT-4o, memoria gerarchica) ha raggiunto il 20,58%; ARPO basato su RL ha spinto al 29,9%; Agent S3 (Simular AI, 2025) rivendica il 62,6% nell'impostazione a 100 passi, avvicinandosi alla parità umana. Ma la maggior parte di questi guadagni deriva da migliori modelli di ancoraggio e da un affinamento RL, non dai modelli LLM di base con prompt testati originariamente da OSWorld.
- Analisi degli errori su 550 fallimenti: oltre il 75% sono imprecisioni nei clic del mouse — l'agente ragiona correttamente ma fa clic sul pixel sbagliato. Questo non è un fallimento di ragionamento; è un fallimento di ancoraggio visuomotorio.
Ciò che regge — e ciò che non regge
Il design del benchmark è genuinamente rigoroso. La valutazione basata sull'esecuzione su macchine virtuali reali con 134 script di valutazione distinti elimina i giudizi vaghi che affliggono molti benchmark per agenti. Questo è un contributo metodologico significativo ed è il motivo per cui il numero (12,24%) è credibile.
La domanda più difficile è cosa misuri realmente il 12,24%. La distribuzione dei compiti è sbilanciata verso applicazioni ad alta intensità di GUI dove i clic pixel-perfetti contano enormemente. Un agente Beancount che opera interamente nella CLI o emette file di testo probabilmente otterrebbe risultati molto migliori su questo benchmark rispetto a un agente che fa formattazione di fogli di calcolo in LibreOffice. Il numero principale raggruppa insieme richieste cognitive molto diverse — controllo motorio spaziale, pianificazione multi-passaggio, conoscenza del dominio — e attribuirlo a un'unica affermazione "gli agenti non sanno usare i computer" è una semplificazione eccessiva.
La scoperta che "il set-of-marks può fuorviare alcuni modelli" è interessante ma poco esplorata. L'articolo annota la varianza senza spiegare appieno quali tipi di compiti o modelli vengono aiutati vs. danneggiati. Mi sembra la domanda più importante per i professionisti che progettano interfacce per agenti, e riceve un solo paragrafo.
Sono anche scettico su quanto bene il campione di 369 compiti copra la coda lunga dei flussi di lavoro reali. I compiti sono curati da ricercatori che inevitabilmente tendono verso compiti verificabili. Compiti contabili reali genuinamente ambigui — "riordina questi nomi di commercianti incoerenti" — sono difficili da valutare programmaticamente e probabilmente sottorappresentati.
Perché questo è importante per l'AI finanziaria
La scoperta che il 75% dei fallimenti sono errori di ancoraggio è direttamente rilevante per gli agenti Beancount, anche se Beancount vive nel livello testuale. Lo schema più profondo — gli agenti pianificano correttamente ma eseguono in modo errato — si mappa sugli insuccessi di scrittura contabile in cui un agente genera la transazione giusta ma la scrive sul conto sbagliato o con una data invertita. In entrambi i casi, il collo di bottiglia è l'esecuzione precisa, non il ragionamento strategico.
La performance nei flussi di lavoro multi-app (6,57%) è il dato che trovo più preoccupante per Bean Labs. I flussi di lavoro contabili reali attraversano quasi sempre più applicazioni: un'esportazione CSV bancaria, un file Beancount, un foglio di calcolo di riconciliazione, una ricevuta PDF. Se gli agenti GUI lottano catastroficamente con il coordinamento multi-app anche su compiti curati, un agente Beancount che deve orchestrare importazioni, modifiche al registro e generazione di report si trova di fronte a una sfida strutturalmente simile — anche in un contesto CLI dove non c'è clic su pixel.
La buona notizia dalla traiettoria successiva all'articolo (Agent S3 al 62,6%) è che queste non sono barriere fondamentali. Sono risolvibili con migliori modelli di ancoraggio e affinamento RL. Ma quel progresso ha richiesto 18 mesi e una potenza di calcolo significativa per l'addestramento RL, che non è la linea di base di capacità predefinita che un agente Beancount può assumere da un modello di frontiera con prompt.
Cosa leggere dopo
- AndroidWorld (Rawles et al., arXiv:2405.14573) — estende OSWorld ai dispositivi Android con compiti parametrizzati dinamicamente, rilevante per le interfacce Beancount mobili
- WindowsAgentArena (Bonatti et al., arXiv:2409.08264, ICLR 2025) — adatta OSWorld a Windows con oltre 150 compiti; valida indipendentemente che il divario persista attraverso i sistemi operativi
- Agent S2 (Agashe et al., arXiv:2504.00906) — architettura compositiva generalista-specialista che spinge significativamente lo stato dell'arte; vale la pena comprendere l'architettura prima di progettare un pianificatore multi-passaggio per Beancount