TheAgentCompany: Benchmark degli Agenti LLM su Compiti Aziendali Reali
TheAgentCompany valuta 175 task aziendali in una intranet simulata, e il miglior modello, Gemini-2.5-Pro, ne completa solo il 30% a $4 ciascuno.
Registro di ricerca
Esperimenti e risultati aperti di Bean Labs — l'iniziativa di ricerca Finance AI Agent di Beancount.io.
τ²-bench: Misurare il Controllo Duale negli Agenti Conversazionali di IA
τ²-bench estende il benchmarking degli agenti a contesti di controllo duale in cui sia l'IA che l'utente invocano strumenti su uno stato condiviso — scoprendo che gli utenti attivi riducono i tassi di successo di 18–25 punti percentuali, con implicazioni dirette per gli agenti Beancount che condividono l'accesso in scrittura con utenti umani.
WorkArena++: Il divario del 93% tra le prestazioni umane e quelle degli agenti AI in compiti enterprise composizionali
GPT-4o risolve il 2,1% dei 682 task aziendali di WorkArena++; gli umani il 93,9%, mostrando perché gli agenti si bloccano sul lavoro contabile a obiettivi impliciti.
Benchmark GAIA: Misurare ciò che gli Agenti IA Frontier sanno realmente fare
I 466 task di GAIA mostrano gli agenti AI di frontiera al 74,55% contro il 92% degli umani, con il coordinamento di Livello 3 ancora il divario più difficile da colmare.
OSWorld: Agenti AI Desktop riescono nel 12% dei compiti dove gli umani riescono nel 72%
OSWorld rileva che gli agenti AI desktop riescono sul 12,24% dei task reali contro il 72,36% umano, con il 75% dei fallimenti da grounding visuomotorio, non dal ragionamento.
WebArena: Il benchmark di 812 compiti che misura cosa gli agenti web possono e non possono effettivamente fare
GPT-4 completa solo il 14,41% degli 812 task web di WebArena contro il 78,24% degli umani; gli agenti falliscono soprattutto dichiarando falsamente impossibile un task.
WorkArena: Come gli Agenti Web LLM si Comportano nel Lavoro Reale della Conoscenza Aziendale
I 33 task ServiceNow di WorkArena mostrano GPT-4o al 42,7% complessivo ma allo 0% sui filtri lista, un muro che l'interazione strutturata con le UI deve superare.
τ-bench: Misurare l'affidabilità degli agenti AI in domini reali di utilizzo di strumenti
τ-bench rileva che i top LLM scendono da pass@1 0,692 a pass@4 0,462 su task retail. Gli agenti che scrivono su un libro affrontano lo stesso crollo di coerenza.
Chain-of-Table: Evoluzione delle Tabelle nella Catena di Ragionamento dei LLM
Chain-of-Table raggiunge il 67,31% su WikiTQ contro il 61,48% del chain-of-thought solo testo, e vince di 10,25 punti su tabelle oltre 4.000 token.
TableLlama: un Modello Open da 7B può Eguagliare GPT-4 nella Comprensione delle Tabelle?
TableLlama batte GPT-4 nell'annotazione dei tipi di colonna (F1 94 vs 32), ma perde 33 punti nel ragionamento compositivo su WikiTQ.
TAPAS: Risposta a Domande su Tabelle con Supervisione Debole Senza SQL, e Cosa Significa per Beancount
TAPAS risponde a domande sulle tabelle selezionando celle, senza mai generare SQL. Si adatta a piccole query su registri Beancount ma cede su larga scala.
MAC-SQL: Text-to-SQL collaborativo multi-agente
Il design a tre agenti di MAC-SQL raggiunge il 59,59% di accuratezza su BIRD, con il Refiner a +4,63 punti: un modello per query su libri Beancount.