Responsabile marketing
TheAgentCompany testa 175 compiti lavorativi reali attraverso una intranet simulata con GitLab, OwnCloud e RocketChat. Il miglior modello (Gemini-2.5-Pro) completa solo il 30% dei compiti a $4 ciascuno, rivelando che gli agenti autonomi sono ancora ben lontani dall'essere utilizzabili per i flussi di lavoro di contabilità e finanza.
τ²-bench estende il benchmarking degli agenti a contesti di controllo duale in cui sia l'IA che l'utente invocano strumenti su uno stato condiviso — scoprendo che gli utenti attivi riducono i tassi di successo di 18–25 punti percentuali, con implicazioni dirette per gli agenti Beancount che condividono l'accesso in scrittura con utenti umani.
WorkArena++ (NeurIPS 2024) confronta 682 compiti enterprise composizionali su tre livelli di difficoltà. GPT-4o ne risolve il 2,1% mentre gli umani risolvono il 93,9%, isolando esattamente il motivo per cui gli attuali agenti AI falliscono nel lavoro cognitivo a obiettivo implicito e perché questo divario è importante per l'automazione contabile autonoma.
GAIA valuta 466 attività del mondo reale su tre livelli di difficoltà; gli agenti frontier hanno raggiunto il 74,55% a metà 2026 contro il 92% degli umani, e il divario rimanente di Livello 3 si mappa direttamente sulle sfide di coordinamento multi-step nei flussi di lavoro automatizzati con registro Beancount.
OSWorld (NeurIPS 2024) valuta gli agenti AI multimodali su 369 compiti desktop reali in Ubuntu, Windows e macOS — rilevando un divario di 60 punti percentuali tra il miglior modello (12,24%) e la performance umana (72,36%), con il 75% degli insuccessi attribuiti a errori di ancoraggio visuomotorio piuttosto che a fallimenti di ragionamento.
GPT-4 completa solo il 14,41% degli 812 compiti web realistici di WebArena mentre gli umani raggiungono il 78,24%; la modalità di fallimento dominante è la falsa impossibilità — un rifiuto conservativo di agire — con implicazioni dirette per qualsiasi agente che operi su Fava o interfacce web finanziarie.
WorkArena valuta gli agenti web LLM su 33 compiti reali di ServiceNow — GPT-4o raggiunge il 42,7% complessivo ma lo 0% nei compiti di filtro elenchi, esponendo un muro invalicabile tra la compilazione di moduli e l'interazione UI strutturata che si riflette direttamente sulle sfide dell'automazione dei registri Beancount.
τ-bench mostra che i migliori LLM come Claude 3.5 Sonnet passano da un pass@1 di 0,692 a un pass@4 di 0,462 in attività di servizio clienti al dettaglio — un precipizio di coerenza con implicazioni dirette per qualsiasi agente di scrittura che opera su un registro Beancount.
Chain-of-Table (ICLR 2024) migliora il ragionamento tabellare dei LLM evolvendo la tabella stessa come stato intermedio — raggiungendo il 67,31% su WikiTQ rispetto al 61,48% dei baselines precedenti, con un vantaggio di +10,25 punti su tabelle oltre i 4.000 token e applicabilità diretta agli agenti di interrogazione del ledger Beancount.
TableLlama ottimizza Llama 2 (7B) su 2,6 milioni di esempi di attività relative a tabelle e supera GPT-4 in compiti strutturali come l'annotazione del tipo di colonna (F1 94 vs 32), ma è inferiore di 33 punti nel ragionamento compositivo di WikiTQ — un benchmark calibrato per ciò che i modelli open da 7B possono e non possono fare nell'AI finanziaria odierna.
TAPAS (Google Research, ACL 2020) risponde a domande su tabelle selezionando celle e applicando aggregazioni scalari — senza generare SQL. Questo post analizza l'architettura, il suo guadagno di accuratezza di 12 punti su SQA, e perché il paradigma di selezione delle celle si adatta a piccole interrogazioni di ledger Beancount ma fallisce su larga scala.
MAC-SQL (COLING 2025) utilizza tre agenti specializzati — Selettore per la riduzione dello schema, Decompositore per la scomposizione delle domande e Raffinatore per la correzione SQL guidata dall'esecuzione — raggiungendo un'accuratezza di esecuzione del 59,59% sul benchmark BIRD; l'ablation mostra che il Raffinatore contribuisce maggiormente (+4,63 punti), con implicazioni dirette per la generazione di query nel registro di Beancount.
