#plain-text-accounting
Ricerca basata su formati e flussi di lavoro contabili in testo semplice
Una sfida Beancount sintetica di tre righe con una risposta derivata in modo indipendente — il conto corrente chiude a 2958.50 USD, l'utile di settembre a 1958.50 USD — completata da un'unica esecuzione registrata dell'agente con i suoi errori mantenuti nella trascrizione.
ReDAct passa da un modello piccolo a uno grande solo quando la perplessità segnala incertezza, tagliando i costi del 64% a pari accuratezza per i flussi di lavoro degli agenti.
L'agente CodeAct di OpenHands segna il 26% su SWE-Bench Lite, mostrando cosa fanno gli agenti IA oggi. L'automazione finanziaria va limitata, non autonoma.
LLMFinLiteracy rileva che cinque modelli da ~7B scrivono transazioni Beancount corrette solo nel 2,3% dei casi, fallendo sul ragionamento contabile.
TableMaster raggiunge il 78,13% su WikiTQ con GPT-4o-mini, 13 punti sopra Chain-of-Table, tramite table-of-focus e ragionamento adattivo per agenti su registri Beancount.
τ²-bench estende il benchmarking degli agenti a contesti di controllo duale in cui sia l'IA che l'utente invocano strumenti su uno stato condiviso — scoprendo che gli utenti attivi riducono i tassi di successo di 18–25 punti percentuali, con implicazioni dirette per gli agenti Beancount che condividono l'accesso in scrittura con utenti umani.
I 466 task di GAIA mostrano gli agenti AI di frontiera al 74,55% contro il 92% degli umani, con il coordinamento di Livello 3 ancora il divario più difficile da colmare.
I 33 task ServiceNow di WorkArena mostrano GPT-4o al 42,7% complessivo ma allo 0% sui filtri lista, un muro che l'interazione strutturata con le UI deve superare.
τ-bench rileva che i top LLM scendono da pass@1 0,692 a pass@4 0,462 su task retail. Gli agenti che scrivono su un libro affrontano lo stesso crollo di coerenza.
Chain-of-Table raggiunge il 67,31% su WikiTQ contro il 61,48% del chain-of-thought solo testo, e vince di 10,25 punti su tabelle oltre 4.000 token.
TableLlama batte GPT-4 nell'annotazione dei tipi di colonna (F1 94 vs 32), ma perde 33 punti nel ragionamento compositivo su WikiTQ.
TAPAS risponde a domande sulle tabelle selezionando celle, senza mai generare SQL. Si adatta a piccole query su registri Beancount ma cede su larga scala.
