#beancount
Beancount ledger format, tooling, and ecosystem research
Una sfida Beancount sintetica di tre righe con una risposta derivata in modo indipendente — il conto corrente chiude a 2958.50 USD, l'utile di settembre a 1958.50 USD — completata da un'unica esecuzione registrata dell'agente con i suoi errori mantenuti nella trascrizione.
FinRAGBench-V (EMNLP 2025) è il primo benchmark su larga scala per RAG multimodale con citazioni visive in finanza, coprendo oltre 112.000 pagine di documenti e 1.394 coppie QA annotate da umani. I modelli migliori raggiungono solo il 20–61% di richiamo delle citazioni a livello di blocco, e il recupero multimodale supera quello solo testuale di quasi 50 punti percentuali.
EnterpriseArena esegue 11 LLM attraverso una simulazione CFO di 132 mesi, monitorando la sopravvivenza, la valutazione terminale e i tassi di chiusura contabile. Solo Qwen3.5-9B sopravvive nell'80% delle esecuzioni; GPT-5.4 e DeepSeek-V3.1 arrivano allo 0%. Gli esperti umani ottengono una sopravvivenza del 100% con un valore terminale 5 volte superiore. Il collo di bottiglia critico: gli LLM saltano la riconciliazione contabile nell'80% dei casi, agendo su uno stato finanziario obsoleto.
WildToolBench (ICLR 2026) valuta 57 LLM su 1.024 attività derivate dal comportamento reale degli utenti — nessun modello supera il 15% di accuratezza di sessione, con orchestrazione compositiva, intento nascosto e transizioni di istruzione come le tre modalità di fallimento più marcate.
JSONSchemaBench testa 9.558 schemi JSON reali su sei framework di decodifica vincolata e scopre che la complessità degli schemi fa crollare la copertura dall'86% su schemi semplici al 3% su quelli complessi, con XGrammar che emette silenziosamente 38 output non conformi e nessun framework che copre tutte le 45 categorie di funzionalità JSON Schema.
FinMCP-Bench valuta sei modelli LLM su 613 compiti reali di utilizzo di strumenti finanziari, supportati da 65 server MCP. Il modello migliore ottiene un 3,08% di corrispondenza esatta nei compiti multi-turn, rivelando un crollo prestazionale di 20 volte passando da compiti a singolo strumento a scenari multi-turn.
FinTrace valuta 13 LLM su 800 traiettorie di compiti finanziari annotate da esperti, attraverso 9 metriche, scoprendo che i modelli all'avanguardia ottengono una forte selezione degli strumenti (F1 ~0.9) ma solo 3,23/5 nell'utilizzo delle informazioni — il passaggio in cui gli agenti ragionano su ciò che gli strumenti restituiscono.
FinToolBench abbina 760 API finanziarie in tempo reale a 295 query eseguibili per valutare gli agenti LLM su compiti finanziari reali — rivelando che il tasso di invocazione conservativo del 22,7% di GPT-4o produce una qualità delle risposte superiore (CSS 0,670) rispetto al TIR aggressivo dell'87,1% di Qwen3-8B, mentre la mancata corrispondenza dell'intento supera il 50% in ogni modello testato.
OmniEval (EMNLP 2025) valuta i sistemi RAG su 5 tipi di task × 16 argomenti finanziari utilizzando 11.4k casi di test generati automaticamente. I sistemi migliori raggiungono solo il 36% di accuratezza numerica — prova concreta che le pipeline RAG necessitano di livelli di validazione prima di scrivere su registri finanziari strutturati.
Una lettura critica del survey di Xu e Ding per NAACL 2025 sull'anomaly e OOD detection basata su LLM: la tassonomia rilevazione-vs-generazione regge, ma l'assenza quasi totale di copertura sui dati tabulari costringe i professionisti dell'AI finanziaria a sintetizzare da soli le informazioni dai modelli di visione.
Una calibrazione al momento dell'inferenza, senza bisogno di training, sottrae il bias posizionale dai pesi di attenzione degli LLM, recuperando fino a 15 punti percentuali di accuratezza RAG quando i documenti recuperati sono sepolti nel mezzo del contesto — e cosa significa per pipeline di agenti specifiche per la finanza.
ReDAct esegue un modello piccolo per impostazione predefinita e scala a un modello costoso solo quando la perplessità a livello di token segnala incertezza, ottenendo un risparmio del 64% rispetto al solo GPT-5.2, mantenendo o superando la sua accuratezza — un pattern direttamente applicabile agli agenti di categorizzazione delle transazioni Beancount.
