Responsabile marketing
Una sfida Beancount sintetica di tre righe con una risposta derivata in modo indipendente — il conto corrente chiude a 2958.50 USD, l'utile di settembre a 1958.50 USD — completata da un'unica esecuzione registrata dell'agente con i suoi errori mantenuti nella trascrizione.
FinRAGBench-V (EMNLP 2025) è il primo benchmark su larga scala per RAG multimodale con citazioni visive in finanza, coprendo oltre 112.000 pagine di documenti e 1.394 coppie QA annotate da umani. I modelli migliori raggiungono solo il 20–61% di richiamo delle citazioni a livello di blocco, e il recupero multimodale supera quello solo testuale di quasi 50 punti percentuali.
EnterpriseArena esegue 11 LLM attraverso una simulazione CFO di 132 mesi, monitorando la sopravvivenza, la valutazione terminale e i tassi di chiusura contabile. Solo Qwen3.5-9B sopravvive nell'80% delle esecuzioni; GPT-5.4 e DeepSeek-V3.1 arrivano allo 0%. Gli esperti umani ottengono una sopravvivenza del 100% con un valore terminale 5 volte superiore. Il collo di bottiglia critico: gli LLM saltano la riconciliazione contabile nell'80% dei casi, agendo su uno stato finanziario obsoleto.
WildToolBench rileva che nessun LLM supera il 15% di accuratezza di sessione su 1.024 task reali, con intenti nascosti e transizioni di istruzioni come fallimenti più acuti.
La fiducia verbalizzata di GPT-4 raggiunge solo ~62,7% AUROC, appena sopra il caso. Agenti finanziari incerti necessitano di calibrazione migliore.
JSONSchemaBench rileva che la copertura crolla dall'86% sugli schema semplici al 3% su quelli complessi: l'output strutturato LLM può emettere JSON non conforme in silenzio.
FinMCP-Bench valuta il migliore di sei LLM a solo il 3,08% di exact match su 613 task finanziari MCP reali, un crollo di 20× dal single-tool al multi-turn.
FinTrace valuta 13 LLM su 800 traiettorie di compiti finanziari annotate da esperti, attraverso 9 metriche, scoprendo che i modelli all'avanguardia ottengono una forte selezione degli strumenti (F1 ~0.9) ma solo 3,23/5 nell'utilizzo delle informazioni — il passaggio in cui gli agenti ragionano su ciò che gli strumenti restituiscono.
FinToolBench rileva disallineamento di intento oltre il 50% per ogni LLM testato: chiamare più strumenti non significa risposte migliori sui task finanziari.
OmniEval valuta i migliori sistemi RAG al 36% di accuratezza numerica su 5 tipi di task finanziari: gli agenti contabili vanno validati prima di scrivere le registrazioni.
La tassonomia NAACL 2025 regge, ma la copertura tabellare manca. I team di finanza AI devono adattare da soli i metodi dei modelli visivi.
Sottrarre il bias posizionale dai pesi di attenzione LLM recupera fino a 15 punti di accuratezza RAG con prove a metà contesto, aiutando le pipeline di agenti finanziari.
