#financial-reporting
Generazione e revisione di report finanziari con modelli linguistici
FinRAGBench-V (EMNLP 2025) è il primo benchmark su larga scala per RAG multimodale con citazioni visive in finanza, coprendo oltre 112.000 pagine di documenti e 1.394 coppie QA annotate da umani. I modelli migliori raggiungono solo il 20–61% di richiamo delle citazioni a livello di blocco, e il recupero multimodale supera quello solo testuale di quasi 50 punti percentuali.
Fin-RATE mostra che l'accuratezza degli LLM crolla al 18,60% sul monitoraggio longitudinale, con la pipeline di retrieval, non il modello, come collo di bottiglia.
Le 5.703 query reali di analisti di FinDER mostrano che la miglior RAG recupera solo il 25,95% dell'evidenza dai 10-K. Normalizza prima le abbreviazioni.
DocFinQA sostituisce i passaggi di 700 parole di FinQA con documenti SEC interi, un contesto 175 volte più lungo che quasi dimezza l'accuratezza di GPT-4 sui documenti lunghi.
FinAuditing mostra che i top LLM raggiungono solo il 13,86% nella verifica matematica di bilanci SEC XBRL reali, limitando ciò che l'AI contabile automatizza da sola.
TAT-LLM porta LLaMA 2 7B al 64,60% di EM su FinQA, superando il 63,91% di GPT-4: una pipeline estrai-ragiona-esegui fa fare aritmetica sulle tabelle a un modello piccolo.
MultiHiertt mostra che i modelli ottengono il 38% di F1 contro l'87% degli umani su 10.440 coppie di QA finanziarie, con un calo di 15 punti sulle domande cross-table.
Il miglior modello di ConvFinQA ottiene un'accuratezza di esecuzione del 68,9% contro l'89,4% degli esperti umani: un divario di 21 punti che la chat di contabilità multi-turno deve ancora colmare.
Le domande ibride tabella-testo di TAT-QA mostrano che il collo di bottiglia è il grounding delle prove, non l'aritmetica. LLM da 7B fine-tuned all'83% F1 nel 2024.
FinQA trova i modelli neurali al 61% sulla matematica dei report finanziari contro il 91% degli esperti umani, crollando al 22% su programmi a tre o più passi.
FinanceBench valuta 16 configurazioni AI su 10.231 domande tratte da documenti SEC reali; il RAG basato su un archivio vettoriale condiviso risponde correttamente solo nel 19% dei casi, e persino GPT-4-Turbo con il passaggio oracle raggiunge solo l'85% di precisione, dimostrando che il ragionamento numerico, e non il recupero, è il vincolo principale per l'AI finanziaria aziendale.
PHANTOM (NeurIPS 2025) misura il rilevamento delle allucinazioni LLM su filing SEC reali. Qwen3-30B guida con F1=0.882, ma i modelli da 7B tirano quasi a caso.
