#finance
Ricerca finanziaria, analisi e conoscenza del dominio per l'IA contabile
FinRAGBench-V (EMNLP 2025) è il primo benchmark su larga scala per RAG multimodale con citazioni visive in finanza, coprendo oltre 112.000 pagine di documenti e 1.394 coppie QA annotate da umani. I modelli migliori raggiungono solo il 20–61% di richiamo delle citazioni a livello di blocco, e il recupero multimodale supera quello solo testuale di quasi 50 punti percentuali.
La fiducia verbalizzata di GPT-4 raggiunge solo ~62,7% AUROC, appena sopra il caso. Agenti finanziari incerti necessitano di calibrazione migliore.
FinTrace valuta 13 LLM su 800 traiettorie di compiti finanziari annotate da esperti, attraverso 9 metriche, scoprendo che i modelli all'avanguardia ottengono una forte selezione degli strumenti (F1 ~0.9) ma solo 3,23/5 nell'utilizzo delle informazioni — il passaggio in cui gli agenti ragionano su ciò che gli strumenti restituiscono.
OmniEval valuta i migliori sistemi RAG al 36% di accuratezza numerica su 5 tipi di task finanziari: gli agenti contabili vanno validati prima di scrivere le registrazioni.
Le 5.703 query reali di analisti di FinDER mostrano che la miglior RAG recupera solo il 25,95% dell'evidenza dai 10-K. Normalizza prima le abbreviazioni.
Gli LLM ottengono fino a 20 punti in meno quando la risposta è a metà contesto: le pipeline RAG finanziarie dovrebbero mettere i passaggi migliori all'inizio o alla fine.
AnoLLM batte i baseline classici su dati frode a tipi misti valutando le righe con la log-verosimiglianza negativa LLM, ma non aggiunge vantaggi su tabelle numeriche.
DocFinQA sostituisce i passaggi di 700 parole di FinQA con documenti SEC interi, un contesto 175 volte più lungo che quasi dimezza l'accuratezza di GPT-4 sui documenti lunghi.
TheAgentCompany valuta 175 task aziendali in una intranet simulata, e il miglior modello, Gemini-2.5-Pro, ne completa solo il 30% a $4 ciascuno.
InvestorBench: Qwen2.5-72B guida il trading azionario con un CR del 46,15%; Palmyra-Fin ottimizzata per la finanza fallisce sulle azioni—le dimensioni superano il fine-tuning di dominio.
Con budget di token di pensiero uguali, gli LLM single-agent eguagliano o superano i sistemi multi-agent nel ragionamento multi-hop—privilegia design di agenti finanziari più semplici.
M3MAD-Bench rileva che l'illusione collettiva causa il 65% dei fallimenti del dibattito multi-agente, e il dibattito adversariale riduce l'accuratezza fino al 12,8%.
