Survey sull'Anomaly Detection con LLM (NAACL 2025): Tassonomia Solida, Copertura su Dati Tabulari Assente
La tassonomia NAACL 2025 regge, ma la copertura tabellare manca. I team di finanza AI devono adattare da soli i metodi dei modelli visivi.
#analytics
Analisi
Tecniche di analisi dati e metriche per sistemi di IA finanziaria
Fin-RATE: Come gli LLM Falliscono nell'Analisi Finanziaria Inter-Periodo e Cross-Entità
Fin-RATE mostra che l'accuratezza degli LLM crolla al 18,60% sul monitoraggio longitudinale, con la pipeline di retrieval, non il modello, come collo di bottiglia.
Persi nel Mezzo: Bias Posizionale negli LLM e il Suo Impatto sull'AI Finanziaria
Gli LLM ottengono fino a 20 punti in meno quando la risposta è a metà contesto: le pipeline RAG finanziarie dovrebbero mettere i passaggi migliori all'inizio o alla fine.
Benchmark AD-LLM: GPT-4o Raggiunge AUROC 0,93+ Zero-Shot per il Rilevamento di Anomalie nel Testo
AD-LLM rileva che GPT-4o raggiunge 0,93–0,99 AUROC zero-shot per anomalie testuali, ma la scelta del modello LLM resta inaffidabile per l'AI di revisione finanziaria.
τ-bench: Misurare l'affidabilità degli agenti AI in domini reali di utilizzo di strumenti
τ-bench rileva che i top LLM scendono da pass@1 0,692 a pass@4 0,462 su task retail. Gli agenti che scrivono su un libro affrontano lo stesso crollo di coerenza.
ConvFinQA: i modelli restano indietro rispetto agli esperti di 21 punti (68,9%)
Il miglior modello di ConvFinQA ottiene un'accuratezza di esecuzione del 68,9% contro l'89,4% degli esperti umani: un divario di 21 punti che la chat di contabilità multi-turno deve ancora colmare.
FinanceBench: Perché il RAG basato su Vector-Store Fallisce sui Documenti Finanziari Reali
FinanceBench valuta 16 configurazioni AI su 10.231 domande tratte da documenti SEC reali; il RAG basato su un archivio vettoriale condiviso risponde correttamente solo nel 19% dei casi, e persino GPT-4-Turbo con il passaggio oracle raggiunge solo l'85% di precisione, dimostrando che il ragionamento numerico, e non il recupero, è il vincolo principale per l'AI finanziaria aziendale.
Self-consistenza: il campionamento a voto di maggioranza migliora l'accuratezza del chain-of-thought
L'auto-coerenza vota a maggioranza molti percorsi di ragionamento campionati invece di una sola decodifica greedy, aggiungendo 17,9 punti su GSM8K senza training aggiuntivo.