LLM Anomaly Detection Survey (NAACL 2025): Sterke Taxonomie, Ontbrekende Tabeldekking
De NAACL 2025-taxonomie houdt stand, maar tabeldekking ontbreekt. Finance-AI-teams moeten methoden voor vision-modellen zelf aanpassen.
#analytics
Analytics
Data-analyse-technieken en metrieken voor financiële AI-systemen
Fin-RATE: Hoe LLM's falen bij financiële analyse over verschillende perioden en entiteiten
Fin-RATE toont dat LLM-nauwkeurigheid instort naar 18,60% bij longitudinale tracking, waarbij de retrieval-pijplijn, niet het model, de knellende bottleneck is.
Lost in the Middle: Positiebias in LLM's en de impact op Finance AI
LLM's scoren tot 20 punten slechter wanneer het antwoord middenin de context staat, dus finance-RAG-pipelines plaatsen beste passages eerst of laatst.
AD-LLM Benchmark: GPT-4o behaalt 0,93+ AUROC Zero-Shot voor tekstuele anomaliedetectie
AD-LLM vindt dat GPT-4o 0,93–0,99 AUROC zero-shot haalt voor tekstuele anomaliedetectie, maar LLM-modelselectie blijft onbetrouwbaar voor financiële audit-AI.
τ-bench: De betrouwbaarheid van AI-agents meten in praktijkgerichte toolgebruik-domeinen
τ-bench vindt dat top-LLM's dalen van pass@1 0,692 naar pass@4 0,462 op retail-tool-taken. Write-back-agents op een grootboek staan voor dezelfde consistentieklif.
ConvFinQA: modellen blijven 21 punten achter op experts (68,9%)
Het beste model van ConvFinQA scoort 68,9% uitvoeringsnauwkeurigheid versus 89,4% voor menselijke experts—een kloof van 21 punten die multi-beurt grootboekchat nog steeds tegenkomt.
FinanceBench: Waarom Vector-Store RAG faalt bij echte financiële documenten
FinanceBench test 16 AI-opstellingen op 10.231 echte SEC-documentvragen: RAG met gedeelde vector-store antwoordt slechts 19% correct, dus retrieval is niet de flessenhals.
Zelfconsistentie: Meerderheidsstem-Sampling Verbetert de Nauwkeurigheid van Keten-van-Gedachte
Self-consistency laat vele gesamplede redeneerpaden per meerderheidsstemming beslissen in plaats van één greedy decode, wat 17,9 punten toevoegt op GSM8K zonder extra training.