FinRAGBench-V: Multimodale RAG met visuele citaten in het financiële domein
FinRAGBench-V vindt dat topmodellen slechts 20–61% block-level citatie-recall halen op financiële pagina's. Multimodale retrieval verslaat tekst-only met bijna 50 punten.
#financial-reporting
Financiële rapportage
Genereren en auditen van financiële rapporten met taalmodellen
Fin-RATE: Hoe LLM's falen bij financiële analyse over verschillende perioden en entiteiten
Fin-RATE toont dat LLM-nauwkeurigheid instort naar 18,60% bij longitudinale tracking, waarbij de retrieval-pijplijn, niet het model, de knellende bottleneck is.
FinDER: Echte vragen van analisten onthullen een recall-kloof van 74% in financiële RAG
FinDER's 5.703 echte analistenquery's tonen dat top-RAG slechts 25,95% van 10-K-bewijs terugvindt. Normaliseer eerst afkortingen, vóór het wisselen van embeddings.
DocFinQA: Financieel redeneren met lange context op volledige SEC-documenten
DocFinQA vervangt FinQA's passages van 700 woorden door volledige SEC-documenten, een 175× langere context die GPT-4-nauwkeurigheid op lange documenten bijna halveert.
FinAuditing: LLM's scoren onder de 14% op echte SEC XBRL-audittaken
FinAuditing toont dat top-LLM's slechts 13,86% halen op financiële wiskundeverificatie van echte SEC XBRL-documenten, wat AI-boekhoudtools zelfstandig aankunnen.
TAT-LLM: 7B LLaMA 2 verslaat GPT-4 op financiële QA
TAT-LLM fine-tunet LLaMA 2 7B naar 64,60% EM op FinQA, net boven GPT-4's 63,91%: een extract-reason-execute-pijplijn laat een klein model tabelrekenwerk doen.
MultiHiertt: Benchmarking van numeriek redeneren over multi-hiërarchische financiële tabellen
MultiHiertt toont dat modellen 38% F1 scoren tegen 87% voor mensen op 10.440 financiële QA-paren, met een daling van 15 punten bij vragen over meerdere tabellen.
ConvFinQA: modellen blijven 21 punten achter op experts (68,9%)
Het beste model van ConvFinQA scoort 68,9% uitvoeringsnauwkeurigheid versus 89,4% voor menselijke experts—een kloof van 21 punten die multi-beurt grootboekchat nog steeds tegenkomt.
TAT-QA: Hybride tabel-tekst QA-benchmark voor redeneren over financiële jaarverslagen
De hybride tabel-tekstvragen van TAT-QA toonden aan dat bewijsgrondslag, niet rekenwerk, de flessenhals is van finance-AI. Fijn afgestemde 7B-LLM's bereikten 83% F1 in 2024.
FinQA: De benchmark voor het meten van numeriek redeneren door AI in financiële rapporten
FinQA vond 61% voor neurale modellen op rekenwerk met financiële rapporten tegen 91% voor menselijke experts, dalend naar 22% bij drie of meer stappen.
FinanceBench: Waarom Vector-Store RAG faalt bij echte financiële documenten
FinanceBench test 16 AI-opstellingen op 10.231 echte SEC-documentvragen: RAG met gedeelde vector-store antwoordt slechts 19% correct, dus retrieval is niet de flessenhals.
PHANTOM (NeurIPS 2025): Het meten van LLM-hallucinatie-detectie in financiële documenten
PHANTOM (NeurIPS 2025) meet LLM-hallucinatiedetectie op echte SEC-filings. Qwen3-30B leidt met F1=0,882, maar 7B-modellen gokken bijna willekeurig.