FinRAGBench-V: Multimodale RAG met visuele citaten in het financiële domein
FinRAGBench-V vindt dat topmodellen slechts 20–61% block-level citatie-recall halen op financiële pagina's. Multimodale retrieval verslaat tekst-only met bijna 50 punten.
#finance
Financiën
Financieel onderzoek, analyse en domeinkennis voor accounting-AI
LLM-betrouwbaarheid en -kalibratie: Een overzicht van wat het onderzoek daadwerkelijk aantoont
Verbalized GPT-4-vertrouwen haalt slechts ~62,7% AUROC, nauwelijks boven toeval. Onzekerheidsbewuste finance-agenten hebben betere kalibratie nodig dan dat.
FinTrace: Evaluatie op trajectniveau van LLM tool-aanroepen voor financiële taken
FinTrace toont dat frontier-LLM's de juiste financiële tools kiezen (F1 ~0,9) maar slechts 3,23/5 scoren op het gebruik van de resultaten, de stap die write-back-agents breekt.
OmniEval: Omnidirectionele RAG-evaluatiebenchmark voor de financiële sector
OmniEval scoort de beste RAG-systemen op 36% numerieke nauwkeurigheid over 5 financiële taaktypes, dus grootboek-agents hebben validatie nodig vóór het schrijven van boekingen.
FinDER: Echte vragen van analisten onthullen een recall-kloof van 74% in financiële RAG
FinDER's 5.703 echte analistenquery's tonen dat top-RAG slechts 25,95% van 10-K-bewijs terugvindt. Normaliseer eerst afkortingen, vóór het wisselen van embeddings.
Lost in the Middle: Positiebias in LLM's en de impact op Finance AI
LLM's scoren tot 20 punten slechter wanneer het antwoord middenin de context staat, dus finance-RAG-pipelines plaatsen beste passages eerst of laatst.
AnoLLM: LLM's finetunen voor tabelgebaseerde anomaliedetectie in financiële gegevens
AnoLLM verslaat klassieke baselines op fraudedata met gemengde types door rijen te scoren met LLM negative log-likelihood, maar biedt geen voordeel op puur numerieke tabellen.
DocFinQA: Financieel redeneren met lange context op volledige SEC-documenten
DocFinQA vervangt FinQA's passages van 700 woorden door volledige SEC-documenten, een 175× langere context die GPT-4-nauwkeurigheid op lange documenten bijna halveert.
TheAgentCompany: Benchmarking van LLM-agents voor realistische bedrijfstaken
TheAgentCompany benchmarkt 175 bedrijfstaken in een gesimuleerd intranet, en het beste model, Gemini-2.5-Pro, voltooit slechts 30% voor $4 per stuk.
InvestorBench: Qwen2.5-72B presteert het beste op aandelen met 46,15% CR
InvestorBench: Qwen2.5-72B leidt in aandelenhandel met 46,15% CR; op financiën afgestemde Palmyra-Fin werkt averechts op aandelen—grootte verslaat domein-finetuning.
Single-Agent: even goed als MAS bij multi-hop met gelijke tokens
Bij gelijke budgets voor denk-tokens presteren single-agent LLM's even goed als of beter dan multi-agent-systemen bij multi-hop-redenering—kies voor eenvoudigere financiële agentontwerpen.
M3MAD-Bench: Zijn debatten tussen meerdere agenten echt effectief over verschillende domeinen en modaliteiten?
M3MAD-Bench stelt vast dat Collective Delusion 65% van de mislukkingen bij multi-agent-debat veroorzaakt, en adversarieel debat verlaagt de nauwkeurigheid met tot 12,8%.