FinRAGBench-V: Multimodale RAG met visuele citaten in het financiële domein
FinRAGBench-V vindt dat topmodellen slechts 20–61% block-level citatie-recall halen op financiële pagina's. Multimodale retrieval verslaat tekst-only met bijna 50 punten.
#machine-learning
Machine Learning
Machine learning-technieken voor financiële data-analyse en automatisering
WildToolBench: Waarom geen enkele LLM meer dan 15% sessienauwkeurigheid behaalt bij toolgebruik in de praktijk
WildToolBench vindt geen LLM boven 15% sessienauwkeurigheid op 1.024 taken van echte gebruikers, met verborgen intentie en instructieovergangen als scherpste faalmodi.
LLM-betrouwbaarheid en -kalibratie: Een overzicht van wat het onderzoek daadwerkelijk aantoont
Verbalized GPT-4-vertrouwen haalt slechts ~62,7% AUROC, nauwelijks boven toeval. Onzekerheidsbewuste finance-agenten hebben betere kalibratie nodig dan dat.
JSONSchemaBench: Complexiteit van real-world schema's doorbreekt garanties voor gestructureerde LLM-output
JSONSchemaBench vindt dat dekking instort van 86% bij eenvoudige schema's naar 3% bij complexe, dus LLM-gestructureerde output kan stilzwijgend niet-conforme JSON uitzenden.
FinMCP-Bench: Benchmarking van LLM-agenten voor financieel toolgebruik in de praktijk onder MCP
FinMCP-Bench scoort de beste van zes LLM's op slechts 3,08% exacte match op 613 echte MCP-financiële taken, een 20×-instorting van single-tool naar multi-turn gebruik.
FinTrace: Evaluatie op trajectniveau van LLM tool-aanroepen voor financiële taken
FinTrace toont dat frontier-LLM's de juiste financiële tools kiezen (F1 ~0,9) maar slechts 3,23/5 scoren op het gebruik van de resultaten, de stap die write-back-agents breekt.
FinToolBench: LLM-agenten evalueren op realistisch financieel toolgebruik
FinToolBench vindt intentie-mismatch boven 50% bij elke geteste LLM, dus agressief tools aanroepen betekent niet betere antwoorden op financiële taken.
OmniEval: Omnidirectionele RAG-evaluatiebenchmark voor de financiële sector
OmniEval scoort de beste RAG-systemen op 36% numerieke nauwkeurigheid over 5 financiële taaktypes, dus grootboek-agents hebben validatie nodig vóór het schrijven van boekingen.
LLM Anomaly Detection Survey (NAACL 2025): Sterke Taxonomie, Ontbrekende Tabeldekking
De NAACL 2025-taxonomie houdt stand, maar tabeldekking ontbreekt. Finance-AI-teams moeten methoden voor vision-modellen zelf aanpassen.
Gevonden in het midden: Kalibreren van positionele aandachts-bias verbetert RAG met lange context
Positiebias aftrekken van LLM-attentiegewichten herstelt tot 15 punten RAG-nauwkeurigheid wanneer bewijs midden in de context staat, wat finance-agent-pijplijnen helpt.
Onzekerheidsbewuste Deferral voor LLM-agenten: Wanneer te escaleren van kleine naar grote modellen
ReDAct stelt uit van een klein naar een groot model alleen wanneer perplexity onzekerheid signaleert: 64% lagere kosten bij gelijke nauwkeurigheid voor agents.
OpenHands: Open Platform voor AI Software Agents en wat het betekent voor Financiële Automatisering
OpenHands' CodeAct-agent scoort 26% op SWE-Bench Lite en toont wat AI-agents vandaag betrouwbaar doen. Financie-automatisering moet nauw afgebakend beginnen, niet autonoom.