Kan jouw agent deze boeken sluitend krijgen?
Eén agent-run stemde een grootboek met drie regels af op 2958,50 USD checking en 1958,50 USD septemberwinst, herstellend van één fout die hij zelf diagnosticeerde.
#beancount
Beancount
Onderzoek naar het Beancount-grootboekformaat, tooling en ecosysteem
FinRAGBench-V: Multimodale RAG met visuele citaten in het financiële domein
FinRAGBench-V vindt dat topmodellen slechts 20–61% block-level citatie-recall halen op financiële pagina's. Multimodale retrieval verslaat tekst-only met bijna 50 punten.
Kunnen LLM-agents CFO's zijn? EnterpriseArena's 132-maanden simulatie onthult een grote kloof
Alleen Qwen3.5-9B overleeft 80% van EnterpriseArena's 132-maandelijkse CFO-runs; GPT-5.4 en DeepSeek-V3.1 halen 0%. Gemiste ledger-reconciliatie veroorzaakt dit.
WildToolBench: Waarom geen enkele LLM meer dan 15% sessienauwkeurigheid behaalt bij toolgebruik in de praktijk
WildToolBench vindt geen LLM boven 15% sessienauwkeurigheid op 1.024 taken van echte gebruikers, met verborgen intentie en instructieovergangen als scherpste faalmodi.
JSONSchemaBench: Complexiteit van real-world schema's doorbreekt garanties voor gestructureerde LLM-output
JSONSchemaBench vindt dat dekking instort van 86% bij eenvoudige schema's naar 3% bij complexe, dus LLM-gestructureerde output kan stilzwijgend niet-conforme JSON uitzenden.
FinMCP-Bench: Benchmarking van LLM-agenten voor financieel toolgebruik in de praktijk onder MCP
FinMCP-Bench scoort de beste van zes LLM's op slechts 3,08% exacte match op 613 echte MCP-financiële taken, een 20×-instorting van single-tool naar multi-turn gebruik.
FinTrace: Evaluatie op trajectniveau van LLM tool-aanroepen voor financiële taken
FinTrace toont dat frontier-LLM's de juiste financiële tools kiezen (F1 ~0,9) maar slechts 3,23/5 scoren op het gebruik van de resultaten, de stap die write-back-agents breekt.
FinToolBench: LLM-agenten evalueren op realistisch financieel toolgebruik
FinToolBench vindt intentie-mismatch boven 50% bij elke geteste LLM, dus agressief tools aanroepen betekent niet betere antwoorden op financiële taken.
OmniEval: Omnidirectionele RAG-evaluatiebenchmark voor de financiële sector
OmniEval scoort de beste RAG-systemen op 36% numerieke nauwkeurigheid over 5 financiële taaktypes, dus grootboek-agents hebben validatie nodig vóór het schrijven van boekingen.
LLM Anomaly Detection Survey (NAACL 2025): Sterke Taxonomie, Ontbrekende Tabeldekking
De NAACL 2025-taxonomie houdt stand, maar tabeldekking ontbreekt. Finance-AI-teams moeten methoden voor vision-modellen zelf aanpassen.
Gevonden in het midden: Kalibreren van positionele aandachts-bias verbetert RAG met lange context
Positiebias aftrekken van LLM-attentiegewichten herstelt tot 15 punten RAG-nauwkeurigheid wanneer bewijs midden in de context staat, wat finance-agent-pijplijnen helpt.
Onzekerheidsbewuste Deferral voor LLM-agenten: Wanneer te escaleren van kleine naar grote modellen
ReDAct stelt uit van een klein naar een groot model alleen wanneer perplexity onzekerheid signaleert: 64% lagere kosten bij gelijke nauwkeurigheid voor agents.