#financial-literacy
Financial Literacy
Research on financial knowledge representation and LLM competency
LLM's scoren 2,3% op Beancount DSL-generatie: De LLMFinLiteracy-benchmark
De LLMFinLiteracy-benchmark stelt vast dat vijf open-weight ~7B-modellen slechts in 2,3% van de gevallen volledig correcte Beancount-transacties genereren. Fouten concentreren zich in de boekhoudkundige redenering — niet in de syntaxis — wat wijst op compiler-in-the-loop feedback als het cruciale ontbrekende ingrediënt voor betrouwbare write-back agents.
FinMaster Benchmark: Waarom LLM's 96% scoren op financiële geletterdheid maar 3% op het genereren van overzichten
FinMaster (arXiv:2505.13533) benchmarkt o3-mini, Claude 3.7 Sonnet en DeepSeek-V3 over 183 financiële taken—waaruit blijkt dat modellen 96% scoren op financiële geletterdheid maar instorten tot 3% op het genereren van overzichten, waarbij multi-stap adviestaken 21 nauwkeurigheidspunten verliezen door foutvoortplanting.