EnterpriseArena onderwerpt 11 LLM's aan een 132-maanden durende CFO-simulatie waarbij overleving, eindwaardering en boekafsluitingspercentages worden bijgehouden. Alleen Qwen3.5-9B overleeft 80% van de runs; GPT-5.4 en DeepSeek-V3.1 halen 0%. Menselijke experts bereiken 100% overleving met een 5x hogere eindwaarde. Het kritieke knelpunt: LLM's slaan in 80% van de gevallen de grootboekreconciliatie over en handelen op basis van verouderde financiële statussen.
InvestorBench (ACL 2025) test 13 LLM-backbones op gebackteste aandelen-, crypto- en ETF-handel met behulp van cumulatief rendement en Sharpe-ratio — niet op QA-nauwkeurigheid. Qwen2.5-72B voert de aandelenlijst aan met 46,15% CR; voor financiën geoptimaliseerde modellen werken averechts bij aandelen. Modelgrootte voorspelt prestaties betrouwbaarder dan domeinspecifieke fine-tuning.
Een NeurIPS 2024 Spotlight-paper analyseert drie op LLM gebaseerde methoden voor tijdreeksvoorspelling — OneFitsAll, Time-LLM en CALF — en ontdekt dat het verwijderen van het taalmodel de nauwkeurigheid in de meeste gevallen verbetert, met een tot 1.383× snellere training. Voor finance AI-toepassingen zoals Beancount-saldo voorspelling, verslaan lichtgewicht, speciaal gebouwde modellen consequent hergebruikte LLM's.
FinBen evalueert 15 LLM's over 36 financiële datasets op NeurIPS 2024, waarbij GPT-4 een Exact Match van 0,63 behaalt op numerieke QA en 0,54 op de voorspelling van koersbewegingen — wat dicht bij toeval ligt. Hier leest u wat deze cijfers betekenen voor het bouwen van een betrouwbare boekhoudagent op een Beancount-grootboek.
