Marketingmanager
TAT-QA is een benchmark met 16.552 vragen over hybride tabel-plus-tekst contexten uit financiële verslagen die aantoont dat bewijsvoering — niet rekenkunde — het belangrijkste knelpunt is in AI voor de financiële sector; tegen 2024 bereikten gefinetunede 7B LLM's een F1-score van 83%, waarmee het gat met het menselijke plafond van 91% grotendeels werd gedicht.
FinQA (EMNLP 2021) bouwde 8.281 QA-paren op basis van S&P 500-kwartaalcijfers die meerstaps rekenprogramma's vereisen. Neurale modellen scoorden bij de release 61% tegenover 91% voor menselijke experts; de nauwkeurigheid keldert naar 22% bij programma's met drie of meer stappen. De foutmodi — domeinconstanten, cross-modaliteit grounding, ketenlengte — sluiten direct aan bij de uitdagingen waar Beancount-agents tegenwoordig voor staan.
FinanceBench evalueert 16 AI-configuraties aan de hand van 10.231 vragen uit echte SEC-filings; shared-vector-store RAG antwoordt slechts in 19% van de gevallen correct, en zelfs GPT-4-Turbo met de oracle-passage bereikt slechts 85% nauwkeurigheid — wat aantoont dat numeriek redeneren, niet retrieval, de beperkende factor is voor enterprise finance AI.
DSPy vervangt handmatige prompt-strings door declaratieve signaturen en een metriek-gestuurde compiler—waardoor Llama2-13b stijgt van 9,4% naar 46,9% op GSM8K wiskundig redeneren en een meer onderhoudbaar pad biedt voor AI-pipelines in de financiële sector.
LATS (Language Agent Tree Search, ICML 2024) verenigt ReAct, Tree of Thoughts, en Reflexion in één MCTS-framework en behaalt 92,7% pass@1 op HumanEval met GPT-4. Voor git-gebaseerde Beancount-grootboeken wordt de vereiste voor toestandsreversie die LATS in productie beperkt, triviaal vervuld.
Self-RAG (ICLR 2024 Oral) traint een taalmodel om te beslissen wanneer informatie moet worden opgehaald en vervolgens de eigen resultaten te beoordelen met behulp van vier reflectie-tokens — met resultaten van 55,8% op PopQA en een FactScore van 80,2 op biografieën, waarmee het ChatGPT op vijf benchmarks overtreft. De analyse behandelt het mechanisme, de ablatieresultaten, beperkingen in reproduceerbaarheid en implicaties voor financiële AI-agents op basis van Beancount-grootboeken.
Voyager's aanhoudende codevaardigheidsbibliotheek ontdekt 3,3× meer Minecraft-items dan eerdere SOTA zonder fine-tuning—het hergebruikpatroon dat ledger-agenten nodig hebben.
HippoRAG's OpenIE+PageRank-geheugen haalt 89,1% Recall@5 op 2WikiMultiHopQA versus 68,2% ColBERTv2—padbewuste retrieval voor meerjarige grootboeken.
AgentBench (Liu et al., ICLR 2024) benchmarkt 27 LLM's in 8 interactieve omgevingen — GPT-4 scoorde 4,01 overall versus 0,96 voor het beste opensource-model. De drie dominante faalmodi (taaklimiet overschreden in 67,9% van de kennisdomein-fouten, formaatfouten in 53,3% van de database-fouten en ongeldige acties) sluiten direct aan op de risico's van het inzetten van een Beancount-write-back-agent op een echte administratie.
Bloomberg trainde een LLM met 50 miljard parameters op 569 miljard tokens aan financiële gegevens en versloeg algemene modellen op benchmarks voor sentiment en tabelredenering — waarna GPT-4 dit evenaarde zonder enige financiële pre-training. Wat het experiment van $10 miljoen onthult over de afwegingen bij domein-pre-training, de tokenisatie van getallen en waarom het gebruik van tools betrouwbaarder is dan interne model-logica voor boekhoudagenten.
AutoGen (Wu et al., 2023) introduceert een multi-agent conversatie-framework waarin door LLM ondersteunde agenten berichten uitwisselen om taken te voltooien; een configuratie met twee agenten verhoogt de nauwkeurigheid van de MATH-benchmark van 55% naar 69%, en een toegewijde SafeGuard-agent verbetert de detectie van onveilige code met maximaal 35 F1-punten — bevindingen die direct toepasbaar zijn op het bouwen van veilige, modulaire Beancount-automatiseringspijplijnen.
Gorilla (Patil et al., NeurIPS 2024) fine-tunt een 7B LLaMA-model met Retriever-Aware Training op opgehaalde API-documentatie, waardoor het aantal hallucinaties daalt van 78% naar 11% ten opzichte van GPT-4 zero-shot — met directe gevolgen voor AI-agenten in de financiële sector waarbij foute accountnamen of omgekeerde tekens fatale fouten zijn in plaats van kleine ongemakken.
