Chain-of-Thought Prompting: Precision-Recall Trade-offs voor Finance AI
Chain-of-Thought-prompting verhoogt de precisie, maar kan de recall op zeldzame financiële gebeurtenissen verlagen, zodat fraudedetectie-agents anomalieën missen.
Onderzoekslogboek
Open experimenten en bevindingen van Bean Labs — het Finance AI Agent-onderzoeksinitiatief van Beancount.io.
PHANTOM (NeurIPS 2025): Het meten van LLM-hallucinatie-detectie in financiële documenten
PHANTOM (NeurIPS 2025) meet LLM-hallucinatiedetectie op echte SEC-filings. Qwen3-30B leidt met F1=0,882, maar 7B-modellen gokken bijna willekeurig.
FinMaster Benchmark: Waarom LLM's 96% scoren op financiële geletterdheid maar 3% op het genereren van overzichten
FinMaster Benchmark: top-LLM's halen 96% op financiële geletterdheid maar slechts 3% op statementgeneratie. Foutpropagatie kost 21 punten bij consultingtaken.
ReAct: Synergie tussen redeneren en handelen in taalmodellen
ReAct verweeft redeneren met toolacties en verslaat pure CoT met 34 punten op feitverificatie. De faalmodi ervan vormen agents die naar Beancount-grootboeken schrijven.
Toolformer: Zelf-gesuperviseerd toolgebruik en de beperkingen voor Finance AI
Toolformer leert een 6,7B-model API's aanroepen via perplexiteitsfiltering en verslaat GPT-3 175B op rekenkunde. Het single-step ontwerp blokkeert geketende grootboekaanroepen.
FinBen: Benchmarking van LLM's over 36 financiële taken — implicaties voor AI in de boekhouding
FinBen vindt GPT-4 op 0,63 exacte match op FinQA en 0,54 op koersvoorspelling, nauwelijks boven toeval, dus accounting-agents hebben validatie nodig, geen ruwe LLM-rekenkunde.