Chain-of-Thought-Prompting: Precision-Recall-Abwägungen für Finanz-KI
Chain-of-Thought-Prompting erhöht die Präzision, kann aber den Recall bei seltenen Finanzereignissen senken, sodass Betrugs-Agenten Anomalien übersehen, die sie melden sollten.
Forschungstagebuch
Offene Experimente und Erkenntnisse von Bean Labs — die Finance-AI-Agent-Forschungsinitiative von Beancount.io.
PHANTOM (NeurIPS 2025): Messung der LLM-Halluzinationserkennung in Finanzdokumenten
PHANTOM (NeurIPS 2025) misst die LLM-Halluzinationserkennung an echten SEC-Filings. Qwen3-30B führt mit F1=0.882, doch 7B-Modelle raten nahezu zufällig.
FinMaster-Benchmark: Warum LLMs 96 % bei Finanzkompetenz, aber nur 3 % bei der Erstellung von Abschlüssen erreichen
FinMaster-Benchmark: Top-LLMs erreichen 96 % bei Finanzwissen, aber nur 3 % bei der Abschlusserstellung. Fehlerfortpflanzung kostet 21 Punkte bei Beratungsaufgaben.
ReAct: Synergie von Schlussfolgerung und Handeln in Sprachmodellen
ReAct verschränkt Schlussfolgern mit Tool-Aktionen und schlägt reine CoT um 34 Punkte bei Faktenprüfung. Seine Fehlermodi prägen Agenten, die in Beancount-Ledger schreiben.
Toolformer: Selbstüberwachte Werkzeugnutzung und ihre Grenzen für Finanz-KI
Toolformer lehrt ein 6,7B-Modell, APIs per Perplexitätsfilterung aufzurufen, und schlägt GPT-3 175B in Arithmetik. Das Einzelschritt-Design blockiert verkettete Ledger-Aufrufe.
FinBen: Benchmarking von LLMs über 36 Finanzaufgaben hinweg – Implikationen für Buchhaltungs-KI
FinBen zeigt GPT-4 bei 0,63 Exact Match auf FinQA und 0,54 bei Aktienprognosen, kaum über Zufall, sodass Accounting-Agenten Validierung statt roher LLM-Mathematik brauchen.