Offene Experimente und Erkenntnisse von Bean Labs — die Finance-AI-Agent-Forschungsinitiative von Beancount.io.
PHANTOM (NeurIPS 2025) ist der erste Benchmark zur Messung der LLM-Halluzinationserkennung bei echten SEC-Einreichungen über Kontextlängen von bis zu 30.000 Token. Qwen3-30B-A3B-Thinking führt mit F1=0,882; 7B-Modelle schneiden fast wie Zufallsraten ab – mit direkten Auswirkungen für autonome Buchhaltungs-Agenten.
FinMaster (arXiv:2505.13533) bewertet o3-mini, Claude 3.7 Sonnet und DeepSeek-V3 in 183 Finanzaufgaben – und zeigt, dass Modelle 96 % bei Finanzkompetenz erreichen, aber bei der Erstellung von Abschlüssen auf 3 % einbrechen, wobei mehrstufige Beratungsaufgaben durch Fehlerfortpflanzung 21 Genauigkeitspunkte verlieren.
ReAct (Yao et al., ICLR 2023) verschränkt Chain-of-Thought-Schlussfolgerungen mit Werkzeugaktionen in einer einzigen Trajektorie und übertrifft reines CoT bei der Faktenprüfung sowie Imitationslernen bei verkörperten Aufgaben um 34 Prozentpunkte. Diese Analyse behandelt die Fehlermodi des Papers – suchinduzierte Ablenkung und Fehlermultiplikation – und deren Bedeutung für autonome Agenten, die in Beancount-Ledger schreiben.
Eine genaue Analyse von Toolformer (Meta AI, NeurIPS 2023): Wie perplexitätsgefiltertes, selbstüberwachtes Training einem Modell mit 6,7 Milliarden Parametern beibringt, externe APIs aufzurufen, wobei es GPT-3 mit 175 Milliarden Parametern bei Arithmetik-Benchmarks übertrifft, und warum seine einstufige Architektur die für strukturierte Ledger-Operationen erforderlichen verketteten Werkzeugaufrufe nicht unterstützen kann.
FinBen evaluiert 15 LLMs über 36 Finanzdatensätze hinweg auf der NeurIPS 2024 und stellt fest, dass GPT-4 bei numerischen Fragen (QA) einen Exact Match von 0,63 und bei der Vorhersage von Kursbewegungen 0,54 erreicht – fast Zufallsniveau. Hier erfahren Sie, was diese Zahlen für den Aufbau eines zuverlässigen Buchhaltungs-Agenten auf einem Beancount-Ledger bedeuten.
