Offene Experimente und Erkenntnisse von Bean Labs — die Finance-AI-Agent-Forschungsinitiative von Beancount.io.
τ²-bench erweitert das Agenten-Benchmarking auf Dual-Control-Umgebungen, in denen sowohl die KI als auch der Benutzer Tools über einen gemeinsamen Zustand aufrufen – mit dem Ergebnis, dass aktive Benutzer die Erfolgsraten um 18–25 Prozentpunkte senken, was direkte Auswirkungen auf Beancount-Agenten hat, die sich den Schreibzugriff mit menschlichen Benutzern teilen.
WorkArena++ (NeurIPS 2024) bewertet 682 kompositorische Unternehmensaufgaben auf drei Schwierigkeitsstufen. Während Menschen 93,9 % davon lösen, schafft GPT-4o nur 2,1 %. Dies verdeutlicht, warum aktuelle KI-Agenten bei Wissensarbeit mit impliziten Zielen scheitern und welche Bedeutung diese Lücke für die autonome Buchhaltungsautomatisierung hat.
GAIA bewertet 466 reale Aufgaben in drei Schwierigkeitsstufen; modernste Agenten erreichten Mitte 2026 74,55 % gegenüber 92 % bei Menschen, und die verbleibende Lücke in Level 3 lässt sich direkt auf die Herausforderungen der mehrstufigen Koordination in automatisierten Beancount-Ledger-Workflows übertragen.
OSWorld (NeurIPS 2024) testet multimodale KI-Agenten bei 369 realen Desktop-Aufgaben unter Ubuntu, Windows und macOS – und stellt eine Lücke von 60 Prozentpunkten zwischen dem besten Modell (12,24 %) und menschlicher Leistung (72,36 %) fest, wobei 75 % der Fehler auf visuomotorische Erdungsfehler statt auf logische Fehlleistungen zurückzuführen sind.
GPT-4 schließt nur 14,41 % der 812 realistischen Web-Aufgaben von WebArena ab, während Menschen 78,24 % erreichen; der dominierende Fehlermodus ist die falsche Undurchführbarkeit – eine konservative Weigerung zu handeln – mit direkten Auswirkungen auf jeden Agenten, der Fava oder Finanz-Web-UIs bedient.
WorkArena evaluiert LLM-Web-Agenten anhand von 33 realen ServiceNow-Aufgaben — GPT-4o erreicht insgesamt 42,7 %, aber 0 % bei Listenfilter-Aufgaben. Dies offenbart eine harte Grenze zwischen dem Ausfüllen von Formularen und strukturierter UI-Interaktion, was sich direkt auf die Herausforderungen bei der Automatisierung von Beancount-Ledgern übertragen lässt.
τ-bench zeigt, dass Top-LLMs wie Claude 3.5 Sonnet in Retail-Kundendienst-Aufgaben von pass@1 (0,692) auf pass@4 (0,462) abfallen – eine Konsistenzklippe mit direkten Folgen für jeden Write-Back-Agenten, der auf einem Beancount-Hauptbuch operiert.
Chain-of-Table (ICLR 2024) verbessert das tabellarische Schlussfolgern von LLMs, indem die Tabelle selbst als Zwischenzustand weiterentwickelt wird. Es erreicht 67,31 % bei WikiTQ gegenüber 61,48 % bei früheren Baselines, mit einem Vorsprung von +10,25 Punkten bei Tabellen über 4.000 Token und direkter Anwendbarkeit auf Beancount-Ledger-Abfrage-Agenten.
TableLlama unterzieht Llama 2 (7B) einem Fine-Tuning mit 2,6 Millionen Tabellen-Aufgabenbeispielen und schlägt GPT-4 bei strukturellen Aufgaben wie der Spaltentyp-Annotation (F1 94 vs. 32), bleibt jedoch 33 Punkte hinter dem kompositionellen Denken von WikiTQ zurück – ein kalibrierter Benchmark dafür, was offene 7B-Modelle heute in der Finanz-KI leisten können und was nicht.
TAPAS (Google Research, ACL 2020) beantwortet Tabellenfragen durch die Auswahl von Zellen und die Anwendung skalarer Aggregationen – ohne SQL-Generierung. Dieser Beitrag analysiert die Architektur, den SQA-Genauigkeitsgewinn von 12 Punkten und warum das Zellenauswahl-Paradigma für kleine Beancount-Ledger-Abfragen geeignet ist, aber bei großen Datenmengen scheitert.
MAC-SQL (COLING 2025) nutzt drei spezialisierte Agenten — Selector für die Schema-Reduktion, Decomposer für die Fragen-Dekomposition und Refiner für die ausführungsgesteuerte SQL-Korrektur — um eine Ausführungsgenauigkeit von 59,59 % im BIRD-Benchmark zu erreichen. Die Ablationsstudie zeigt, dass der Refiner am meisten beiträgt (+4,63 Punkte), was direkte Auswirkungen auf die Generierung von Abfragen für Beancount-Ledger hat.
DIN-SQL (NeurIPS 2023) zerlegt Text-zu-SQL in Phasen der Schema-Verknüpfung, Komplexitätsklassifizierung und SQL-Generierung. Dies hebt GPT-4 ohne Fine-Tuning von 67,4 % auf 85,3 % Ausführungsgenauigkeit bei Spider – und dieselbe Strategie lässt sich direkt auf natürliche Schnittstellen für die BQL-Abfragesprache von Beancount übertragen.
