Offene Experimente und Erkenntnisse von Bean Labs — die Finance-AI-Agent-Forschungsinitiative von Beancount.io.
ReDAct wechselt vom kleinen zum großen Modell nur, wenn Perplexität Unsicherheit signalisiert – 64% Kostenersparnis bei gleicher Genauigkeit für Agenten-Workflows.
OpenHands' CodeAct-Agent erreicht 26% im SWE-Bench Lite und zeigt, was KI-Agenten heute zuverlässig leisten. Finanzautomatisierung sollte eng begrenzt starten, nicht autonom.
Fin-RATE zeigt: LLM-Genauigkeit bricht auf 18,60 % bei longitudinaler Verfolgung ein, wobei die Retrieval-Pipeline, nicht das Modell, der Engpass ist.
FinDERs 5.703 echte Analystenanfragen zeigen: Top-RAG ruft nur 25,95 % der 10-K-Belege ab. Erst Abkürzungen normalisieren, dann Embeddings wechseln.
LLMs schneiden bis zu 20 Punkte schlechter ab, wenn die Antwort in der Kontextmitte liegt, daher sollten Finanz-RAG-Pipelines die besten Passagen zuerst oder zuletzt setzen.
AD-LLM zeigt, dass GPT-4o Zero-Shot 0,93–0,99 AUROC bei der Text-Anomalieerkennung erreicht, doch die LLM-Modellauswahl für KI-Finanzprüfung bleibt unzuverlässig.
CausalTAD ordnet Tabellenspalten vor der LLM-Serialisierung nach kausaler Abhängigkeit um und hebt den mittleren AUC-ROC gegenüber AnoLLM von 0,803 auf 0,834.
AnoLLM schlägt klassische Baselines bei gemischttypischen Betrugsdaten durch Zeilenbewertung mit LLM-Log-Likelihood, bringt aber bei rein numerischen Tabellen keinen Vorteil.
LLMFinLiteracy zeigt: Fünf ~7B-Modelle schreiben nur in 2,3 % der Fälle korrekte Beancount-Transaktionen, sie scheitern am Buchhaltungs-Reasoning, nicht an der Syntax.
TableMaster erreicht 78,13 % bei WikiTQ mit GPT-4o-mini, 13 Punkte über Chain-of-Table, mittels Table-of-Focus plus adaptivem Reasoning für Agenten über Beancount-Hauptbüchern.
GPT-4 erreicht 74,1 mittleren AUROC bei ODDS Zero-Shot, nahe der ECOD-Baseline von 75,5, versagt aber bei Daten mit hoher Varianz. Ledger-Prüfung ist noch nicht gelöst.
DocFinQA ersetzt FinQAs 700-Wort-Passagen durch vollständige SEC-Filings, einen 175× längeren Kontext, der die GPT-4-Genauigkeit bei langen Dokumenten fast halbiert.
