FinBen: Benchmarking von LLMs über 36 Finanzaufgaben hinweg – Implikationen für Buchhaltungs-KI

FinBen landete auf der NeurIPS 2024 als die bisher umfassendste öffentliche Evaluierung von LLMs für Finanzaufgaben. Ich wollte es sorgfältig lesen, denn bevor ich einen autonomen Agenten für Beancount-Ledger entwickle, benötige ich ein realistisches Bild davon, wo Frontier-Modelle tatsächlich bei den finanziellen Argumentationsaufgaben stehen, die ein solcher Agent ausführen müsste.

Das Paper

Qianqian Xie und 33 Co-Autoren präsentieren FinBen, einen Open-Source-Benchmark, der 36 Datensätze in 24 Finanzaufgaben abdeckt, organisiert in sieben Dimensionen: Informationsextraktion, Textanalyse, Beantwortung von Fragen (QA), Textgenerierung, Risikomanagement, Prognose und Entscheidungsfindung. Sie evaluieren 15 repräsentative LLMs – darunter GPT-4, ChatGPT, Gemini und mehrere instruktionsgetunte Open-Source-Modelle – und führen drei neue Datensätze für Zusammenfassung, QA und die Bewertung des Aktienhandels ein.

Die zentrale Motivation ist, dass frühere Finanz-Benchmarks wie FLUE und FLARE jeweils nur einen Ausschnitt von Finanz-NLP erfassten, aber bei weitem nicht die gesamte Pipeline. FinBen ist der erste Versuch, den gesamten Stack an einem Ort abzudecken, und wurde in den NeurIPS 2024 Datasets and Benchmarks Track aufgenommen, was ihm ein angemessenes Siegel methodischer Sorgfalt verleiht.

Kernelemente

• Bei der Erkennung benannter Entitäten (NER) erreicht GPT-4 einen Entity-F1-Score von 0,83 auf dem FINER-ORD-Datensatz – stark, aber dies ist die einfachste Kategorie im Benchmark.
• Bei FinQA (numerisches Denken über Finanzberichte) erreicht GPT-4 einen Exact Match von 0,63; bei der dialogorientierten Variante ConvFinQA liegt der Wert bei 0,76. Dies sind respektable Werte, aber das Problem ist noch weit von einer Lösung entfernt.
• Das domänenspezifisch feinabgestimmte FinMA 7B erreicht einen F1-Score von 0,88 bei der FPB-Sentiment-Analyse – es übertrifft GPT-4 bei dieser eng gefassten Aufgabe, was bestätigt, dass Fine-Tuning bei klar definierten Klassifizierungen immer noch Vorteile bringt.
• Die Vorhersage von Kursbewegungen ist der deutlichste Fehlerfall: Selbst GPT-4 erreicht nur eine Genauigkeit von etwa 0,54 – kaum über dem Zufallsniveau. Die Autoren bezeichnen dies als "einen bemerkenswerten Mangel in der Kapazität von LLMs, Prognosen zu bewältigen".
• GPT-4 erzielt eine Sharpe-Ratio von 1,51 bei der Handelsaufgabe gegenüber 1,03 für Gemini und eine kumulierte Rendite von 28,19 % gegenüber einer Buy-and-Hold-Rendite von -4,00 % während des Evaluierungszeitraums – dies ist jedoch ein kurzer Backtest mit allen üblichen Vorbehalten.
• Alle Modelle erzielten null Punkte bei der extraktiven Zusammenfassung, und GPT-4 erreichte einen F1-Score von 0,01 bei der Relationsextraktion. Die Fähigkeiten brechen außerhalb der Komfortzone von Textklassifizierung und offener Generierung scharf ein.

Was Bestand hat – und was nicht

Der Benchmark ist als Untersuchungsinstrument wirklich nützlich. Das Spektrum der Aufgaben ist breiter als alles bisher Dagewesene, und die Open-Source-Veröffentlichung bedeutet, dass andere auf der Evaluierungsinfrastruktur aufbauen können, anstatt von vorne zu beginnen.

Dennoch habe ich echte Bedenken, was FinBen tatsächlich aussagen kann. Der Zeitraum der Handelsbewertung ist kurz und marktspezifisch; eine Sharpe-Ratio, die über ein paar Monate für US-Aktien berechnet wird, ist kein stabiles Signal. Die Null-Ergebnisse bei der extraktiven Zusammenfassung sagen uns, dass etwas nicht funktioniert, aber das Paper diagnostiziert nicht warum – liegt es am Prompt-Format, an einem Tokenisierungs-Artefakt oder an einem echten Denkfehler? Die Unterscheidung ist wichtig für jeden, der versucht, dies zu beheben.

Der Benchmark ist zudem fast ausschließlich auf Englisch und den US-Markt ausgerichtet. Das ist nicht nur ein Vorbehalt hinsichtlich der Generalisierbarkeit; es bedeutet, dass die Ergebnisse sehr wenig über die Leistung bei beispielsweise deutschen oder chinesischen Finanzdokumenten oder in Rechtsordnungen mit anderen Rechnungslegungsstandards aussagen. Für ein Projekt wie Beancount.io, das eine globale Nutzerbasis bedient, ist dies eine erhebliche Lücke.

Die Geschichte der instruktionsgetunten Modelle ist ebenfalls unklarer, als es zunächst den Anschein hat. Fine-Tuning hilft beim Sentiment (FinMA 7B bei 0,88), bietet aber "nur geringfügige Verbesserungen für komplexe Aufgaben wie QA". Das Paper berichtet dies als Befund, bietet aber keine mechanistische Erklärung. Handelt es sich um ein katastrophales Vergessen der Denkfähigkeit des Basismodells? Ist die Verteilung der Fine-Tuning-Daten zu eng? Der Umfang des Benchmarks allein kann dies nicht beantworten.

Warum dies für Finanz-KI wichtig ist

Die FinBen-Ergebnisse geben Bean Labs eine sauberere Baseline als bisher. Die Aufgaben, die für einen Beancount-Ledger-Agenten am relevantesten sind – numerische QA über strukturierte Finanzberichte (FinQA: 0,63 Exact Match), Informationsextraktion aus Transaktionsbeschreibungen (NER: 0,83 F1) und Anomalieerkennung oder Betrugsklassifizierung (Risikomanagementaufgaben mit großer Varianz) – sind hier alle vertreten, und keine davon ist gelöst.

Der Einbruch bei den Prognosen (0,54 bei Kursbewegungen) ist für unseren engeren Anwendungsfall eigentlich beruhigend: Wir verlangen von den Modellen nicht, Märkte vorherzusagen, sondern wir verlangen von ihnen, strukturierte Einträge zu klassifizieren, zu extrahieren und zurückzuschreiben. Diese Aufgaben landen je nach Komplexität im Bereich von 0,63 bis 0,83, was eine brauchbare Grundlage darstellt – obwohl "brauchbar" nicht "produktionssicher ohne menschliche Überprüfung" bedeutet.

Die Lücke zwischen strukturierter Extraktion und offenem Denken lässt sich auch direkt auf das Problem der Sicherheit beim Zurückschreiben (Write-back Safety) übertragen. Wenn ein Modell eine Entität zuverlässig extrahieren kann (F1 0,83), aber Schwierigkeiten hat, über deren numerische Auswirkungen nachzudenken (FinQA 0,63) oder korrekten strukturierten Output zu generieren (Relationsextraktion: 0,01), dann hält die sicherste Architektur diese Schritte getrennt, mit expliziter Validierung dazwischen.

Was man als Nächstes lesen sollte

• FinMaster (arXiv:2505.13533) – Benchmarked explizit End-to-End-Buchhaltungs-Workflows einschließlich Journalbuchung und Abstimmung; näher an der Beancount-Aufgabe als alles in FinBen.
• "Table Meets LLM: Can Large Language Models Understand Structured Table Data?" (arXiv:2305.13062, WSDM 2024) – Beancount-Ledger sind im Wesentlichen strukturierte Tabellen; dieses Paper benchmarkt genau die Fähigkeiten zum strukturellen Verständnis, die jedem Ledger-Lese-Agenten zugrunde liegen.
• ReAct: Synergizing Reasoning and Acting in Language Models (arXiv:2210.03629) – Das verzahnte Reasoning-and-Action-Framework ist das, was die meisten Write-back-Agenten verwenden würden; das Verständnis seiner Fehlermodi ist jetzt umso wichtiger, da FinBen gezeigt hat, wo die Untergrenze der Denkfähigkeit tatsächlich liegt.