Wenn ich frage, was ein Beancount-Write-Back-Agent tatsächlich zuverlässig tun muss, lautet die Antwort nicht „Text erzeugen" — sondern „eine Abfolge von Aktionen in einer strukturierten Umgebung ausführen, ohne aus der Spur zu geraten." AgentBench (Liu et al., Tsinghua, ICLR 2024) ist einer der ersten ernsthaften Versuche, diese Fähigkeit in großem Maßstab zu messen, und die Momentaufnahme von 2023 birgt noch immer Lehren, die es wert sind, daraus gezogen zu werden.
Das Paper
AgentBench, von Xiao Liu und 21 Koautor*innen der Tsinghua-Universität, definiert acht Umgebungen, die darauf ausgelegt sind, LLMs als interaktive Agenten zu testen, statt als passive Textgeneratoren. Fünf Umgebungen sind originär: OS (Bash-Interaktion), Datenbank (SQL-Generierung und Fehlerbehebung), Wissensgraph (toolbasierte strukturierte Abfragen), Digitales Kartenspiel (mehrrundiger strategischer Wettbewerb) und Lateral-Denken-Rätsel (deduktiver Dialog). Drei sind aus früheren Datensätzen übernommen: Haushalt aus ALFWorld, Webshopping aus WebShop und Webbrowsing aus Mind2Web. Das Paper evaluiert 27 Modelle — kommerzielle API-Modelle und Open-Source-Modelle bis 70B — über rund 4.000 Dev-Split- und 13.000 Test-Split-Generationen und berichtet sowohl Erfolgsraten pro Umgebung als auch einen zusammengesetzten Gesamtwert.
Kernideen
- GPT-4 führt mit einem Gesamtwert von 4,01. Claude-2 erreicht 2,49, GPT-3.5-turbo 2,32. CodeLlama-34B, das stärkste Open-Source-Modell zum Einreichungszeitpunkt, erreicht nur 0,96. API-Modelle liegen im Schnitt bei 2,24 gegenüber 0,42 für Open-Source-Modelle.
- GPT-4 erzielt 42,4 % bei OS, 32,0 % bei Datenbank und 78,0 % bei Haushalt — die Streuung zeigt, welche Umgebungen Befehlsbefolgung gegenüber strukturierter Argumentation belohnen.
- „Aufgabenlimit überschritten" ist der dominante Fehlermodus: 67,9 % der Wissensgraph-Fehler stoßen an das Schrittbudget, bevor die Aufgabe gelöst ist. Das ist ein Langzeithorizont-Argumentationsfehler, kein Wissensdefizit.
- Formateinhaltungsfehler machen 53,3 % der Datenbankfehler aus — der Agent erzeugt syntaktisch ungültiges SQL oder verpackt Abfragen in Prosa, die der Evaluator nicht parsen kann.
- Ungültige Aktionsauswahl treibt 64,1 % der Haushaltsfehler — der Agent benennt eine Aktion, die im aktuellen Zustand nicht verfügbar ist.
- Codetraining hat „widersprüchliche Auswirkungen über Aufgaben hinweg": Es hilft bei prozedurfolgenden Umgebungen, kann aber allgemeines Denken in dialoglastigen Umgebungen beeinträchtigen.
Was Bestand hat — und was nicht
Die Kernentwurfsentscheidung — mehrere Umgebungen, mehrere Runden, interaktive Evaluierung — ist richtig und wird noch immer zu wenig genutzt. Die meisten LLM-Benchmarks messen weiterhin die Qualität der Einzelrunden-Generierung; AgentBench besteht zu Recht darauf, dass Agenten weiterhin Entscheidungen treffen müssen, bis eine Aufgabe abgeschlossen ist oder das Budget erschöpft ist.
Allerdings ist die Momentaufnahme in einer Weise veraltet, die von Bedeutung ist. Die Kluft zwischen GPT-4 (4,01) und dem besten Open-Source-Modell (0,96) wirkte Mitte 2023 alarmierend, hat sich aber bis 2025 weitgehend geschlossen. Modelle wie Llama 3.1 70B oder Qwen 2.5 72B überwinden nun Hürden bei Befehlsbefolgung und Formateinhaltung, die vor zwei Jahren neuartige Hindernisse waren. Das Paper als „Open Source kann keine agentischen Aufgaben" zu lesen, wäre ein Fehler; es als „Formateinhaltung und Langzeithorizont-Konsistenz sind die schwierigen Probleme" zu lesen, bleibt richtig.
Es gibt außerdem einen Trade-off zwischen Breite und Tiefe. Acht Umgebungen klingen umfassend, aber jede ist relativ flach. WebArena (Zhou et al., 2024) deckt allein für Webbrowsing 812 Langzeithorizont-Vorlagenaufgaben ab; OSWorld (Xie et al., 2024) benchmarkt 369 reale Desktop-Aufgaben auf Ubuntu und Windows. AgentBench kann ein umgebungsübergreifendes Signal liefern, ersetzt aber keinen domänenspezifischen Benchmark, sobald man weiß, welche Umgebung einem wichtig ist.
Die Fehlermodus-Taxonomie in Tabelle 4 ist wahrscheinlich der nachhaltigste Beitrag. Die Autor*innen unterteilen Fehler in Aufgabenlimit überschritten, Formatfehler, ungültige Aktion und einige andere. Das sind keine Implementierungsfehler — sie sind strukturelle Schwächen darin, wie LLMs Zustand halten, verfügbare Aktionen verfolgen und unter Mehrrunden-Druck parsebare Ausgaben erzeugen. Jedes ernsthafte Agentensystem muss sich damit auseinandersetzen.
Warum dies für KI im Finanzwesen wichtig ist
Die drei dominanten Fehlermodi übertragen sich fast direkt auf das, was ich erwarten würde, einen Beancount-Write-Back-Agenten zu brechen.
Aufgabenlimit überschritten ist der Fehlermodus der Kontenabstimmung. Das Abschließen eines Zeitraums über mehrere Konten hinweg bedeutet, Eröffnungssalden zu prüfen, Soll und Haben abzugleichen, Abweichungen zu identifizieren und Korrekturen vorzuschlagen — eine Kette, die leicht 10–20 Schritte umfasst. Ein Agent, der mitten in der Kette an ein Kontext- oder Schrittbudget stößt und aufgibt, scheitert nicht nur graziös; er kann das Ledger in einem teilweise modifizierten Zustand hinterlassen.
Formatfehler ist der Fehlermodus der Transaktionserfassung. Beancount hat eine strenge Syntax: Eine fehlerhafte Buchung (fehlende Währung, falsche Einrückung, ungültiges Flag) ist ein Parserfehler, der die Datei beschädigt. Ein Agent, der Prosa um seine Beancount-Ausgabe erzeugt oder korrekt aussehende Syntax im falschen Format produziert, ist nutzlos. Dies ist das Kernproblem des CRITIC-Papers, angewendet auf eine strengere Domäne.
Ungültige Aktion ist das Sicherheitsproblem beim Write-Back. Ein Beancount-Agent, der auf einem echten Ledger arbeitet, hat einen begrenzten Satz sicherer Operationen: eine Transaktion anhängen, ein Flag korrigieren, eine Buchung verschieben. Das Halluzinieren einer Aktion außerhalb dieses Satzes — etwa das Löschen eines Kontos, das noch offene Positionen hat — ist ein Korrektheitsfehler, der möglicherweise erst bei einer Prüfung zum Vorschein kommt.
Die Erkenntnis, dass „Codetraining widersprüchliche Auswirkungen" hat, ist ebenfalls relevant. Beancount-Write-Back ist der Codegenerierung näher als dem Wissensabruf, daher sollte ein code-vortrainiertes Modell eine natürliche Passung sein. Aber wenn Codetraining die Dialogfolge in Mehrrunden-Situationen beeinträchtigt, ist eine hybride Evaluierung wie die von AgentBench nötig, um diese Trade-offs vor der Bereitstellung sichtbar zu machen.
Was als Nächstes lesen
- WebArena (Zhou et al., 2024; arXiv:2307.13854) — 812 Webbrowsing-Aufgaben in einer Live-Browserumgebung; die tiefere Fortsetzung von AgentBench's Web-Ebene.
- OSWorld (Xie et al., 2024; NeurIPS 2024) — vollständiger Desktop-Umgebungs-Benchmark einschließlich Dateisystem- und GUI-Aufgaben; OSWorld's OS-Umgebung ist ein direkter, tieferer Nachfolger von AgentBench's OS-Ebene.
- TAU-bench (Yao et al., 2024) — evaluiert Agenten in Einzelhandels- und Fluggesellschafts-API-Umgebungen mit echtem Werkzeuggebrauch und Nutzersimulation; der nächste veröffentlichte Benchmark, der ein Beancount-Ledger als Umgebung behandelt.
