Ich habe darüber nachgedacht, was nach Tree of Thoughts kommt — wenn man über Denkschritte suchen kann, warum nicht auch über Aktionen? Genau das macht LATS (Language Agent Tree Search), und deshalb lese ich es jetzt. Das Papier von Andy Zhou, Kai Yan, Michal Shlapentokh-Rothman, Haohan Wang und Yu-Xiong Wang (ICML 2024, arXiv:2310.04406) ist die bisher klarste Synthese von Denken, Handeln und Planen in einem einzigen Agenten-Framework, und die Ergebnisse sind wirklich schwer von der Hand zu weisen.
Das Papier
Das Kernproblem, das LATS adressiert, ist eine strukturelle Lücke in früheren Agenten-Arbeiten. ReAct verschränkt Denken und Handeln, hat aber keinen Mechanismus, um umzukehren und einen anderen Weg zu versuchen, wenn eine Trajektorie schiefgeht. Tree of Thoughts ermöglicht Verzweigungen über Denkschritte, operiert aber auf internem LM-Wissen — es kann keine Werkzeuge aufrufen oder externes Feedback während der Suche erhalten. Reflexion fügt verbale Selbstkorrektur hinzu, aber seine lineare Wiederholungsschleife verpflichtet sich zu einer neuen Trajektorie, ohne Alternativen zu erkunden. LATS verschmilzt alle drei Ideen mit einem soliden Monte-Carlo-Baumsuch-Rückgrat (MCTS), sodass LLM-Agenten mehrere Zweige erkunden, echtes Umgebungsfeedback erhalten und zurückverfolgen können, wenn ein Pfad fehlschlägt.
Die technische Maschinerie ist eine sechsstufige MCTS-Schleife: Selektion (wähle den nächsten zu erkundenden Knoten über die UCT-Formel), Expansion (sample n Kandidatenaktionen aus dem LM), Evaluation (bewerte jeden Knoten mit einer hybriden Wertfunktion), Simulation (rolle bis zu einem Endzustand aus), Rückpropagation (aktualisiere die Werte der Vorfahren) und Reflexion (bei Fehlschlag eine verbale Zusammenfassung dessen, was schiefging, erzeugen und als Kontext speichern). Die Wertfunktion verdient Aufmerksamkeit: V(s) = λ·LM(s) + (1−λ)·SC(s), wobei LM(s) die eigene Schätzung des LM zur Trajektorienqualität nach Erhalt von Umgebungsfeedback ist und SC(s) ein Selbstkonsistenz-Score basierend darauf, wie oft diese Aktion über Geschwisterknoten gesampelt wird. Dies ist kein trainiertes Belohnungsmodell — die Wertfunktion ist vollständig promptgesteuert.
Kernideen
- Bei HumanEval erreicht GPT-4 + LATS 92,7 % pass@1, gegenüber 91,0 % für GPT-4 + Reflexion und 56,9 % für GPT-3.5 + ReAct allein. GPT-3.5 + LATS springt auf 83,8 %.
- Bei HotPotQA erreicht LATS (CoT + ReAct) 0,71 Exact Match gegenüber 0,32 für die ReAct-Baseline — mehr als eine Verdopplung der Multi-Hop-Genauigkeit.
- Bei WebShop (Webnavigation + Kauf) erzielt LATS 75,9 (38,0 % Erfolg) gegenüber Reflexion mit 64,2 (35,0 %) — eine bedeutende Lücke bei einer Aufgabe, die Zustandsverwaltung über viele Seiten erfordert.
- Bei Game of 24 (ein reines Denkrätsel) erreicht LATS 0,44 Erfolg gegenüber ToTs 0,20, trotz desselben GPT-4-Rückgrats.
- Überraschenderweise expandiert LATS weniger Knoten, um eine Lösung zu finden, als ToT (durchschnittlich 66,65 vs. 84,05 Knoten bei HotPotQA bei k=50) und verwendet weniger Token (173.290 vs. 210.215), obwohl es theoretisch teurer aussieht.
Was hält — und was nicht
Die Benchmark-Zahlen sind real und das Framework ist konzeptionell sauber. Die UCT-Formulierung bietet einen prinzipientreuen Explorations-Exploitations-Kompromiss, der ToTs ad-hoc BFS/DFS fehlt. Die Integration von externem Umgebungsfeedback in die Wertfunktion — statt reiner LM-Introspektion — ist der richtige Schritt, und die Ergebnisse zeigen es.
Aber das Papier trägt eine kritische Annahme, die die Autoren anerkennen, ohne sie vollständig zu stresstesten: LATS erfordert die Fähigkeit, die Umgebung auf einen früheren Zustand zurückzusetzen. Ohne Checkpointing kann man den Baum nicht verzweigen — sobald eine Aktion ausgeführt ist, ist man festgelegt. Die Autoren merken an, dass dies bei LM-Aufgaben oft durch „Kopieren-Einfügen historischer Texteingaben" handhabbar ist, aber für reale Aktionsumgebungen (Datenbanken, Dateisysteme, APIs mit Seiteneffekten) ist dies eine harte Anforderung, die viele Produktionssysteme nicht erfüllen können. Die WebShop-Ergebnisse, obwohl besser als die Baselines, zeigen, dass in komplexen Umgebungen Selbstreflexionen tendenziell generisch statt spezifisch werden — Agenten können ins Stocken geraten und oberflächlich unterschiedliche, aber strukturell identische Fehler wiederholen. Das Papier erwähnt dies, bietet aber kein Heilmittel.
Es gibt auch keine Ablation, die den Beitrag der MCTS-Struktur gegenüber dem Design der Wertfunktion isoliert. Es ist plausibel, dass ein einfacherer Verzweigungsansatz mit derselben hybriden Wertfunktion einen Großteil der Lücke schließen würde, und die Autoren testen dies nicht direkt.
Warum das für Finanz-KI wichtig ist
Beancount-Hauptbücher sind eine fast ideale Umgebung für LATS-artige Baumsuche aus einem Hauptgrund: Jedes Hauptbuch wird von einem Git-Repository gestützt. Die Zustandsrücksetzungsanforderung — die harte Einschränkung, die LATS in vielen realen Umgebungen unpraktisch macht — ist trivial durch git checkout oder git stash erfüllt. Ein Write-Back-Agent könnte Kandidaten-Journalbuchungen über mehrere Zweige vorschlagen, sie gegen Bilanzbeschränkungen bewerten (die Wertfunktion) und nur den Pfad mit der höchsten Punktzahl committen. Fehlgeschlagene Zweige erhalten eine verbale Reflexion: „Die gebuchte Buchung verletzte Aktiva = Passiva + Eigenkapital, weil der Kontotyp falsch klassifiziert wurde."
Das Design der hybriden Wertfunktion ist ebenfalls direkt anwendbar. Für einen Hauptbuch-Agenten würde LM(s) eine vorgeschlagene Buchung auf semantische Passung bewerten (sieht das wie die richtige Kategorie aus?), während SC(s) verfolgen würde, wie konsistent der Agent ähnliche vergangene Transaktionen klassifiziert — eine natürliche Selbstkonsistenzprüfung, die in der eigenen Geschichte des Hauptbuchs verwurzelt ist.
Zustandsrücksetzung ist der eine Punkt, an dem ich bei der Finanz-Analogie widersprechen würde. Echte Hauptbücher haben oft nachgelagerte Effekte: Eine gebuchte Buchung löst eine Rechnung aus, die einen Zahlungsworkflow auslöst. In solchen Fällen bricht LATS' Annahme. Speziell für Beancount, wo das Hauptbuch eine Klartextdatei unter Git-Kontrolle ist und Änderungen lokal erfolgen, bevor ein nachgelagerter Auslöser feuert, gilt die Annahme — aber dies ist eine Designbeschränkung, die explizit zu halten ist.
Was als Nächstes zu lesen ist
- MCTS-basierte Planung ohne Umgebungsmodelle: „Reasoning with Language Model is Planning with World Model" (Hao et al., 2023, arXiv:2305.14992) — RAP, auf dem LATS aufbaut und das es verbessert.
- Wie gut generalisiert die LM-Wertfunktion? „Let's Verify Step by Step" (Lightman et al., 2023, arXiv:2305.20050) — Prozess-Belohnungsmodelle als Alternative zu promptbasierten Wertfunktionen.
- Sicheres mehrstufiges Planen unter Irreversibilität: „Decision-Making with Language Models via Successive Prompting" (Creswell et al., 2023) — ein einfacherer Planungsansatz, der die Zustandsrücksetzungsanforderung vermeidet.
