Kann dein Agent diese Bücher ausgleichen?
Ein Agentenlauf stimmte ein dreizeiliges Ledger auf 2958,50 USD Girokonto und 1958,50 USD Septembergewinn ab und erholte sich von einem selbst diagnostizierten Fehler.
#beancount
Beancount
Beancount-Hauptbuchformat, Tooling und Ökosystem-Forschung
FinRAGBench-V: Multimodales RAG mit visuellen Zitaten im Finanzbereich
FinRAGBench-V zeigt: Top-Modelle erreichen nur 20–61 % Block-Level-Zitat-Recall auf Finanzseiten. Multimodales Retrieval schlägt Text-only um fast 50 Punkte.
Können LLM-Agenten CFOs sein? EnterpriseArenas 132-monatige Simulation deckt eine große Lücke auf
Nur Qwen3.5-9B übersteht 80% der 132-Monats-CFO-Läufe von EnterpriseArena, während GPT-5.4 und DeepSeek-V3.1 0% erreichen. Übersprungener Ledger-Abgleich verursacht die Fehler.
WildToolBench: Warum kein LLM eine Sitzungsgenauigkeit von 15 % bei der realen Tool-Nutzung überschreitet
WildToolBench findet kein LLM über 15 % Sitzungsgenauigkeit bei 1.024 Echtnutzer-Aufgaben, verborgene Intention und Instruktionswechsel sind die schärfsten Fehlermodi.
JSONSchemaBench: Reale Schema-Komplexität bricht Garantien für strukturierten LLM-Output
JSONSchemaBench findet, dass die Abdeckung von 86% bei einfachen Schemas auf 3% bei komplexen fällt, daher kann strukturierte LLM-Ausgabe still nicht-konformes JSON liefern.
FinMCP-Bench: Benchmarking von LLM-Agenten für den realen Einsatz von Finanz-Tools unter MCP
FinMCP-Bench bewertet das beste von sechs LLMs mit nur 3,08 % Exact Match bei 613 echten MCP-Finanzaufgaben, ein 20-facher Einbruch von Single-Tool zu Multi-Turn.
FinTrace: Evaluation von LLM-Tool-Aufrufen für Finanzaufgaben auf Trajektorie-Ebene
FinTrace zeigt: Frontier-LLMs wählen die richtigen Finanztools (F1 ~0,9), erreichen aber nur 3,23/5 bei deren Nutzung – der Schritt, der Write-Back-Agenten scheitern lässt.
FinToolBench: Bewertung von LLM-Agenten bei der realen Nutzung von Finanztools
FinToolBench findet Intent-Mismatch über 50% bei jedem getesteten LLM, aggressives Tool-Calling bedeutet also nicht bessere Antworten bei Finanzaufgaben.
OmniEval: Omnidirektionaler RAG-Evaluations-Benchmark für den Finanzsektor
OmniEval bewertet die besten RAG-Systeme mit 36% numerischer Genauigkeit über 5 Finanzaufgaben, daher brauchen Ledger-Agenten Validierung vor dem Buchen.
LLM-Anomalieerkennung Survey (NAACL 2025): Starke Taxonomie, fehlende Abdeckung tabellarischer Daten
Die NAACL-2025-Taxonomie bleibt gültig, doch tabellarische Abdeckung fehlt. Finanz-KI-Teams müssen Vision-Modell-Methoden selbst anpassen.
In der Mitte gefunden: Die Kalibrierung des positionalen Attention-Bias verbessert Long-Context RAG
Das Subtrahieren von Positions-Bias aus LLM-Attention-Gewichten gewinnt bis zu 15 Punkte RAG-Genauigkeit, wenn Belege mitten im Kontext liegen.
Unsicherheitsbewusste Weiterleitung für LLM-Agenten: Wann von kleinen zu großen Modellen eskaliert werden sollte
ReDAct wechselt vom kleinen zum großen Modell nur, wenn Perplexität Unsicherheit signalisiert – 64% Kostenersparnis bei gleicher Genauigkeit für Agenten-Workflows.