Marketingmanager
MemGPTs OS-artige Speicherstufen steigern die Genauigkeit von GPT-4 bei Chat über mehrere Sitzungen auf 92,5 % gegenüber 32,1 % bei festem Kontext – notwendig für mehrjährige Ledger-Agenten.
SWE-agents Agent-Computer Interfaces hoben GPT-4 Turbo von roher Shell auf 12,47% bei SWE-bench, ein Zugewinn von 10,7 Punkten allein durch Interface-Design.
SWE-bench testet Sprachmodelle an 2.294 echten GitHub-Issues; bei Veröffentlichung löste Claude 2 nur 1,96%. Retrieval- und Patch-Längenlimits prägen Coding-Agenten.
CodeAct ersetzt JSON-Tool-Aufrufe durch ausführbares Python, steigert den GPT-4-Agenten-Erfolg um ~20 Punkte und senkt die Turns um 30%.
Huang et al. (ICLR 2024): intrinsische Selbstkorrektur senkt GPT-4 von 95,5% auf 91,5% bei GSM8K – Ledger-Agenten benötigen externe Validatoren, keine Selbstprüfung.
Tree of Thoughts erreicht 74% bei Game of 24, wo GPT-4 Chain-of-Thought nur 4% schafft, durch Suche und Backtracking über Schritte – ein Muster für Finanzagenten.
CRITIC steigert Open-Domain-QA um 7,7 F1 und senkt Toxizität um 79,2%, indem es LLM-Revisionen gegen externe Tools statt gegen sich selbst verifiziert.
Reflexion erreicht 91% bei HumanEval mit GPT-4 ohne Gewichtsaktualisierungen, scheitert aber bei WebShop. Verbale Verstärkung braucht ein klares Evaluator-Signal.
Self-Consistency bildet die Mehrheitswahl über viele Stichproben-Reasoning-Pfade statt eines gierigen Dekodierens und bringt +17,9 Punkte auf GSM8K ohne zusätzliches Training.
PAL erzielt +38,1pp gegenüber Chain-of-Thought bei GSM-hard, indem es Arithmetik an Python übergibt – die richtige Aufteilung für zuverlässige Beancount-Ledger-Berechnungen.
Vier Benchmarks zeigen GPT-4 bei 42% bei realer Tabellen-QA gegenüber 86% bei Menschen und 19,6% bei komplexen Aggregationen – Finanzagenten brauchen saubere Tabelleneingaben.
Constitutional AI ersetzt handgelabelte Schadensdaten durch KI-Feedback, sodass Accounting-Agenten Ledger-Regeln durchsetzen können, ohne Prüfer pro Transaktion.
