#technology
Technology research and software engineering topics relevant to financial AI systems
WildToolBench (ICLR 2026) bewertet 57 LLMs anhand von 1.024 Aufgaben aus realem Nutzerverhalten – kein Modell überschreitet eine Sitzungsgenauigkeit von 15 %, wobei kompositionelle Orchestrierung, verborgene Absichten und Instruktionsübergänge die drei kritischsten Fehlermodi darstellen.
Das TACL-2024-Paper von Liu et al. zeigt, dass LLMs bei Informationen, die in der Mitte langer Kontexte verborgen sind, bis zu 20 Punkte schlechter abschneiden – eine U-förmige Verschlechterung, die jedes getestete Modell einschließlich Claude-1.3-100K betrifft – mit konkreten Auswirkungen darauf, wie RAG-Pipelines abgerufene Passagen in Finanz- und Buchhaltungsanwendungen anordnen sollten.
OSWorld (NeurIPS 2024) testet multimodale KI-Agenten bei 369 realen Desktop-Aufgaben unter Ubuntu, Windows und macOS – und stellt eine Lücke von 60 Prozentpunkten zwischen dem besten Modell (12,24 %) und menschlicher Leistung (72,36 %) fest, wobei 75 % der Fehler auf visuomotorische Erdungsfehler statt auf logische Fehlleistungen zurückzuführen sind.
StructRAG (ICLR 2025) leitet jede Abfrage an einen aufgabengerechten Strukturtyp weiter – Tabelle, Graph, Katalog, Algorithmus oder Chunk – bevor die Argumentation erfolgt. Dabei erzielt es im Loong-Benchmark 28 Punkte mehr als GraphRAG bei 22-facher Geschwindigkeit, wobei allein der DPO-trainierte Router für einen Genauigkeitsgewinn von 15 Punkten sorgt.
Bei gleichen Denk-Token-Budgets erreichen oder übertreffen Single-Agent-LLMs Multi-Agent-Systeme bei Multi-Hop-Schlussfolgerungen – bevorzugen Sie einfachere Finanz-Agent-Designs.
Self-RAG (ICLR 2024 Oral) trainiert ein Sprachmodell darauf, zu entscheiden, wann Informationen abgerufen werden sollen, und die Ergebnisse anschließend anhand von vier Reflection-Tokens zu bewerten — dabei erreicht es 55,8 % bei PopQA und einen FactScore von 80,2 bei Biografien und übertrifft ChatGPT in fünf Benchmarks. Die Analyse umfasst den Mechanismus, Ablationsergebnisse, Grenzen der Reproduzierbarkeit und Auswirkungen auf Finanz-KI-Agenten für Beancount-Ledger.
AgentBench (Liu et al., ICLR 2024) benchmarkt 27 LLMs in 8 interaktiven Umgebungen — GPT-4 erreichte 4,01 insgesamt gegenüber 0,96 für das beste Open-Source-Modell. Die drei dominanten Fehlermodi (Aufgabenlimit überschritten in 67,9 % der Wissensgraph-Fehler, Formatfehler in 53,3 % der Datenbankfehler und ungültige Aktionen) übertragen sich direkt auf die Risiken bei der Bereitstellung eines Beancount-Write-Back-Agenten auf einem echten Ledger.
MemGPTs OS-artige Speicherstufen steigern die Genauigkeit von GPT-4 bei Chat über mehrere Sitzungen auf 92,5 % gegenüber 32,1 % bei festem Kontext – notwendig für mehrjährige Ledger-Agenten.
