#technology
Technologieforschung und Software-Engineering-Themen für finanzielle KI-Systeme
WildToolBench findet kein LLM über 15 % Sitzungsgenauigkeit bei 1.024 Echtnutzer-Aufgaben, verborgene Intention und Instruktionswechsel sind die schärfsten Fehlermodi.
LLMs schneiden bis zu 20 Punkte schlechter ab, wenn die Antwort in der Kontextmitte liegt, daher sollten Finanz-RAG-Pipelines die besten Passagen zuerst oder zuletzt setzen.
OSWorld: Desktop-KI-Agenten lösen 12,24% realer Aufgaben, Menschen 72,36%. 75% der Fehler liegen in visuomotorischer Verankerung, nicht im Schlussfolgern.
StructRAG leitet jede Anfrage zu einer Tabelle, Graph-, Katalog-, Algorithmus- oder Chunk-Struktur, schlägt GraphRAG um 28 Punkte und läuft 22× schneller.
Bei gleichen Denk-Token-Budgets erreichen oder übertreffen Single-Agent-LLMs Multi-Agent-Systeme bei Multi-Hop-Schlussfolgerungen – bevorzugen Sie einfachere Finanz-Agent-Designs.
Self-RAG trainiert ein LLM zu entscheiden, wann es abruft und Ergebnisse selbst bewertet, erreicht 55,8% auf PopQA und 80,2 FactScore – schlägt ChatGPT in fünf Benchmarks.
AgentBench bewertete GPT-4 mit 4,01 gegenüber 0,96 für das beste Open-Source-LLM. Genau diese Fehler brechen einen Beancount-Write-back-Agenten auf einem Live-Ledger.
MemGPTs OS-artige Speicherstufen steigern die Genauigkeit von GPT-4 bei Chat über mehrere Sitzungen auf 92,5 % gegenüber 32,1 % bei festem Kontext – notwendig für mehrjährige Ledger-Agenten.
