DIN-SQL: GPT-4 verbessert sich um 67,4%→85,3% EX auf Spider
DIN-SQL hebt GPT-4 von 67,4% auf 85,3% Spider-Ausführungsgenauigkeit durch Schema-Link- und Selbstkorrektur-Phasen – dieselbe Zerlegung passt zu Beancount BQL.
Mike Thrift
Marketingmanager
BIRD: GPT-4 erreicht nur 54,89 % EX auf echten Datenbanken
Auf BIRD erreicht GPT-4 54,89 % Ausführungsgenauigkeit mit Domain-Hinweisen und 34,88 % ohne – eine Lücke von 20 Punkten, die jede Beancount-NL→BQL-Schnittstelle schließen muss.
Verifizierbar sichere Tool-Nutzung für LLM-Agenten: STPA trifft auf MCP
STPA plus fähigkeitserweitertes MCP liefert formale Sicherheitsspezifikationen für LLM-Tool-Nutzung, mit Alloy-Beweis für keine unsicheren Flüsse in einer Kalender-Fallstudie.
GraphRAG: 72–83% Siege verschwinden nach Korrektur der LLM-Richter-Verzerrung
Microsofts GraphRAG erzielt 72–83% Sensemaking-Siege gegenüber Vektor-RAG; eine 2025-Audit lässt diese nach Korrektur der Richter-Verzerrung kollabieren—Vorsicht bei Multi-Dokument-Hauptbuch-QA.
FinAuditing: LLMs erzielen unter 14 % bei realen SEC-XBRL-Prüfungsaufgaben
FinAuditing zeigt: Top-LLMs erreichen nur 13,86% bei der Finanzmathematik-Prüfung echter SEC-XBRL-Einreichungen und begrenzen so die KI-Buchhaltung ohne Hilfe.
InvestorBench: Qwen2.5-72B führt bei Aktien mit 46,15% CR
InvestorBench: Qwen2.5-72B führt beim Aktienhandel mit 46,15% CR; das auf Finanzen abgestimmte Palmyra-Fin schlägt bei Aktien fehl – Größe schlägt domänenspezifisches Feintuning.
StructRAG (ICLR 2025): Die Wahl der richtigen Dokumentenstruktur schlägt GraphRAG um 28 Punkte
StructRAG leitet jede Anfrage zu einer Tabelle, Graph-, Katalog-, Algorithmus- oder Chunk-Struktur, schlägt GraphRAG um 28 Punkte und läuft 22× schneller.
Single-Agent: entspricht MAS bei Multi-Hop bei gleichen Tokens
Bei gleichen Denk-Token-Budgets erreichen oder übertreffen Single-Agent-LLMs Multi-Agent-Systeme bei Multi-Hop-Schlussfolgerungen – bevorzugen Sie einfachere Finanz-Agent-Designs.
M3MAD-Bench: Sind Multi-Agenten-Debatten über Domänen und Modalitäten hinweg wirklich effektiv?
M3MAD-Bench stellt fest, dass Collective Delusion 65% der Multi-Agenten-Debattenfehler verursacht, und adversariale Debatte senkt die Genauigkeit um bis zu 12,8%.
AGrail: Adaptive Sicherheits-Guardrails für LLM-Agenten mit aufgabenübergreifendem Lernen
AGrails Zwei-LLM-Guardrail senkt den Erfolg von Prompt-Injection-Angriffen auf 0% und bewahrt 95,6% gutartiger Agentenaktionen auf Safe-OS.
ShieldAgent: Verifizierbare Sicherheitsrichtlinien-Argumentation für LLM-Agenten
ShieldAgent erreicht 90,4 % Genauigkeit bei Agenten-Angriffen mit 64,7 % weniger API-Aufrufen durch probabilistische Regelkreise statt LLM-Guardrails.
Atlas: Gemeinsames Retriever-Reader-Pre-Training schlägt LLMs mit 540 Mrd. Parametern mit nur 11 Mrd. Parametern
Atlas erreicht 42,4% Genauigkeit bei Natural Questions mit 64 Beispielen und schlägt PaLM 540B um 3 Punkte mit 11B Parametern durch gemeinsames Retriever-Reader-Pre-Training.