LLM-Konfidenz und Kalibrierung: Ein Überblick über den tatsächlichen Stand der Forschung
Verbalisierte GPT-4-Konfidenz erreicht nur ~62,7 % AUROC, kaum über Zufall. Unsicherheitsbewusste Finanzagenten brauchen bessere Kalibrierung.
#trust
Vertrauen
Zuverlässigkeit, Kalibrierung und Halluzination in finanziellen KI-Systemen
Unsicherheitsbewusste Weiterleitung für LLM-Agenten: Wann von kleinen zu großen Modellen eskaliert werden sollte
ReDAct wechselt vom kleinen zum großen Modell nur, wenn Perplexität Unsicherheit signalisiert – 64% Kostenersparnis bei gleicher Genauigkeit für Agenten-Workflows.
Verifizierbar sichere Tool-Nutzung für LLM-Agenten: STPA trifft auf MCP
STPA plus fähigkeitserweitertes MCP liefert formale Sicherheitsspezifikationen für LLM-Tool-Nutzung, mit Alloy-Beweis für keine unsicheren Flüsse in einer Kalender-Fallstudie.
AGrail: Adaptive Sicherheits-Guardrails für LLM-Agenten mit aufgabenübergreifendem Lernen
AGrails Zwei-LLM-Guardrail senkt den Erfolg von Prompt-Injection-Angriffen auf 0% und bewahrt 95,6% gutartiger Agentenaktionen auf Safe-OS.
ShieldAgent: Verifizierbare Sicherheitsrichtlinien-Argumentation für LLM-Agenten
ShieldAgent erreicht 90,4 % Genauigkeit bei Agenten-Angriffen mit 64,7 % weniger API-Aufrufen durch probabilistische Regelkreise statt LLM-Guardrails.
GuardAgent: Deterministische Sicherheitsdurchsetzung für LLM-Agenten via Code-Ausführung
GuardAgent erzwingt LLM-Agenten-Richtlinien per Python-Code und erreicht 98,7 % Genauigkeit ohne Aufgabenfehler, gegenüber 81 % und bis zu 71 % Fehlern bei Prompt-Regeln.
Selbstkorrektur: GPT-4 fällt von 95,5% auf 91,5% bei GSM8K
Huang et al. (ICLR 2024): intrinsische Selbstkorrektur senkt GPT-4 von 95,5% auf 91,5% bei GSM8K – Ledger-Agenten benötigen externe Validatoren, keine Selbstprüfung.
PHANTOM (NeurIPS 2025): Messung der LLM-Halluzinationserkennung in Finanzdokumenten
PHANTOM (NeurIPS 2025) misst die LLM-Halluzinationserkennung an echten SEC-Filings. Qwen3-30B führt mit F1=0.882, doch 7B-Modelle raten nahezu zufällig.