FinRAGBench-V: Multimodales RAG mit visuellen Zitaten im Finanzbereich
FinRAGBench-V zeigt: Top-Modelle erreichen nur 20–61 % Block-Level-Zitat-Recall auf Finanzseiten. Multimodales Retrieval schlägt Text-only um fast 50 Punkte.
#finance
Finanzen
Finanzforschung, Analyse und Domänenwissen für Buchhaltungs-KI
LLM-Konfidenz und Kalibrierung: Ein Überblick über den tatsächlichen Stand der Forschung
Verbalisierte GPT-4-Konfidenz erreicht nur ~62,7 % AUROC, kaum über Zufall. Unsicherheitsbewusste Finanzagenten brauchen bessere Kalibrierung.
FinTrace: Evaluation von LLM-Tool-Aufrufen für Finanzaufgaben auf Trajektorie-Ebene
FinTrace zeigt: Frontier-LLMs wählen die richtigen Finanztools (F1 ~0,9), erreichen aber nur 3,23/5 bei deren Nutzung – der Schritt, der Write-Back-Agenten scheitern lässt.
OmniEval: Omnidirektionaler RAG-Evaluations-Benchmark für den Finanzsektor
OmniEval bewertet die besten RAG-Systeme mit 36% numerischer Genauigkeit über 5 Finanzaufgaben, daher brauchen Ledger-Agenten Validierung vor dem Buchen.
FinDER: Reale Analystenanfragen decken eine Recall-Lücke von 74 % bei Finanz-RAG auf
FinDERs 5.703 echte Analystenanfragen zeigen: Top-RAG ruft nur 25,95 % der 10-K-Belege ab. Erst Abkürzungen normalisieren, dann Embeddings wechseln.
Lost in the Middle: Position Bias in LLMs und seine Auswirkungen auf Finance AI
LLMs schneiden bis zu 20 Punkte schlechter ab, wenn die Antwort in der Kontextmitte liegt, daher sollten Finanz-RAG-Pipelines die besten Passagen zuerst oder zuletzt setzen.
AnoLLM: Fine-Tuning von LLMs zur tabellarischen Anomalieerkennung in Finanzdaten
AnoLLM schlägt klassische Baselines bei gemischttypischen Betrugsdaten durch Zeilenbewertung mit LLM-Log-Likelihood, bringt aber bei rein numerischen Tabellen keinen Vorteil.
DocFinQA: Langkontextuelles finanzielles Schlussfolgern auf vollständigen SEC-Filings
DocFinQA ersetzt FinQAs 700-Wort-Passagen durch vollständige SEC-Filings, einen 175× längeren Kontext, der die GPT-4-Genauigkeit bei langen Dokumenten fast halbiert.
TheAgentCompany: Benchmarking von LLM-Agenten bei realen Unternehmensaufgaben
TheAgentCompany bewertet 175 Unternehmensaufgaben in einem simulierten Intranet, und das beste Modell, Gemini-2.5-Pro, erledigt nur 30 % bei Kosten von 4 $ pro Aufgabe.
InvestorBench: Qwen2.5-72B führt bei Aktien mit 46,15% CR
InvestorBench: Qwen2.5-72B führt beim Aktienhandel mit 46,15% CR; das auf Finanzen abgestimmte Palmyra-Fin schlägt bei Aktien fehl – Größe schlägt domänenspezifisches Feintuning.
Single-Agent: entspricht MAS bei Multi-Hop bei gleichen Tokens
Bei gleichen Denk-Token-Budgets erreichen oder übertreffen Single-Agent-LLMs Multi-Agent-Systeme bei Multi-Hop-Schlussfolgerungen – bevorzugen Sie einfachere Finanz-Agent-Designs.
M3MAD-Bench: Sind Multi-Agenten-Debatten über Domänen und Modalitäten hinweg wirklich effektiv?
M3MAD-Bench stellt fest, dass Collective Delusion 65% der Multi-Agenten-Debattenfehler verursacht, und adversariale Debatte senkt die Genauigkeit um bis zu 12,8%.