FinRAGBench-V: Multimodales RAG mit visuellen Zitaten im Finanzbereich
FinRAGBench-V zeigt: Top-Modelle erreichen nur 20–61 % Block-Level-Zitat-Recall auf Finanzseiten. Multimodales Retrieval schlägt Text-only um fast 50 Punkte.
#financial-reporting
Finanzberichterstattung
Erstellung und Prüfung von Finanzberichten mit Sprachmodellen
Fin-RATE: Wie LLMs bei periodenübergreifenden und unternehmensübergreifenden Finanzanalysen scheitern
Fin-RATE zeigt: LLM-Genauigkeit bricht auf 18,60 % bei longitudinaler Verfolgung ein, wobei die Retrieval-Pipeline, nicht das Modell, der Engpass ist.
FinDER: Reale Analystenanfragen decken eine Recall-Lücke von 74 % bei Finanz-RAG auf
FinDERs 5.703 echte Analystenanfragen zeigen: Top-RAG ruft nur 25,95 % der 10-K-Belege ab. Erst Abkürzungen normalisieren, dann Embeddings wechseln.
DocFinQA: Langkontextuelles finanzielles Schlussfolgern auf vollständigen SEC-Filings
DocFinQA ersetzt FinQAs 700-Wort-Passagen durch vollständige SEC-Filings, einen 175× längeren Kontext, der die GPT-4-Genauigkeit bei langen Dokumenten fast halbiert.
FinAuditing: LLMs erzielen unter 14 % bei realen SEC-XBRL-Prüfungsaufgaben
FinAuditing zeigt: Top-LLMs erreichen nur 13,86% bei der Finanzmathematik-Prüfung echter SEC-XBRL-Einreichungen und begrenzen so die KI-Buchhaltung ohne Hilfe.
TAT-LLM: LLaMA 2 7B schlägt GPT-4 bei Financial QA
TAT-LLM erreicht mit LLaMA 2 7B 64,60 % EM bei FinQA und übertrifft GPT-4 (63,91 %): Eine Extract-Reason-Execute-Pipeline bringt Tabellenarithmetik in kleine Modelle.
MultiHiertt: Benchmarking für numerisches Schlussfolgern über multi-hierarchische Finanztabellen
MultiHiertt zeigt: Modelle erreichen 38% F1 gegenüber 87% bei Menschen auf 10.440 Finanz-QA-Paaren, mit 15 Punkten Rückgang bei tabellenübergreifenden Fragen.
ConvFinQA: Modelle liegen 21 Punkte hinter Experten (68,9%)
Das beste Modell von ConvFinQA erreicht 68,9% Ausführungsgenauigkeit gegenüber 89,4% bei menschlichen Experten – eine Lücke von 21 Punkten, die der mehrstufige Ledger-Chat weiterhin bewältigen muss.
TAT-QA: Hybrid Table-Text QA Benchmark für logisches Schließen in Geschäftsberichten
TAT-QAs hybride Tabellen-Text-Fragen zeigten, dass Evidenzbindung, nicht Arithmetik, der Engpass der Finanz-KI ist. Feingetunte 7B-LLMs erreichten bis 2024 83% F1.
FinQA: Der Benchmark zur Messung numerischer Schlussfolgerungen von KI in Finanzberichten
FinQA fand: Neuronale Modelle erreichten 61% bei Finanzberichts-Mathematik gegenüber 91% bei menschlichen Experten, mit Einbruch auf 22% bei Programmen ab drei Schritten.
FinanceBench: Warum Vector-Store RAG bei echten Finanzdokumenten scheitert
FinanceBench testet 16 KI-Ansätze an 10.231 echten SEC-Filing-Fragen: Shared-Vector-Store-RAG antwortet nur zu 19 % richtig – Retrieval ist nicht der Engpass.
PHANTOM (NeurIPS 2025): Messung der LLM-Halluzinationserkennung in Finanzdokumenten
PHANTOM (NeurIPS 2025) misst die LLM-Halluzinationserkennung an echten SEC-Filings. Qwen3-30B führt mit F1=0.882, doch 7B-Modelle raten nahezu zufällig.