TAT-QA: Hybrid Table-Text QA Benchmark für logisches Schließen in Geschäftsberichten
TAT-QAs hybride Tabellen-Text-Fragen zeigten, dass Evidenzbindung, nicht Arithmetik, der Engpass der Finanz-KI ist. Feingetunte 7B-LLMs erreichten bis 2024 83% F1.
Mike Thrift
Marketingmanager
FinQA: Der Benchmark zur Messung numerischer Schlussfolgerungen von KI in Finanzberichten
FinQA fand: Neuronale Modelle erreichten 61% bei Finanzberichts-Mathematik gegenüber 91% bei menschlichen Experten, mit Einbruch auf 22% bei Programmen ab drei Schritten.
FinanceBench: Warum Vector-Store RAG bei echten Finanzdokumenten scheitert
FinanceBench testet 16 KI-Ansätze an 10.231 echten SEC-Filing-Fragen: Shared-Vector-Store-RAG antwortet nur zu 19 % richtig – Retrieval ist nicht der Engpass.
DSPy: Ersatz von sprödem Prompt-Engineering durch kompilierte LLM-Pipelines
DSPys Compiler hob Llama2-13b von 9,4% auf 46,9% bei GSM8K und weist Finance-AI-Pipelines in Richtung wartbarer deklarativer LLM-Aufrufe.
LATS: Language Agent Tree Search — Denken, Handeln und Planen in einem Framework
LATS vereint ReAct, Tree of Thoughts und Reflexion in einem MCTS-Framework und erreicht 92,7% pass@1 bei HumanEval mit GPT-4.
Self-RAG: Adaptive Retrieval und Selbstkritik für LLMs
Self-RAG trainiert ein LLM zu entscheiden, wann es abruft und Ergebnisse selbst bewertet, erreicht 55,8% auf PopQA und 80,2 FactScore – schlägt ChatGPT in fünf Benchmarks.
Voyager: Skill-Bibliotheken ermöglichen 3,3× mehr Gegenstandsentdeckung
Die persistente Code-Skill-Bibliothek von Voyager entdeckt 3,3× mehr Minecraft-Gegenstände als bisherige SOTA ohne Feintuning — das Wiederverwendungsmuster-Hauptbuch, das Agenten benötigen.
HippoRAG: 89,1 % Recall@5 auf 2Wiki vs. 68,2 % ColBERT
HippoRAGs OpenIE+PageRank-Speicher erreicht 89,1 % Recall@5 auf 2WikiMultiHopQA gegenüber 68,2 % ColBERTv2 – pfadbewusstes Abrufen für mehrjährige Hauptbücher.
AgentBench: Evaluating LLMs as Agents — Lehren für die Zuverlässigkeit von KI im Finanzwesen
AgentBench bewertete GPT-4 mit 4,01 gegenüber 0,96 für das beste Open-Source-LLM. Genau diese Fehler brechen einen Beancount-Write-back-Agenten auf einem Live-Ledger.
BloombergGPT und die Grenzen domänenspezifischer LLMs im Finanzwesen
BloombergGPT wurde mit 569 Mrd. Finanz-Tokens trainiert, doch GPT-4 erreichte dasselbe ohne Finanz-Pretraining. Für Accounting-Agenten schlägt Tool-Nutzung die Modellinterna.
AutoGen: Multi-Agent-Konversations-Frameworks für Finanz-KI
Die Zwei-Agenten-Konversation von AutoGen hebt die MATH-Genauigkeit von 55% auf 69%, und sein SafeGuard-Agent liefert bis zu 35 F1-Punkte bei der Erkennung unsicheren Codes.
Gorilla: Wie Retrieval-Aware Training LLM-API-Halluzinationen von 78 % auf 11 % reduziert
Gorillas Retriever-Aware Training senkt die LLM-API-Halluzinationsrate von 78% auf 11% und macht Tool-Aufrufe zuverlässig genug für Finanz-Agenten, die Buchungen schreiben.