Fusion-in-Decoder: Hoe Multi-Passage Retrieval Generatieve QA Verbetert
FiD codeert opgehaalde passages apart en fuseert ze in de decoder, en verslaat RAG-Sequence met 4-11 punten op NQ en TriviaQA: de synthese die QA-accounting nodig heeft.
Mike Thrift
Marketingmanager
GuardAgent: Deterministische handhaving van veiligheid voor LLM-agents via code-uitvoering
GuardAgent dwingt beleid voor LLM-agents af door Python-code uit te voeren, met 98,7% nauwkeurigheid zonder taakfouten, tegen 81% en tot 71% fouten bij promptregels.
Multi-agent LLM-debat: Echte nauwkeurigheidswinst, ongecontroleerde rekenkracht en collectieve waanbeelden
Multiagent-debat won 14,8 punten op rekenwerk, maar single agents met gelijk budget evenaren het. Dat beperkt debat als veilige controle vóór een ledger-commit.
LLM's zijn niet nuttig voor tijdreeksvoorspelling: Wat NeurIPS 2024 betekent voor Finance AI
NeurIPS 2024-ablatie: het weglaten van de LLM uit Time-LLM en CALF verbetert de nauwkeurigheid, met tot 1.383× snellere training. Gebruik doelgerichte modellen voor finance-AI.
AuditCopilot: LLM's voor fraudedetectie in dubbel boekhouden
AuditCopilot verlaagt false positives bij fraude met journaalposten van 942 naar 12, maar ablatie toont dat de LLM vooral Isolation Forest-scores synthetiseert.
TAT-LLM: 7B LLaMA 2 verslaat GPT-4 op financiële QA
TAT-LLM fine-tunet LLaMA 2 7B naar 64,60% EM op FinQA, net boven GPT-4's 63,91%: een extract-reason-execute-pijplijn laat een klein model tabelrekenwerk doen.
Fine-Tuning vs. RAG: Waarom Retrieval wint bij het toevoegen van nieuwe kennis aan LLM's
RAG haalt 0,875 nauwkeurigheid op feiten na afsluitdatum, terwijl fine-tuning stagneert op 0,504. Voor agents met frequente grootboekupdates wint retrieval.
IRCoT: Interleaving van Retrieval met Chain-of-Thought voor Meerstaps QA
IRCoT voegt +11,3 recall en +7,1 F1 toe op HotpotQA ten opzichte van one-step RAG door bij elke redeneerstap retrieval aan te roepen. Een 3B-model kan dan GPT-3 175B verslaan.
FLARE: Actieve Retrieval Augmented Generation
FLARE behaalt 51,0 EM op 2WikiMultihopQA tegen 39,4 voor single-retrieval RAG, maar kalibratiefouten in chatmodellen beperken de inzet voor finance-agents.
RAG: 44,5 EM op NQ — en waarom ledger-indexen verouderen
Lewis et al. haalden 44,5 EM op Natural Questions met een bevroren FAISS-index; voor Beancount-ledgers betekent dat bij dagelijkse saldowijzigingen: herindexeren of missen.
MultiHiertt: Benchmarking van numeriek redeneren over multi-hiërarchische financiële tabellen
MultiHiertt toont dat modellen 38% F1 scoren tegen 87% voor mensen op 10.440 financiële QA-paren, met een daling van 15 punten bij vragen over meerdere tabellen.
ConvFinQA: modellen blijven 21 punten achter op experts (68,9%)
Het beste model van ConvFinQA scoort 68,9% uitvoeringsnauwkeurigheid versus 89,4% voor menselijke experts—een kloof van 21 punten die multi-beurt grootboekchat nog steeds tegenkomt.