FinRAGBench-V: Multimodálny RAG s vizuálnymi citáciami vo finančnej oblasti
FinRAGBench-V zisťuje, že špičkové modely dosahujú len 20 – 61 % citovania blokov na finančných stránkach. Multimodálne vyhľadávanie prekonáva textové o takmer 50 bodov.
#data-science
Dátová veda
Metódy dátovej vedy aplikované na finančné datasety a účtovné pracovné postupy
WildToolBench: Prečo žiadne LLM neprekračuje 15 % presnosť relácie pri používaní nástrojov v reálnom svete
WildToolBench: žiadne LLM neprekročí 15 % presnosti relácie na 1 024 úlohách reálnych používateľov, pričom skrytý zámer a prechody inštrukcií sú najostrejšie zlyhania.
Istota a kalibrácia LLM: Prehľad toho, čo výskum v skutočnosti ukazuje
Verbalizovaná dôvera GPT-4 dosahuje len ~62,7 % AUROC, sotva nad úrovňou náhody. Finanční agenti vnímajúci neistotu potrebujú lepšiu kalibráciu.
FinToolBench: Hodnotenie LLM agentov na reálnych finančných nástrojoch
FinToolBench zisťuje nesúlad zámeru nad 50 % u každého testovaného LLM, takže agresívne volanie nástrojov neznamená lepšie odpovede na finančné úlohy.
OmniEval: Všesmerový benchmark pre hodnotenie RAG vo finančnej oblasti
OmniEval hodnotí najlepšie RAG systémy na 36 % numerickej presnosti v 5 typoch finančných úloh, takže agenti pre hlavnú knihu potrebujú validáciu pred zápisom položiek.
Prehľad detekcie anomálií pomocou LLM (NAACL 2025): Silná taxonómia, chýbajúce pokrytie tabuľkových dát
Taxonómia z NAACL 2025 platí, ale pokrytie tabuliek chýba. Tímy finančnej AI si musia metódy pre vizuálne modely prispôsobiť samy.
Nájdené v strede: Kalibrácia predpojatosti pozičnej pozornosti zlepšuje RAG s dlhým kontextom
Odčítanie pozičnej odchýlky z váh pozornosti LLM obnoví až 15 bodov presnosti RAG, keď dôkaz leží uprostred kontextu, čo pomáha pipeline finančných agentov.
Fin-RATE: Ako LLM zlyhávajú pri finančnej analýze medzi obdobiami a entitami
Fin-RATE ukazuje pokles presnosti LLM o 18,60 % pri longitudinálnom sledovaní, pričom úzkym miestom je retrieval pipeline, nie model.
FinDER: Skutočné dopyty analytikov odhaľujú 74 % medzeru v návratnosti pri finančnom RAG
5 703 reálnych analytických dopytov vo FinDER ukazuje, že špičkový RAG vyhľadá len 25,95 % dôkazov z 10-K. Najprv normalizujte skratky, až potom meňte embeddingy.
Stratení v strede: Pozičná zaujatosť v LLM a jej vplyv na finančnú AI
LLM skórujú až o 20 bodov horšie, keď odpoveď leží uprostred kontextu, preto by finančné RAG pipeline mali umiestňovať najlepšie pasáže na začiatok alebo koniec.
Benchmark AD-LLM: GPT-4o dosahuje 0,93+ AUROC Zero-Shot pri detekcii textových anomálií
AD-LLM zisťuje, že GPT-4o dosahuje 0,93–0,99 AUROC zero-shot pri detekcii textových anomálií, ale výber LLM modelu zostáva nespoľahlivý pre AI finančný audit.
CausalTAD: Kauzálne usporiadanie stĺpcov pre detekciu anomálií v tabuľkových dátach pomocou LLM
CausalTAD preusporiada stĺpce tabuľky podľa kauzálnej závislosti pred serializáciou do LLM, čím zvýši priemerné AUC-ROC z 0,803 na 0,834 oproti AnoLLM.