Marketingový manažér
FiD kóduje nájdené pasáže oddelene a zlučuje ich v dekodéri, čím prekonáva RAG-Sequence o 4–11 bodov na NQ a TriviaQA, čo je syntéza potrebná pre QA nad účtovnou knihou.
GuardAgent presadzuje pravidlá LLM agentov spúšťaním kódu v Pythone, dosahuje 98,7 % presnosť bez zlyhaní úloh, oproti 81 % a až 71 % zlyhaní pri pravidlách v prompte.
Debata multiagentných LLM získala 14,8 bodu v aritmetike, ale samostatní agenti s rovnakým rozpočtom ju dorovnajú. To obmedzuje debatu ako kontrolu pred zápisom do knihy.
Ablacia NeurIPS 2024: odstránenie LLM z Time-LLM a CALF zlepšuje presnosť, s až 1 383× rýchlejším trénovaním. Pre finančnú AI používajte účelové modely.
AuditCopilot znižuje falošné pozitíva podvodov v účtovných zápisoch z 942 na 12, ale ablacia ukazuje, že LLM hlavne syntetizuje skóre Isolation Forest.
TAT-LLM doladí LLaMA 2 7B na 64,60 % EM vo FinQA, čím tesne predbehne GPT-4 s 63,91 %: pipeline extrahuj-odôvodni-vykonaj umožní malému modelu robiť tabuľkovú aritmetiku.
RAG dosahuje presnosť 0,875 pri faktoch po cutoff, kým fine-tuning stagnuje na 0,504. Pre agentov potrebujúcich časté aktualizácie ledgera je retrieval lepší než fine-tuning.
IRCoT pridáva +11,3 recall a +7,1 F1 na HotpotQA oproti jednokrokovému RAG tým, že vyhľadávanie volá v každom kroku uvažovania. Potom 3B model prekoná GPT-3 175B.
FLARE dosahuje 51,0 EM na 2WikiMultihopQA oproti 39,4 pre jednokrokové RAG, no zlyhania kalibrácie v chatovacích modeloch ho obmedzujú pre finančných agentov.
Lewis et al. dosiahli 44,5 EM na Natural Questions so zmrazeným indexom FAISS; pre Beancount ledgery to znamená preindexovať-alebo-stratiť, keď sa zostatky menia denne.
MultiHiertt ukazuje, že modely dosahujú 38 % F1 oproti 87 % u ľudí na 10 440 finančných QA pároch, s poklesom o 15 bodov pri otázkach naprieč tabuľkami.
Najlepší model ConvFinQA dosahuje 68,9 % presnosť vykonania oproti 89,4 % u ľudských expertov – medzera 21 bodov, ktorej čelí viacotočkový účtovný chat.
