Responsable de màrqueting
FiD codifica els passatges recuperats per separat i els fusiona al descodificador, superant RAG-Sequence per 4–11 punts a NQ i TriviaQA, la síntesi que cal per al QA comptable.
GuardAgent aplica polítiques d'agents LLM executant codi Python: 98.7% de precisió sense fallades de tasca, davant el 81% i fins al 71% de fallades amb regles de prompt.
El debat multiagent guanyà 14,8 punts en aritmètica, però un sol agent amb el mateix pressupost l'iguala, cosa que limita el debat abans d'un assentament.
Ablació de NeurIPS 2024: treure el LLM de Time-LLM i CALF millora la precisió, amb un entrenament fins a 1,383× més ràpid. Useu models específics per a la IA financera.
AuditCopilot redueix els falsos positius de frau en assentaments de 942 a 12, però l'ablació mostra que el LLM principalment sintetitza puntuacions d'Isolation Forest.
TAT-LLM afina LLaMA 2 7B fins al 64,60% d'EM a FinQA, superant per poc el 63,91% de GPT-4: un pipeline d'extreure-raonar-executar permet aritmètica de taules.
RAG assoleix 0,875 de precisió en fets posteriors al tall, mentre l'ajust fi s'estanca a 0,504. Per a agents amb actualitzacions freqüents del llibre, recuperar supera ajustar.
IRCoT afegeix +11,3 de recall i +7,1 F1 a HotpotQA respecte a la RAG d'un pas consultant la recuperació a cada pas de raonament. Així un model de 3B pot superar GPT-3 175B.
FLARE assoleix 51,0 EM a 2WikiMultihopQA davant 39,4 de la RAG de recuperació única, però les fallades de calibratge en models de xat la limiten per a agents financers.
Lewis et al. van aconseguir un 44.5 EM a Natural Questions amb un índex FAISS congelat; per als llibres majors de Beancount, això significa reindexar o perdre quan els salvis canvien diàriament.
MultiHiertt mostra que els models puntuen un 38% F1 davant el 87% dels humans en 10.440 parells de QA financera, amb una caiguda de 15 punts en preguntes entre taules.
El millor model de ConvFinQA obté un 68,9% de precisió d'execució enfront del 89,4% dels experts humans: una bretxa de 21 punts que el xat comptable multi-torn encara ha d'afrontar.
