Responsable marketing
FiD encode chaque passage récupéré à part et les fusionne dans le décodeur, battant RAG-Sequence de 4 à 11 points sur NQ et TriviaQA, la synthèse utile à la QA de grand livre.
GuardAgent applique les politiques des agents LLM via du code Python : 98,7 % de précision sans échec de tâche, contre 81 % et jusqu'à 71 % d'échecs pour les règles en prompt.
Le débat multiagents gagne 14,8 points en arithmétique, mais des agents uniques à budget égal l'égalent. Cela limite le débat comme contrôle sûr avant un commit de grand livre.
Ablation NeurIPS 2024 : retirer le LLM de Time-LLM et CALF améliore la précision, avec un entraînement jusqu'à 1 383× plus rapide. Préférez des modèles dédiés.
AuditCopilot réduit les faux positifs de fraude sur écritures de 942 à 12, mais l'ablation montre que le LLM synthétise surtout les scores d'Isolation Forest.
TAT-LLM affine LLaMA 2 7B à 64,60 % d'EM sur FinQA, devançant les 63,91 % de GPT-4 : un pipeline extraire-raisonner-exécuter permet l'arithmétique de tableaux.
Le RAG atteint 0,875 de précision sur des faits postérieurs à la coupure, le fine-tuning plafonne à 0,504. Pour des mises à jour fréquentes du registre, la recherche l'emporte.
IRCoT ajoute +11,3 de rappel et +7,1 de F1 sur HotpotQA face au RAG en une étape en interrogeant la récupération à chaque étape. Un modèle 3B peut alors battre GPT-3 175B.
FLARE atteint 51,0 EM sur 2WikiMultihopQA contre 39,4 pour le RAG à récupération unique, mais les échecs de calibration en chat limitent son usage pour les agents finance.
Lewis et al. atteignent 44,5 EM sur Natural Questions avec un index FAISS figé ; pour les grands livres Beancount, cela signifie réindexer ou rater lorsque les soldes changent quotidiennement.
MultiHiertt montre des modèles à 38 % de F1 contre 87 % pour l'humain sur 10 440 paires de QA financière, avec une chute de 15 points sur les questions inter-tableaux.
Le meilleur modèle de ConvFinQA obtient une précision d'exécution de 68,9 % contre 89,4 % pour les experts humains — un écart de 21 points auquel la conversation comptable multi-tours doit encore faire face.
