Responsable marketing
TAT-QA est un benchmark de 16 552 questions sur des contextes de rapports financiers hybrides (tableaux et textes) ayant démontré que l'ancrage des preuves — et non l'arithmétique — est le principal goulot d'étranglement de l'IA en finance ; en 2024, des LLM 7B affinés ont atteint 83 % de F1, comblant l'essentiel de l'écart face au plafond humain de 91 %.
FinQA (EMNLP 2021) a construit 8 281 paires de questions-réponses à partir de rapports de résultats du S&P 500 nécessitant des programmes arithmétiques multi-étapes. Les modèles neuronaux ont obtenu un score de 61 % à leur sortie contre 91 % pour les experts humains ; la précision s'effondre à 22 % sur les programmes de trois étapes ou plus. Les modes d'échec — constantes de domaine, ancrage multi-modal, longueur de chaîne — correspondent directement aux défis auxquels les agents Beancount sont confrontés aujourd'hui.
FinanceBench évalue 16 configurations d'IA par rapport à 10 231 questions issues de dépôts réels de la SEC ; le RAG avec base de données vectorielle partagée ne répond correctement que dans 19 % des cas, et même GPT-4-Turbo avec le passage oracle n'atteint que 85 % de précision — montrant que le raisonnement numérique, et non la récupération, est la contrainte limitante pour l'IA financière en entreprise.
DSPy remplace les chaînes de prompts artisanales par des signatures déclaratives et un compilateur piloté par des métriques — faisant passer Llama2-13b de 9,4 % à 46,9 % sur le raisonnement mathématique GSM8K et offrant une voie plus maintenable pour les pipelines d'IA financière en production.
LATS (Language Agent Tree Search, ICML 2024) unifie ReAct, Tree of Thoughts et Reflexion dans un cadre MCTS unique, atteignant 92,7 % pass@1 sur HumanEval avec GPT-4. Pour les registres Beancount basés sur git, l'exigence de réversion d'état qui contraint LATS en production est trivialement satisfaite.
Self-RAG (ICLR 2024 Oral) entraîne un modèle de langage à décider quand récupérer des informations puis à évaluer ses propres résultats à l'aide de quatre jetons de réflexion — atteignant 55,8 % sur PopQA et un FactScore de 80,2 sur les biographies tout en surpassant ChatGPT sur cinq références. L'analyse couvre le mécanisme, les résultats d'ablation, les limites de reproductibilité et les implications pour les agents d'IA financière sur les grands livres Beancount.
La bibliothèque de compétences persistante de Voyager découvre 3,3× plus d'objets Minecraft que l'état de l'art précédent sans fine-tuning—le registre de réutilisation dont les agents de grand livre ont besoin.
La mémoire OpenIE+PageRank de HippoRAG atteint 89,1 % de Recall@5 sur 2WikiMultiHopQA contre 68,2 % pour ColBERTv2 — récupération consciente du chemin pour les grands livres comptables multi-années.
AgentBench (Liu et al., ICLR 2024) évalue 27 LLM dans 8 environnements interactifs — GPT-4 a obtenu 4,01 au total contre 0,96 pour le meilleur modèle open source. Les trois modes de défaillance dominants (limite de tâche dépassée dans 67,9 % des échecs de graphe de connaissances, erreurs de format dans 53,3 % des échecs de base de données et actions invalides) correspondent directement aux risques de déployer un agent d'écriture Beancount sur un grand livre réel.
Bloomberg a entraîné un LLM de 50 milliards de paramètres sur 569 milliards de tokens de données financières et a surpassé les modèles généraux sur les benchmarks de sentiment et de raisonnement sur tableaux — puis GPT-4 l'a égalé sans aucun pré-entraînement spécifique à la finance. Ce que l'expérience à 10 millions de dollars révèle sur les compromis du pré-entraînement par domaine, la tokenisation des nombres et pourquoi l'utilisation d'outils est plus fiable que les composants internes du modèle pour les agents comptables.
AutoGen (Wu et al., 2023) introduit un cadre de conversation multi-agents où des agents basés sur des LLM s'échangent des messages pour accomplir des tâches ; une configuration à deux agents fait passer la précision du benchmark MATH de 55 % à 69 %, et un agent SafeGuard dédié améliore la détection de code dangereux jusqu'à 35 points F1 — des résultats directement applicables à la construction de pipelines d'automatisation Beancount sûrs et modulaires.
Gorilla (Patil et al., NeurIPS 2024) affine un modèle LLaMA 7B avec le Retriever-Aware Training sur la documentation d'API récupérée, réduisant les taux d'hallucination de 78 % à 11 % par rapport à GPT-4 en zero-shot — avec des implications directes pour les agents d'écriture IA en finance où les noms de comptes erronés ou les signes inversés sont des échecs d'exactitude, et non de simples désagréments.
