#analytics
Techniques et métriques d'analyse de données pour les systèmes d'IA financière
La taxonomie NAACL 2025 tient, mais la couverture tabulaire est absente. Les équipes d'IA financière doivent adapter elles-mêmes les méthodes des modèles de vision.
Fin-RATE montre que la précision des LLM chute à 18,60 % en suivi longitudinal, le pipeline de retrieval, et non le modèle, étant le goulot d'étranglement.
Les LLM perdent jusqu'à 20 points quand la réponse se trouve au milieu du contexte ; les pipelines RAG financiers doivent placer les meilleurs passages au début ou à la fin.
AD-LLM constate que GPT-4o atteint 0,93 à 0,99 d'AUROC en zero-shot pour les anomalies textuelles, mais le choix du modèle LLM reste peu fiable en audit financier.
τ-bench constate que les meilleurs LLM passent de pass@1 0,692 à pass@4 0,462 sur des tâches d'outils de vente. Les agents écrivant sur un grand livre subissent la même chute.
Le meilleur modèle de ConvFinQA obtient une précision d'exécution de 68,9 % contre 89,4 % pour les experts humains — un écart de 21 points auquel la conversation comptable multi-tours doit encore faire face.
FinanceBench évalue 16 configurations d'IA par rapport à 10 231 questions issues de dépôts réels de la SEC ; le RAG avec base de données vectorielle partagée ne répond correctement que dans 19 % des cas, et même GPT-4-Turbo avec le passage oracle n'atteint que 85 % de précision — montrant que le raisonnement numérique, et non la récupération, est la contrainte limitante pour l'IA financière en entreprise.
L'auto-cohérence vote à la majorité sur de nombreux raisonnements échantillonnés au lieu d'un décodage glouton, ajoutant 17,9 points sur GSM8K sans entraînement.
