Aller au contenu principal

Journal de recherche Bean Labs

TAT-LLM : un LLaMA 2 7B affiné surpasse GPT-4 en QA financière

Publié Dernière mise à jour 6 minutes de lectureMike ThriftMike Thrift
TAT-LLM : un LLaMA 2 7B affiné surpasse GPT-4 en QA financière

Article: https://arxiv.org/abs/2401.13223

Sur cette page

Après une semaine consacrée à la recherche d'informations et à l'injection de connaissances, je voulais examiner l'autre versant de la question : que délivre réellement un affinage ciblé lorsque la tâche est bien définie ? TAT-LLM (arXiv:2401.13223, ICAIF 2024) est l'une des réponses les plus claires : affiner LLaMA 2 avec un pipeline structuré sur des benchmarks de QA sur données tabulaires et textuelles financières, et battre GPT-4. Le nœud, comme toujours, est dans les détails.

L'article​

Fengbin Zhu, Ziyang Liu, Fuli Feng, Chao Wang, Moxin Li et Tat-Seng Chua du NExT++ à NUS présentent TAT-LLM, un modèle LLaMA 2 affiné pour le raisonnement discret sur des données hybrides tabulaires et textuelles. Le problème central consiste à répondre à des questions numériques portant sur des rapports financiers — le type de question où il faut trouver une ligne précise dans un tableau, extraire deux nombres et effectuer une opération arithmétique à plusieurs étapes pour aboutir à une réponse. C'est exactement ce que l'on fait en lisant des dépôts 10-K.

Plutôt que de piloter un grand modèle de bout en bout, les auteurs décomposent la tâche en trois étapes explicites : un Extracteur qui identifie les preuves numériques pertinentes dans le document, un Raisonneur qui écrit une expression arithmétique, et un Exécuteur qui évalue l'expression de manière déterministe. Les données d'entraînement sont générées automatiquement à partir de jeux de données existants annotés par des experts — FinQA, TAT-QA et TAT-DQA — en annotant chaque instance avec les étapes intermédiaires d'extraction et de raisonnement. L'affinage utilise LoRA sur trois tailles de LLaMA 2 : 7B, 13B et 70B.

Idées clés​

  • La décomposition en pipeline bat le bout-en-bout : L'Exécuteur externe (arithmétique déterministe) à lui seul ajoute +16,66 points d'EM sur FinQA pour le modèle 7B. L'arithmétique n'est pas plus difficile à réaliser pour le modèle — elle est simplement catastrophiquement peu fiable lorsqu'elle se fait en langage naturel.
  • Le 7B bat GPT-4 sur les trois benchmarks : TAT-LLM 7B obtient 64,60 % d'EM sur FinQA (contre 63,91 % pour GPT-4), 74,56 % d'EM sur TAT-QA (contre 71,92 %) et 69,45 % d'EM sur TAT-DQA (contre 64,46 %). L'écart sur TAT-DQA est le plus convaincant, à près de 5 points.
  • L'extraction est le mode de défaillance limitant : L'analyse des erreurs montre que 48 % des erreurs remontent à une extraction de preuves incorrecte — le modèle choisit la mauvaise ligne, la mauvaise colonne, ou lit mal un nombre à cause d'une terminologie financière peu familière. Seuls 19 % sont des erreurs d'opérateur.
  • L'échelle aide, dans une mesure limitée : La variante 70B entraînée conjointement (TAT-LLM-All) porte FinQA à 76,81 % d'EM et TAT-QA à 81,42 % de F1, ce qui représente des améliorations significatives. Mais le modèle 7B bat déjà GPT-4, ce qui suggère que la structure du pipeline compte davantage que le nombre de paramètres.
  • Les experts humains restent loin devant : Sur TAT-QA, la performance humaine est de 90,8 % de F1 ; le meilleur résultat de TAT-LLM est de 81,42 % de F1. L'écart est réel et reconnu dans l'article.

Ce qui tient — et ce qui ne tient pas​

La contribution technique centrale est solide : externaliser l'arithmétique vers un exécuteur déterministe est clairement le bon choix, et l'ablation le prouve de manière convaincante. C'est une leçon connue de PAL et de travaux similaires, mais la voir quantifiée (+16,66 points) sur un benchmark spécifiquement financier est une confirmation précieuse.

Là où je suis plus sceptique, c'est sur l'affirmation phare concernant la « supériorité sur GPT-4 ». La marge sur FinQA est de 0,69 point d'EM — en pratique dans la marge d'erreur — et les chiffres de GPT-4 reflètent une évaluation zero-shot ou légèrement promptée, pas GPT-4 avec chaîne de raisonnement, exemples few-shot ou son propre interpréteur de code. Un GPT-4 prompté avec utilisation d'outils Python battrait presque certainement ces chiffres. La comparaison n'est pas fausse, mais ce n'est pas tout à fait l'histoire de « la spécialisation l'emporte » que suggère le résumé.

Il y a aussi une inquiétude significative concernant la fuite d'évaluation. Le modèle est affiné sur les splits d'entraînement de FinQA, TAT-QA et TAT-DQA et évalué sur leurs splits de test. C'est un cadre étroit en distribution. L'article n'inclut aucune tâche de QA financière retenue que le modèle n'aurait jamais vue à l'entraînement, de sorte que la généralisation à de nouveaux types de documents ou de nouveaux schémas arithmétiques reste non prouvée.

La limite de contexte de 4 096 tokens est un blocage pratique pour de vrais rapports financiers. Un 10-K typique dépasse les 100 pages ; même un simple rapport trimestriel dépasse souvent 4 096 tokens. Le modèle tel que décrit ne peut pas traiter les entrées pour lesquelles il est conçu sans découpage en segments, et l'article n'aborde pas la dégradation de l'extraction lorsque les preuves sont réparties sur plusieurs segments.

Pourquoi cela compte pour l'IA financière​

La décomposition Extracteur-Raisonneur-Exécuteur s'applique directement aux agents Beancount. Lorsqu'un utilisateur demande « quels étaient mes dépenses alimentaires totales au T1 2025 comparées au T1 2024 ? », la structure naturelle est : trouver les transactions pertinentes (Extraire), construire une expression d'agrégation (Raisonner), l'exécuter sur le grand livre (Exécuter). L'analyse des erreurs de TAT-LLM fait une prédiction concrète : l'étape d'extraction est là où un agent Beancount échouera le plus souvent — mauvaises catégories de comptes, transactions manquées, montants mal lus — et non l'arithmétique.

L'approche d'affinage par LoRA est également pertinente pour quiconque construit un modèle spécifique à Beancount. La stratégie de génération de données d'entraînement — prendre des paires de questions-réponses annotées par des experts et les annoter avec des étapes intermédiaires — est exactement la façon dont on construirait un jeu de données de raisonnement spécifique à un grand livre. On dispose des données sources des écritures du grand livre ; on peut générer automatiquement des tuples (question, extraction, expression, réponse).

La limite de contexte est le principal obstacle. Un agent Beancount de qualité production doit raisonner sur des années d'écritures. Le modèle de l'article ne le fait pas ; c'est une base solide pour la QA sur documents courts qui doit être étendue avec du découpage, de la recherche d'informations ou une fenêtre de contexte plus large pour devenir réellement utilisable.

À lire ensuite​

  • FinQA (arXiv:2109.00122, EMNLP 2021) — le benchmark original sur lequel TAT-LLM est évalué ; sa lecture clarifie exactement ce que signifie le « raisonnement discret sur des données financières » et à quoi ressemblait l'état de l'art antérieur avant les LLM.
  • TAGOP (partie de l'article TAT-QA, arXiv:2105.07624, ACL 2021) — le modèle d'opérateurs tenant compte des tableaux qui a défini la tâche TAT-QA ; comprendre à quoi ressemble la sélection d'opérateurs à base de règles donne un point de référence pour ce que l'étape de Raisonneur basée sur LLM remplace.
  • AuditCopilot (arXiv:2512.02726) — évalue LLaMA et Gemma sur la détection d'anomalies dans les tests d'écritures comptables sur des données réelles de grand livre ; la question de suivi naturelle après TAT-LLM est de savoir si la même approche d'affinage se transpose à la détection d'anomalies plutôt qu'à la QA.

Source : https://beancount.io/fr/bean-labs/research-logs/2026/05/21/tat-llm-specialized-language-model-discrete-reasoning-tabular-textual

Publié: 21 mai 2026

Dernière mise à jour: 14 novembre 2026