FinBen : Évaluation des LLM sur 36 tâches financières — Implications pour l'IA comptable

FinBen a été présenté à NeurIPS 2024 comme l'évaluation publique la plus complète des LLM sur les tâches financières à ce jour. J'ai voulu le lire attentivement car avant de concevoir un agent autonome sur des grands livres Beancount, j'ai besoin d'une image réaliste de la situation réelle des modèles de pointe sur les tâches de raisonnement financier qu'un tel agent devrait accomplir.

L'article

Qianqian Xie et 33 co-auteurs présentent FinBen, un benchmark open-source couvrant 36 ensembles de données à travers 24 tâches financières, organisées en sept dimensions : extraction d'informations, analyse textuelle, questions-réponses (QA), génération de texte, gestion des risques, prévision et prise de décision. Ils évaluent 15 LLM représentatifs — incluant GPT-4, ChatGPT, Gemini et plusieurs modèles open-source ajustés par instructions — et introduisent trois nouveaux ensembles de données pour l'évaluation du résumé, du QA et du trading boursier.

La motivation centrale est que les benchmarks financiers précédents, comme FLUE et FLARE, ne capturaient chacun qu'une partie du NLP financier, mais rien qui ne s'approche de la chaîne complète. FinBen est la première tentative de couvrir l'ensemble de la pile en un seul endroit, et il a été accepté dans le cadre du NeurIPS 2024 Datasets and Benchmarks Track, ce qui lui confère un sceau de rigueur méthodologique raisonnable.

Idées clés

• Sur la reconnaissance d'entités nommées (NER), GPT-4 obtient un score F1 de 0,83 sur l'ensemble de données FINER-ORD — solide, mais c'est la catégorie la plus facile du benchmark.
• Sur FinQA (raisonnement numérique sur les rapports financiers), GPT-4 atteint 0,63 en correspondance exacte (Exact Match) ; sur la variante conversationnelle ConvFinQA, il obtient 0,76. Ce sont des résultats respectables mais loin d'être parfaits.
• FinMA 7B, ajusté pour le domaine, atteint un score F1 de 0,88 sur le sentiment FPB — surpassant GPT-4 sur cette tâche étroite, confirmant que l'ajustement fin apporte encore une valeur ajoutée sur la classification bien définie.
• La prévision des mouvements boursiers est le mode d'échec le plus clair : même GPT-4 obtient une précision d'environ 0,54 — à peine au-dessus du hasard. Les auteurs appellent cela « une déficience notable dans la capacité des LLM à s'attaquer à la prévision ».
• GPT-4 obtient un ratio de Sharpe de 1,51 sur la tâche de trading contre 1,03 pour Gemini et un rendement cumulé de 28,19 % contre un rendement de −4,00 % pour une stratégie « buy-and-hold » pendant la période d'évaluation — mais il s'agit d'un backtest court avec toutes les réserves habituelles.
• Tous les modèles ont obtenu un score de zéro sur le résumé extractif, et GPT-4 a obtenu 0,01 F1 sur l'extraction de relations. Les capacités s'effondrent brutalement en dehors de la zone de confort de la classification de texte et de la génération libre.

Ce qui tient la route — et ce qui ne tient pas

Le benchmark est véritablement utile en tant qu'instrument d'enquête. La gamme de tâches est plus large que tout ce qui a été fait auparavant, et la version open-source signifie que d'autres peuvent s'appuyer sur l'infrastructure d'évaluation plutôt que de repartir de zéro.

Cela dit, j'ai de réelles inquiétudes sur ce que FinBen peut réellement nous apprendre. La période d'évaluation du trading est courte et spécifique au marché ; un ratio de Sharpe calculé sur quelques mois sur des actions américaines n'est pas un signal stable. Les scores nuls sur le résumé extractif nous indiquent que quelque chose est cassé, mais l'article ne diagnostique pas pourquoi — s'agit-il d'un problème de format de prompt, d'un artefact de tokenisation ou d'un véritable échec de raisonnement ? La distinction est cruciale pour quiconque tente de corriger le problème.

Le benchmark est également presque entièrement en anglais et centré sur le marché américain. Ce n'est pas seulement une mise en garde sur la généralisation ; cela signifie que les résultats vous en disent très peu sur les performances sur, par exemple, des documents financiers allemands ou chinois, ou sur des juridictions avec des normes comptables différentes. Pour un projet comme Beancount.io desservant une base d'utilisateurs mondiale, c'est une lacune importante.

L'histoire des modèles ajustés par instructions est également plus floue qu'il n'y paraît au premier abord. L'ajustement fin aide pour le sentiment (FinMA 7B à 0,88) mais « n'apporte que des améliorations marginales pour les tâches complexes comme le QA ». L'article rapporte cela comme un résultat mais n'offre pas d'explication mécaniste. S'agit-il d'un oubli catastrophique de la capacité de raisonnement du modèle de base ? La distribution des données d'ajustement fin est-elle trop étroite ? La seule surface du benchmark ne permet pas de répondre à ces questions.

Pourquoi cela compte pour l'IA financière

Les résultats de FinBen donnent à Bean Labs une base de référence plus claire que ce que nous avions auparavant. Les tâches les plus pertinentes pour un agent de grand livre Beancount — le QA numérique sur des rapports financiers structurés (FinQA : 0,63 Exact Match), l'extraction d'informations à partir des descriptions de transactions (NER : 0,83 F1) et la détection d'anomalies ou la classification de fraude (tâches de gestion des risques montrant une grande variance) — sont toutes représentées ici, et aucune n'est résolue.

L'effondrement de la prévision (0,54 sur les mouvements boursiers) est en fait rassurant pour notre cas d'utilisation plus étroit : nous ne demandons pas aux modèles de prédire les marchés, nous leur demandons de classifier, d'extraire et d'enregistrer des écritures structurées. Ces tâches se situent dans la fourchette 0,63–0,83 selon la complexité, ce qui constitue une base de travail — bien que « de travail » ne signifie pas « prêt pour la production sans révision humaine ».

L'écart entre l'extraction structurée et le raisonnement libre renvoie également directement au problème de la sécurité de l'écriture. Si un modèle peut extraire de manière fiable une entité (F1 0,83) mais a du mal à raisonner sur ses implications numériques (FinQA 0,63) ou à générer une sortie structurée correcte (extraction de relations : 0,01), alors l'architecture la plus sûre consiste à séparer ces étapes, avec une validation explicite entre elles.

Que lire ensuite

• FinMaster (arXiv:2505.13533) — évalue explicitement les flux de travail comptables de bout en bout, y compris les écritures de journal et le rapprochement ; plus proche de la tâche Beancount que n'importe quoi dans FinBen.
• « Table Meets LLM: Can Large Language Models Understand Structured Table Data? » (arXiv:2305.13062, WSDM 2024) — les grands livres Beancount sont essentiellement des tableaux structurés ; cet article évalue précisément les capacités de compréhension structurelle qui sous-tendent tout agent de lecture de grand livre.
• ReAct: Synergizing Reasoning and Acting in Language Models (arXiv:2210.03629) — le cadre de raisonnement et d'action entrelacés est ce que la plupart des agents d'écriture utiliseraient ; comprendre ses modes d'échec importe d'autant plus que FinBen a montré où se situe réellement le plancher du raisonnement.