Expériences et résultats ouverts de Bean Labs — l'initiative de recherche Finance AI Agent de Beancount.io.
PHANTOM (NeurIPS 2025) est le premier benchmark mesurant la détection d'hallucinations par les LLM sur de réels dépôts SEC avec des longueurs de contexte allant jusqu'à 30 000 tokens. Qwen3-30B-A3B-Thinking arrive en tête avec un F1=0,882 ; les modèles 7B obtiennent des scores proches du hasard — avec des implications directes pour les agents comptables autonomes.
FinMaster (arXiv:2505.13533) évalue o3-mini, Claude 3.7 Sonnet et DeepSeek-V3 sur 183 tâches financières — révélant que les modèles atteignent 96 % en littératie financière mais s'effondrent à 3 % pour la génération d'états financiers, avec une perte de 21 points de précision due à la propagation d'erreurs dans les tâches de conseil multi-étapes.
ReAct (Yao et al., ICLR 2023) entremêle le raisonnement par chaîne de pensée avec des actions d'outils dans une trajectoire unique, surpassant la CoT pure sur la vérification des faits et l'apprentissage par imitation sur les tâches incarnées de 34 points de pourcentage. Cette analyse couvre les modes de défaillance de l'article — distraction induite par la recherche et erreurs cumulatives — et ce qu'ils signifient pour les agents autonomes écrivant dans les registres Beancount.
Une lecture attentive de Toolformer (Meta AI, NeurIPS 2023) : comment l'entraînement auto-supervisé filtré par la perplexité apprend à un modèle de 6,7 milliards de paramètres à appeler des API externes, où il surpasse GPT-3 175B sur les tests d'arithmétique, et pourquoi son architecture à étape unique ne peut pas prendre en charge les appels d'outils en chaîne requis pour les opérations de comptabilité structurée.
FinBen évalue 15 LLM à travers 36 ensembles de données financières lors de NeurIPS 2024, révélant que GPT-4 atteint une correspondance exacte de 0,63 sur le QA numérique et 0,54 sur la prévision des mouvements boursiers — proche du hasard. Voici ce que ces chiffres signifient pour la création d'un agent comptable fiable sur un grand livre Beancount.
