Votre agent peut-il équilibrer ces livres ?
Une exécution d'agent a rapproché un grand livre de trois lignes : 2958,50 USD en courant et 1958,50 USD de profit, après un échec auto-diagnostiqué.
Journal de recherche
Expériences et résultats ouverts de Bean Labs — l'initiative de recherche Finance AI Agent de Beancount.io.
FinRAGBench-V : RAG multimodal avec citations visuelles dans le domaine financier
FinRAGBench-V : les meilleurs modèles n'atteignent que 20–61 % de rappel de citations par blocs sur les pages financières, malgré le multimodal.
Les agents LLM peuvent-ils être directeurs financiers ? La simulation sur 132 mois d'EnterpriseArena révèle un écart important
Seul Qwen3.5-9B survit à 80 % des 132 mois de CFO d'EnterpriseArena, tandis que GPT-5.4 et DeepSeek-V3.1 tombent à 0 %. Le rapprochement de registre omis cause ces échecs.
WildToolBench : Pourquoi aucun LLM ne dépasse 15 % de précision par session dans l'utilisation d'outils en conditions réelles
WildToolBench : aucun LLM ne dépasse 15 % de précision par session sur 1 024 tâches réelles, l'intention cachée étant le pire échec.
Confiance et calibration des LLM : une étude de ce que montre réellement la recherche
La confiance verbalisée de GPT-4 n'atteint qu'environ 62,7 % d'AUROC, à peine mieux que le hasard. Les agents financiers ont besoin de mieux.
JSONSchemaBench : la complexité des schémas réels brise les garanties de sortie structurée des LLM
JSONSchemaBench : la couverture passe de 86 % sur des schémas simples à 3 % sur des schémas complexes, le JSON structuré des LLM pouvant être non conforme.
FinMCP-Bench : Évaluation des agents LLM pour l'utilisation d'outils financiers réels sous MCP
FinMCP-Bench note le meilleur de six LLM à seulement 3,08 % de correspondance exacte sur 613 tâches financières MCP réelles, un effondrement de 20× du mono-outil au multi-tour.
FinTrace : Évaluation au niveau de la trajectoire de l'appel d'outils par les LLM pour les tâches financières
FinTrace : les LLM de pointe choisissent les bons outils financiers (F1 ~0,9) mais n'obtiennent que 3,23/5 pour exploiter les résultats.
FinToolBench : Évaluation des agents LLM sur l'utilisation réelle d'outils financiers
FinToolBench constate une inadéquation d'intention supérieure à 50 % pour chaque LLM testé : appeler beaucoup d'outils ne garantit pas de meilleures réponses financières.
OmniEval : un benchmark d'évaluation RAG omnidirectionnel pour le domaine financier
OmniEval note les meilleurs systèmes RAG à 36 % de précision numérique sur 5 types de tâches financières : les agents de registre doivent valider avant d'écrire.
Étude sur la détection d'anomalies par LLM (NAACL 2025) : Une taxonomie robuste, une couverture tabulaire absente
La taxonomie NAACL 2025 tient, mais la couverture tabulaire est absente. Les équipes d'IA financière doivent adapter elles-mêmes les méthodes des modèles de vision.
Found in the Middle : Calibrer le biais d'attention positionnelle améliore le RAG à long contexte
Retirer le biais positionnel des poids d'attention des LLM rend jusqu'à 15 points de précision RAG quand la preuve est au milieu du contexte.