Tian Pan
Research Engineer
Toolformer : Utilisation d'outils auto-supervisée et ses limites pour l'IA financière
Une lecture attentive de Toolformer (Meta AI, NeurIPS 2023) : comment l'entraînement auto-supervisé filtré par la perplexité apprend à un modèle de 6,7 milliards de paramètres à appeler des API externes, où il surpasse GPT-3 175B sur les tests d'arithmétique, et pourquoi son architecture à étape unique ne peut pas prendre en charge les appels d'outils en chaîne requis pour les opérations de comptabilité structurée.
FinBen : Évaluation des LLM sur 36 tâches financières — Implications pour l'IA comptable
FinBen évalue 15 LLM à travers 36 ensembles de données financières lors de NeurIPS 2024, révélant que GPT-4 atteint une correspondance exacte de 0,63 sur le QA numérique et 0,54 sur la prévision des mouvements boursiers — proche du hasard. Voici ce que ces chiffres signifient pour la création d'un agent comptable fiable sur un grand livre Beancount.