Voyager : Les bibliothèques de compétences comme fondement de l'apprentissage continu des agents IA

Les bibliothèques de compétences — un stockage persistant de fonctions exécutables qu'un agent peut écrire, récupérer et réutiliser — constituent l'architecture vers laquelle je reviens sans cesse lorsque je réfléchis à l'automatisation à long terme des grands livres. Voyager (arXiv:2305.16291), de Guanzhi Wang, Anima Anandkumar et leurs collaborateurs de NVIDIA et Caltech, est la démonstration la plus claire à ce jour qu'une telle bibliothèque peut permettre un véritable apprentissage continu sans mises à jour de gradients. Je le relis maintenant parce que la question à laquelle il répond — comment un agent accumule-t-il une compétence réutilisable au fil du temps ? — est exactement la question qui se pose à tout système censé gérer un grand livre Beancount en expansion mois après mois.

L'article

Voyager est un agent propulsé par GPT-4 pour Minecraft qui apprend en continu sans aucun ajustement fin des paramètres. Wang et al. décrivent trois composants imbriqués. Premièrement, un curriculum automatique qui propose de nouveaux objectifs calibrés selon l'inventaire actuel de l'agent et l'état du monde, poussant toujours vers des territoires inexplorés. Deuxièmement, une bibliothèque de compétences composée de fonctions JavaScript indexées par des vecteurs d'embeddings de leurs descriptions en langage naturel : chaque fois qu'une tâche réussit, le code gagnant est stocké ; chaque fois qu'une nouvelle tâche arrive, les 5 compétences les plus pertinentes sont récupérées et injectées dans le prompt. Troisièmement, une boucle de sollicitation (prompting) itérative qui exécute jusqu'à quatre cycles de raffinement par tâche, s'appuyant sur trois canaux de retour d'information — l'état de l'environnement, les erreurs d'exécution et un second appel à GPT-4 agissant comme auto-vérificateur.

L'agent est comparé à ReAct, Reflexion et AutoGPT adaptés pour Minecraft, et le match n'est pas serré. Voyager a découvert 63 objets uniques à travers 160 itérations de sollicitation, ce que les auteurs rapportent comme étant 3,3 fois supérieur à l'état de l'art précédent. Il a débloqué les jalons de l'arbre technologique du niveau bois 15,3 fois plus vite et du niveau pierre 8,5 fois plus vite. Plus important encore, c'est la seule méthode qui a réussi à atteindre le niveau diamant. Dans un test de transfert zéro-shot — un nouveau monde Minecraft, inventaire vide, tâches inédites — Voyager a résolu chaque objectif en moins de 50 itérations ; ReAct, Reflexion et AutoGPT n'en ont résolu aucun.

Idées clés

• Les compétences sont stockées sous forme de code, et non de descriptions en langage naturel. La récupération se fait par similarité d'embeddings sur la description, mais l'exécution est un code déterministe, ce qui évite l'ambiguïté de demander à GPT-4 de "se souvenir" comment extraire du fer à partir de zéro.
• Le curriculum est sensible à l'environnement : il interroge l'état actuel du jeu avant de proposer la tâche suivante, de sorte que l'agent ne tente jamais d'objectifs rendus impossibles par son équipement actuel.
• La suppression du curriculum automatique a fait chuter le nombre d'objets découverts de 93 %. La suppression de l'auto-vérification a fait chuter les performances de 73 %. La bibliothèque de compétences est cruciale dans les étapes ultérieures — au début, elle aide peu ; à partir de 80 itérations et plus, les agents qui en sont dépourvus stagnent.
• GPT-4 a surpassé GPT-3.5 par un facteur de 5,7 dans la découverte d'objets uniques. L'écart de qualité dans la génération de code est le facteur dominant, plus que la profondeur de raisonnement en soi.
• La bibliothèque de compétences est transférable : donner les compétences accumulées par Voyager à AutoGPT a amélioré la généralisation zéro-shot de ce dernier, passant d'un succès de 0/3 à 1–2/3.

Ce qui tient la route — et ce qui ne tient pas

Le résultat central est réel et les études d'ablation sont correctement menées. Supprimer chaque composant individuellement et mesurer le delta est la bonne méthodologie, et les chutes de 93 % / 73 % sont suffisamment frappantes pour qu'aucune explication par sélection arbitraire (cherry-picking) ne puisse sauver les modèles de référence. Le résultat de la généralisation zéro-shot est l'affirmation la plus forte : les compétences écrites dans un monde sont transférables à un autre car l'API Mineflayer sous-jacente est la même.

Ce que l'article minimise, c'est le rôle du bac à sable (sandbox). Minecraft fournit un simulateur qui détecte les erreurs instantanément, se réinitialise proprement et n'a jamais d'effets secondaires en dehors du jeu. C'est un cadeau extraordinaire. Chaque tentative de compétence échouée produit une trace d'exécution propre avec un message d'erreur structuré. L'auto-vérification fonctionne car le succès dans Minecraft est binaire et sans ambiguïté — soit vous avez une pioche en diamant, soit vous ne l'avez pas. Aucune de ces propriétés ne s'applique à un véritable grand livre : une erreur de comptabilité en partie double peut s'équilibrer numériquement tout en étant sémantiquement fausse ; une transaction validée ne peut pas être annulée sans une contre-écriture ; et la question "la compétence a-t-elle réussi ?" nécessite une logique financière spécifique au domaine qu'un moteur de jeu ne fournit pas.

La structure des coûts est également très significative. Les auteurs notent que GPT-4 est 15 fois plus coûteux que GPT-3.5 par appel, et chaque tâche exécute jusqu'à quatre cycles de sollicitation itérative plus un appel d'auto-vérification. Pour une session Minecraft, c'est acceptable. Pour un agent comptable traitant des centaines de transactions mensuelles, le coût par tâche s'accumule rapidement. L'article ne modélise pas cela.

Enfin, l'objectif d'exploration du curriculum est la pure maximisation de la découverte. Cela a du sens dans un jeu où plus d'objets = plus de capacités. En finance, l'objectif équivalent n'est pas de "trouver de nouveaux types de transactions" mais de "traiter correctement et de manière fiable tous les types de transactions, y compris les plus rares". Le problème de conception du curriculum est ici plus ardu.

Pourquoi cela est important pour l'IA financière

Le modèle de bibliothèque de compétences est directement applicable aux agents de grands livres Beancount. Un agent qui rapproche avec succès une importation bancaire écrit cette fonction de rapprochement dans un stockage persistant. Le mois suivant, lorsque le CSV de la même banque arrive, la récupération fait remonter immédiatement le bon parseur — pas besoin de redérivation. Pour différents clients ayant des structures de plans comptables similaires, les compétences écrites pour un grand livre peuvent être testées sur un autre.

La leçon la plus intéressante est la séparation entre l'acquisition de compétences et leur réutilisation. Voyager montre qu'il n'est pas nécessaire de procéder à un ajustement fin pour obtenir une accumulation : un stockage de code bien indexé couplé à un modèle de base performant suffit. C'est un argument fort en faveur d'un investissement dans la couche d'indexation et de récupération d'un agent comptable plutôt que dans l'entraînement d'un modèle spécifique au domaine.

Là où l'analogie s'arrête, c'est sur la sécurité de l'écriture. Dans Minecraft, une tentative de compétence échouée se réinitialise. Dans un grand livre réel, ce n'est pas le cas. Toute adaptation financière du modèle Voyager nécessite une couche de test (staging) — un mode de simulation où le code de la compétence candidate s'exécute sur une copie du grand livre, vérifie la balance de vérification, et ne valide qu'ensuite. L'auto-vérification telle que Voyager l'implémente (un second appel GPT-4 demandant "est-ce que ça a marché ?") n'est pas assez robuste pour l'exactitude financière. Vous avez besoin que le grand livre lui-même réponde.

Que lire ensuite

• JARVIS-1: Open-World Multi-Task Agents with Memory-Augmented Multimodal Language Models — étend l'approche de bibliothèque de compétences de Voyager avec une mémoire multimodale (plans visuels + textuels), accomplissant plus de 200 tâches Minecraft ; pertinent pour comprendre comment les bibliothèques de compétences s'adaptent à des espaces d'observation plus riches. (Recherche arXiv : "JARVIS-1 open world Minecraft 2023")
• Lifelong Learning of Large Language Model based Agents: A Roadmap — une étude de 2025 couvrant la construction, l'application et l'évaluation des agents LLM à apprentissage continu ; utile pour situer Voyager dans la littérature plus large et identifier les problèmes ouverts. [arXiv:2501.07278]
• Reinforcement Learning for Self-Improving Agent with Skill Library (SAGE) — introduit l'acquisition de compétences basée sur l'apprentissage par renforcement (RL) dans le paradigme de bibliothèque de style Voyager, abordant la limitation selon laquelle les compétences de Voyager ne sont ajoutées qu'en cas de succès, sans être affinées par un signal de récompense. [arXiv:2512.17102]