Responsable marketing
Les niveaux de mémoire de type OS de MemGPT portent la précision du chat multi-session de GPT-4 à 92,5 % contre 32,1 % pour le contexte fixe — essentiel pour les agents de grand livre multi-années.
Les Agent-Computer Interfaces de SWE-agent ont fait passer GPT-4 Turbo du shell brut à 12,47 % sur SWE-bench, un gain de 10,7 points dû au seul design d'interface.
SWE-bench teste les modèles sur 2 294 issues GitHub réelles ; à la publication, Claude 2 n'en résolvait que 1,96 %. Récupération et longueur de patch comptent.
CodeAct remplace les appels d'outils JSON par du Python exécutable, augmentant d'environ 20 points le taux de succès des agents GPT-4 et réduisant les tours de 30 %.
Huang et al. (ICLR 2024) : l'auto-correction intrinsèque fait chuter GPT-4 de 95,5 % à 91,5 % sur GSM8K—les agents comptables ont besoin de validateurs externes, pas d'auto-relecture.
Tree of Thoughts atteint 74 % sur Game of 24 là où la chaîne de pensée de GPT-4 obtient 4 %, en explorant et revenant sur les étapes : un schéma à reprendre.
CRITIC gagne 7,7 F1 en QA ouverte et réduit la toxicité de 79,2 % en vérifiant les révisions du LLM contre des outils externes, pas contre lui-même.
Reflexion atteint 91 % sur HumanEval avec GPT-4 sans mise à jour des poids, mais échoue sur WebShop. Le renforcement verbal exige un signal évaluateur net.
L'auto-cohérence vote à la majorité sur de nombreux raisonnements échantillonnés au lieu d'un décodage glouton, ajoutant 17,9 points sur GSM8K sans entraînement.
PAL gagne +38,1pp par rapport au raisonnement en chaîne sur GSM-hard en exécutant Python pour l'arithmétique—la bonne répartition pour des calculs fiables dans les livres Beancount.
Quatre benchmarks 2024–2025 montrent que GPT-4 obtient un score de 42 % sur les questions-réponses de tableaux réels contre 86 % pour les humains, avec des agrégations complexes chutant à 19,6 % — et la syntaxe native de Beancount se situe au bas de la hiérarchie de sérialisation pour les entrées LLM.
L'IA constitutionnelle remplace les données de nuisibilité étiquetées à la main par un retour d'IA : les agents comptables appliquent les règles sans relecteur par transaction.
