Confiance et calibration des LLM : une étude de ce que montre réellement la recherche
La confiance verbalisée de GPT-4 n'atteint qu'environ 62,7 % d'AUROC, à peine mieux que le hasard. Les agents financiers ont besoin de mieux.
#trust
Confiance
Fiabilité, calibration et hallucination dans les systèmes d'IA financière
Report avec détection d'incertitude pour les agents LLM : quand passer d'un petit à un grand modèle
ReDAct ne passe d'un petit modèle à un grand que lorsque la perplexité signale une incertitude, réduisant le coût de 64 % à précision égale pour les workflows d'agents.
Utilisation d'outils vérifiablement sûre pour les agents LLM : Quand STPA rencontre MCP
STPA avec MCP enrichi en capacités produit des spécifications de sûreté formelles pour l'usage d'outils LLM ; Alloy prouve l'absence de flux dangereux dans un cas d'agenda.
AGrail : Des garde-fous de sécurité adaptatifs pour les agents LLM qui apprennent à travers les tâches
Le garde-fou à deux LLM d'AGrail réduit à 0 % la réussite des attaques par injection de prompt tout en préservant 95,6 % des actions d'agent bénignes sur Safe-OS.
ShieldAgent : Raisonnement vérifiable sur les politiques de sécurité pour les agents LLM
ShieldAgent atteint 90,4 % de précision face aux attaques d'agents avec 64,7 % d'appels API en moins, via des circuits de règles probabilistes au lieu de garde-fous LLM.
GuardAgent : Application déterministe de la sécurité pour les agents LLM via l'exécution de code
GuardAgent applique les politiques des agents LLM via du code Python : 98,7 % de précision sans échec de tâche, contre 81 % et jusqu'à 71 % d'échecs pour les règles en prompt.
Auto-correction : GPT-4 chute de 95,5 % à 91,5 % sur GSM8K
Huang et al. (ICLR 2024) : l'auto-correction intrinsèque fait chuter GPT-4 de 95,5 % à 91,5 % sur GSM8K—les agents comptables ont besoin de validateurs externes, pas d'auto-relecture.
PHANTOM (NeurIPS 2025) : Mesurer la détection d'hallucinations par les LLM dans les documents financiers
PHANTOM (NeurIPS 2025) mesure la détection d'hallucinations LLM sur de vrais dépôts SEC. Qwen3-30B mène à F1=0,882, mais les modèles 7B devinent au hasard.