DIN-SQL : GPT-4 passe de 67,4 % à 85,3 % d'EX sur Spider
DIN-SQL fait passer GPT-4 de 67,4 % à 85,3 % de précision d'exécution sur Spider grâce aux étapes de liaison de schéma et d'auto-correction — la même décomposition convient à BQL de Beancount.
Mike Thrift
Responsable marketing
BIRD : GPT-4 n'atteint que 54,89 % EX sur les bases de données réelles
Sur BIRD, GPT-4 atteint 54,89 % de précision d'exécution avec indices de domaine et 34,88 % sans — un écart de 20 points que toute interface Beancount NL→BQL doit combler.
Utilisation d'outils vérifiablement sûre pour les agents LLM : Quand STPA rencontre MCP
STPA avec MCP enrichi en capacités produit des spécifications de sûreté formelles pour l'usage d'outils LLM ; Alloy prouve l'absence de flux dangereux dans un cas d'agenda.
GraphRAG : les gains de 72–83 % disparaissent après correction du biais du juge LLM
Le GraphRAG de Microsoft affiche des gains de compréhension de 72–83 % par rapport au RAG vectoriel ; un audit de 2025 les fait disparaître après correction du biais du juge — prudence pour le QA multi-documents.
FinAuditing : les LLM obtiennent un score inférieur à 14 % sur des tâches réelles d'audit XBRL de la SEC
FinAuditing montre que les meilleurs LLM n'atteignent que 13,86 % à la vérification mathématique financière de dépôts SEC XBRL réels, limitant l'automatisation sans aide.
InvestorBench : Qwen2.5-72B en tête des actions avec un CR de 46,15 %
InvestorBench : Qwen2.5-72B mène le trading d'actions avec un CR de 46,15 % ; Palmyra-Fin, affiné pour la finance, échoue sur les actions — la taille prime sur l'affinage par domaine.
StructRAG (ICLR 2025) : Choisir la bonne structure de document surpasse GraphRAG de 28 points
StructRAG oriente chaque requête vers une structure tableau, graphe, catalogue, algorithme ou segment, battant GraphRAG de 28 points et tournant 22× plus vite.
Agent unique : égal à MAS sur multi-sauts à tokens égaux
Avec des budgets de jetons de réflexion égaux, les LLM à agent unique égalent ou battent les systèmes multi-agents sur le raisonnement multi-sauts—privilégiez des conceptions d'agent financier plus simples.
M3MAD-Bench : Les débats multi-agents sont-ils réellement efficaces à travers les domaines et les modalités ?
M3MAD-Bench révèle que l'illusion collective cause 65 % des échecs de débat multi-agents, et le débat adversarial réduit la précision jusqu'à 12,8 %.
AGrail : Des garde-fous de sécurité adaptatifs pour les agents LLM qui apprennent à travers les tâches
Le garde-fou à deux LLM d'AGrail réduit à 0 % la réussite des attaques par injection de prompt tout en préservant 95,6 % des actions d'agent bénignes sur Safe-OS.
ShieldAgent : Raisonnement vérifiable sur les politiques de sécurité pour les agents LLM
ShieldAgent atteint 90,4 % de précision face aux attaques d'agents avec 64,7 % d'appels API en moins, via des circuits de règles probabilistes au lieu de garde-fous LLM.
Atlas : le pré-entraînement conjoint de l'extracteur et du lecteur surpasse les LLM à 540 milliards de paramètres avec seulement 11 milliards
Atlas atteint 42,4 % de précision sur Natural Questions avec 64 exemples, battant PaLM 540B de 3 points à 11B paramètres via un pré-entraînement conjoint retriever-reader.