DIN-SQL: GPT-4 salta del 67,4%→85,3% EX en Spider
DIN-SQL eleva la precisión de ejecución de GPT-4 del 67,4% al 85,3% en Spider mediante etapas de enlace de esquema y autocorrección—la misma descomposición se ajusta a BQL de Beancount.
Mike Thrift
Gerente de marketing
BIRD: GPT-4 alcanza solo un 54.89% de exactitud de ejecución en bases de datos reales
En BIRD, GPT-4 alcanza un 54.89% de exactitud de ejecución con pistas de dominio y un 34.88% sin ellas—una brecha de 20 puntos que cualquier interfaz NL→BQL de Beancount debe cerrar.
Uso de herramientas verificablemente seguro para agentes de LLM: STPA se encuentra con MCP
STPA más MCP con capacidades mejoradas da especificaciones formales de seguridad para herramientas LLM, con Alloy probando flujos seguros.
GraphRAG: las ventajas del 72 al 83% se desvanecen tras corregir el sesgo del juez LLM
GraphRAG de Microsoft publica ventajas de comprensión del 72 al 83% frente a RAG vectorial; una auditoría de 2025 las colapsa tras corregir el sesgo del juez—precaución para QA de libros mayores multidocumento.
FinAuditing: Los LLM obtienen una puntuación inferior al 14% en tareas reales de auditoría SEC XBRL
FinAuditing muestra que los mejores LLM logran solo 13.86% en verificación matemática financiera de presentaciones XBRL reales de la SEC.
InvestorBench: Qwen2.5-72B lidera en acciones con un 46,15% de CR
InvestorBench: Qwen2.5-72B lidera el trading de acciones con un 46,15% de CR; Palmyra-Fin ajustada a finanzas falla en renta variable: el tamaño supera al ajuste de dominio.
StructRAG (ICLR 2025): Elegir la estructura de documento correcta supera a GraphRAG por 28 puntos
StructRAG dirige cada consulta a tabla, grafo, catálogo, algoritmo o fragmento, superando a GraphRAG por 28 puntos y 22× más rápido.
Agente único: iguala a MAS en múltiples saltos con tokens equivalentes
Con presupuestos de tokens de pensamiento iguales, los LLM de agente único igualan o superan a los sistemas multiagente en razonamiento de múltiples saltos—favoreciendo diseños de agentes financieros más simples.
M3MAD-Bench: ¿Son los debates multi-agente realmente efectivos en todos los dominios y modalidades?
M3MAD-Bench encuentra que la Ilusión Colectiva impulsa el 65% de los fallos del debate multiagente, y el debate adversarial reduce la precisión hasta un 12,8%.
AGrail: Pasarelas de Seguridad Adaptativas para Agentes de LLM que Aprenden a través de Tareas
El guardarraíl de dos LLM de AGrail reduce el éxito de ataques de inyección de prompts a 0% y conserva el 95.6% de acciones benignas en Safe-OS.
ShieldAgent: Razonamiento Verificable de Políticas de Seguridad para Agentes LLM
ShieldAgent alcanza 90.4% de precisión en ataques a agentes con 64.7% menos llamadas a API usando circuitos de reglas probabilísticos en vez de guardarraíles LLM.
Atlas: El preentrenamiento conjunto de Recuperador-Lector supera a los LLM de 540B de parámetros con solo 11B de parámetros
Atlas logra 42.4% de precisión en Natural Questions con 64 ejemplos, superando a PaLM 540B por 3 puntos con 11B parámetros vía preentrenamiento conjunto.