Debate de LLM multiagente: Ganancias reales de precisión, cómputo no controlado y delusión colectiva

He estado pensando en la verificación multiagente para la seguridad de escritura (write-back) en Beancount; específicamente, si un agente verificador puede debatir de manera significativa con un agente redactor antes de que se realice un asiento en el libro contable. Esa pregunta me llevó de vuelta al artículo fundacional sobre el debate multiagente, que se presentó como un trabajo de ICML 2024 y que desde entonces ha atraído un útil cuerpo de trabajos críticos de seguimiento.

El artículo

"Improving Factuality and Reasoning in Language Models through Multiagent Debate" de Yilun Du, Shuang Li, Antonio Torralba, Joshua B. Tenenbaum e Igor Mordatch propone lo que denominan un enfoque de "sociedad de mentes": múltiples instancias de LLM generan cada una una respuesta inicial, luego leen el conjunto completo de respuestas de sus pares y actualizan su respuesta a lo largo de varias rondas. La elección de diseño clave es que el enfoque requiere solo acceso de "caja negra" a las salidas del modelo: sin gradientes, sin ajuste fino, sin cambios de arquitectura. Lo prueban en seis puntos de referencia: aritmética, GSM8K, optimalidad de movimientos de ajedrez, factualidad biográfica, MMLU y validez de movimientos de ajedrez.

La configuración sobre la que reportan más resultados es la de 3 agentes debatiendo durante 2 rondas. La apuesta conceptual es que el desacuerdo obliga a los agentes a articular su razonamiento, mientras que la convergencia señala una confianza genuina en lugar de una consistencia fortuita.

Ideas clave

• En aritmética, el debate alcanzó un 81.8% de precisión frente al 67.0% de un solo agente y el 72.1% de la reflexión de un solo agente —una ganancia de 14.8 puntos sobre la línea base.
• En GSM8K (matemáticas de escuela primaria), 85.0% frente a 77.0% del agente único y 75.0% con reflexión.
• En MMLU (100 preguntas distribuidas en áreas temáticas), 71.1% frente a 63.9% del agente único y 57.7% con reflexión.
• En factualidad biográfica, 73.8% frente a 66.0% del agente único.
• El debate entre modelos (ChatGPT + Bard en 20 problemas de GSM8K) resolvió 17/20 frente a 11–14 de cada modelo individualmente; este es el resultado más llamativo del artículo porque muestra agentes heterogéneos detectando los errores de los demás.
• El rendimiento escaló tanto con el número de agentes como con el número de rondas hasta 4 rondas, con rendimientos decrecientes más allá de eso. Los prompts "largos" que animan explícitamente a los agentes a reducir la velocidad antes del consenso superaron consistentemente a los prompts cortos.

Qué se mantiene — y qué no

Las ganancias son reales y la cobertura de los puntos de referencia es más amplia que la de la mayoría de los artículos sobre ingeniería de prompts. Creo en el hallazgo direccional: tener múltiples agentes criticándose entre sí detecta más errores que un solo agente reflexionando sobre su propia salida.

El problema es lo que no está controlado. Tres agentes debatiendo durante dos rondas significan aproximadamente 6 veces el cómputo de inferencia de una sola llamada, antes de tener en cuenta el contexto más largo. El artículo nunca presenta una línea base de presupuesto igualado. La autoconsistencia —votación por mayoría sobre muchas muestras independientes de un solo agente— es una comparación natural que el artículo aborda solo brevemente. Un artículo de 2025 (arXiv:2604.02460) ejecuta exactamente este control en puntos de referencia de razonamiento multietapa en Qwen3, DeepSeek-R1 y Gemini 2.5 con presupuestos de tokens de razonamiento emparejados, y encuentra que "los sistemas de un solo agente pueden igualar o superar a los MAS (sistemas multiagente)" una vez que se iguala el cómputo. Ese es un desafío directo a la afirmación principal.

El otro modo de falla que el artículo reconoce pero infravalora es lo que M3MAD-Bench (arXiv:2601.02854) llama "Delusión Colectiva": en un análisis manual de 100 fallos de debate, el 65% involucró a agentes que reforzaban mutuamente respuestas incorrectas en lugar de corregirlas. El propio texto del artículo señala que los agentes a veces "afirman con confianza que su respuesta es correcta" incluso cuando convergen en una respuesta incorrecta. Cuando todos los agentes comparten la misma distribución de entrenamiento —el caso homogéneo— es probable que compartan los mismos puntos ciegos. El debate entonces amplifica el error en lugar de detectarlo.

Un hallazgo relacionado del mismo artículo: la "Conformidad Incorrecta" representa una parte no trivial de los fallos —un agente correcto abandona un razonamiento sólido tras leer las respuestas de sus pares que son incorrectas. Esto es lo opuesto a lo que se supone que debe hacer el marco de debate. Es un recordatorio de que la dinámica de persuasión en estos bucles multiagente puede funcionar en cualquier dirección.

Por qué esto importa para la IA en finanzas

La arquitectura es genuinamente atractiva para la seguridad de escritura en Beancount: el redactor propone un asiento en el libro mayor, el verificador lo debate, el consenso activa la confirmación (commit). El análisis de riesgo cambia según lo que se esté escribiendo. Para un gasto rutinario de supermercado, el costo de una ronda de debate no vale la pena. Para un asiento de diario de cierre de año fiscal o una transferencia entre empresas, tener un segundo agente que examine los códigos de cuenta y los montos antes de la confirmación es defendible.

Pero la Delusión Colectiva es particularmente peligrosa para la contabilidad. Si tanto el agente redactor como el verificador comparten la misma creencia errónea sobre cómo se categoriza una deducción específica bajo las reglas de una jurisdicción determinada, el debate confirma el error en lugar de señalarlo. El propio resultado del artículo sobre el debate entre modelos sugiere la solución: los agentes heterogéneos —diferentes modelos, diferentes prompts de sistema o un agente basado en documentación externa— tienen más probabilidades de sacar a la luz desacuerdos genuinos. M3MAD-Bench confirma que el "debate heterogéneo colaborativo" supera sustancialmente a las configuraciones homogéneas.

La multiplicación del cómputo también importa a escala de producción. Diez ediciones de libro mayor por sesión × 3 agentes × 2 rondas = 60 llamadas de LLM. Eso es sostenible para escrituras de alto riesgo, pero no para la importación rutinaria de transacciones. El diseño correcto es probablemente un enfoque por niveles: una ruta rápida de un solo agente para entradas bien estructuradas, e invocar el debate solo cuando el redactor exprese incertidumbre o cuando la entrada afecte a una clase de cuenta de alta sensibilidad (pasivos fiscales, utilidades retenidas, transacciones entre empresas).

Qué leer a continuación

• arXiv:2604.02460 — "Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets": el desafío publicado más claro a las supuestas ventajas de cómputo del debate.
• arXiv:2601.02854 — M3MAD-Bench: evaluación a gran escala del debate en 9 modelos y 13 conjuntos de datos, con la taxonomía de fallos de Delusión Colectiva.
• arXiv:2406.09187 — GuardAgent: un agente de protección que traduce las políticas de seguridad en código ejecutable; un enfoque más directo para la seguridad de escritura que el consenso basado en el debate.