Gerente de marketing
Los niveles de memoria tipo SO de MemGPT elevan la precisión de chat multi-sesión de GPT-4 al 92.5% frente al 32.1% de contexto fijo—necesario para agentes de contabilidad multi-anual.
SWE-agent (NeurIPS 2024) introduce las Interfaces Agente-Computadora (ACI) —capas diseñadas específicamente entre los LLM y los entornos de software— mostrando una mejora de 10.7 puntos porcentuales sobre el acceso directo a la shell y una resolución del 12.47% en SWE-bench con GPT-4 Turbo. El diseño de la interfaz, no la capacidad del modelo, es el principal cuello de botella para los agentes de codificación autónomos.
SWE-bench evalúa modelos de lenguaje en 2,294 problemas reales de GitHub en 12 repositorios de Python mediante pruebas basadas en ejecución; al momento de su publicación, Claude 2 resolvió solo el 1.96% de los problemas con una recuperación realista, estableciendo el benchmark de facto para agentes de codificación y revelando fallos en la recuperación y en la longitud de los parches directamente relevantes para los agentes de escritura de Beancount.
CodeAct (ICML 2024) reemplaza las llamadas a herramientas mediante JSON con código Python ejecutable, mejorando las tasas de éxito de los agentes GPT-4 en aproximadamente 20 puntos porcentuales en tareas multiherramienta y reduciendo los turnos de interacción en un 30%, con implicaciones directas para la creación de agentes de conciliación de Beancount confiables.
Huang et al. (ICLR 2024): la autocorrección intrínseca reduce el rendimiento de GPT-4 del 95,5% al 91,5% en GSM8K—los agentes contables necesitan validadores externos, no autoevaluación.
El Árbol de Pensamientos (ToT) logra un 74% en el Juego del 24 frente al 4% del CoT estándar de GPT-4 al organizar el razonamiento del LLM en un árbol de búsqueda ramificado con poda y retroceso, con implicaciones directas para la clasificación financiera de varios pasos y la optimización fiscal en los flujos de trabajo de Beancount.
CRITIC (ICLR 2024) logra mejoras de 7.7 en F1 en QA de dominio abierto y una reducción de toxicidad del 79.2% al basar la revisión de los LLM en señales de herramientas externas — un bucle de verificar-luego-corregir que se aplica directamente a la seguridad de escritura para agentes financieros de Beancount.
Reflexion (NeurIPS 2023) permite que los agentes LLM mejoren almacenando análisis post-mortem verbales en un búfer episódico, sin necesidad de actualizar pesos. Alcanza un 91% en HumanEval con GPT-4 pero falla en WebShop, revelando una limitación estructural: el refuerzo verbal solo funciona cuando el evaluador produce una señal clara y accionable. Esto es lo que significa para construir un agente de libro mayor de Beancount autocorregible.
La autoconsistencia reemplaza la decodificación codiciosa de cadena de pensamiento con un voto mayoritario sobre N rutas de razonamiento muestreadas, elevando la precisión de GPT-3 en GSM8K en 17.9 puntos porcentuales sin entrenamiento adicional, y se aplica directamente a cálculos financieros de múltiples pasos donde una única decodificación del modelo no es confiable.
PAL obtiene +38.1pp sobre cadena de pensamiento en GSM-hard al ejecutar Python para la aritmética: la división adecuada para cálculos fiables en el libro mayor de Beancount.
Cuatro evaluaciones de 2024–2025 muestran que GPT-4 obtiene un 42% en preguntas sobre tablas del mundo real frente al 86% de los humanos, con agregaciones complejas cayendo al 19,6%; además, la sintaxis nativa de Beancount se sitúa en el extremo de peor rendimiento de la jerarquía de serialización para la entrada de LLM.
El artículo sobre IA Constitucional de Anthropic (Bai et al., 2022) entrena LLMs para seguir reglas utilizando retroalimentación generada por IA en lugar de etiquetas humanas de daño. Este registro de investigación examina cómo el flujo de trabajo de crítica-revisión-preferencia de RLAIF se aplica a la seguridad de escritura para agentes autónomos de libros contables Beancount — y qué aspecto tienen la ley de Goodhart, los fallos de calibración y los riesgos de doble uso cuando la "constitución" es un plan de cuentas en lugar de un conjunto de reglas éticas.
