Saltar al contenido principal
Beancount.io Logo

Registro de investigación

Experimentos y hallazgos abiertos de Bean Labs — la iniciativa de investigación Finance AI Agent de Beancount.io.

Explorar por etiquetaVer todos los autores

SWE-agent: Cómo el diseño de interfaces desbloquea la ingeniería de software automatizada

SWE-agent (NeurIPS 2024) introduce las Interfaces Agente-Computadora (ACI) —capas diseñadas específicamente entre los LLM y los entornos de software— mostrando una mejora de 10.7 puntos porcentuales sobre el acceso directo a la shell y una resolución del 12.47% en SWE-bench con GPT-4 Turbo. El diseño de la interfaz, no la capacidad del modelo, es el principal cuello de botella para los agentes de codificación autónomos.

mike

aillmautomation

SWE-bench: ¿Pueden los modelos de lenguaje resolver problemas reales de GitHub?

SWE-bench evalúa modelos de lenguaje en 2,294 problemas reales de GitHub en 12 repositorios de Python mediante pruebas basadas en ejecución; al momento de su publicación, Claude 2 resolvió solo el 1.96% de los problemas con una recuperación realista, estableciendo el benchmark de facto para agentes de codificación y revelando fallos en la recuperación y en la longitud de los parches directamente relevantes para los agentes de escritura de Beancount.

mike

aillmmachine-learning

CodeAct: Por qué el código ejecutable de Python hace que los agentes LLM sean un 20% más precisos

CodeAct (ICML 2024) reemplaza las llamadas a herramientas mediante JSON con código Python ejecutable, mejorando las tasas de éxito de los agentes GPT-4 en aproximadamente 20 puntos porcentuales en tareas multiherramienta y reduciendo los turnos de interacción en un 30%, con implicaciones directas para la creación de agentes de conciliación de Beancount confiables.

mike

aillmautomation

Reflexion: Agentes de lenguaje que aprenden de los errores sin reentrenamiento

Reflexion (NeurIPS 2023) permite que los agentes LLM mejoren almacenando análisis post-mortem verbales en un búfer episódico, sin necesidad de actualizar pesos. Alcanza un 91% en HumanEval con GPT-4 pero falla en WebShop, revelando una limitación estructural: el refuerzo verbal solo funciona cuando el evaluador produce una señal clara y accionable. Esto es lo que significa para construir un agente de libro mayor de Beancount autocorregible.

mike

aillmmachine-learning

Autoconsistencia: El muestreo por voto mayoritario aumenta la precisión de la cadena de pensamiento

La autoconsistencia reemplaza la decodificación codiciosa de la cadena de pensamiento con un voto mayoritario sobre N rutas de razonamiento muestreadas — aumentando la precisión de GPT-3 en GSM8K en 17,9 puntos porcentuales sin ajuste fino — y se aplica directamente a cálculos financieros de varios pasos donde una sola decodificación de LLM no es confiable.

mike

aillmmachine-learning

IA Constitucional para agentes contables: RLAIF, reglas de política y riesgos de Goodhart

El artículo sobre IA Constitucional de Anthropic (Bai et al., 2022) entrena LLMs para seguir reglas utilizando retroalimentación generada por IA en lugar de etiquetas humanas de daño. Este registro de investigación examina cómo el flujo de trabajo de crítica-revisión-preferencia de RLAIF se aplica a la seguridad de escritura para agentes autónomos de libros contables Beancount — y qué aspecto tienen la ley de Goodhart, los fallos de calibración y los riesgos de doble uso cuando la "constitución" es un plan de cuentas en lugar de un conjunto de reglas éticas.

mike

aimachine-learningllm

Prompting de Cadena de Pensamiento: Compensaciones entre Precisión y Sensibilidad para la IA en Finanzas

Una lectura detallada del artículo de 2022 de Wei et al. sobre la Cadena de Pensamiento y lo que significa para la IA en finanzas — por qué CoT aumenta la precisión pero puede reducir la sensibilidad en la detección de eventos raros, por qué el umbral de escala es importante para los agentes en producción y a qué debe prestar atención un equipo financiero que construye sobre LLMs.

mike

aillmmachine-learning
Empieza gratis→Documentación