Experimentos y hallazgos abiertos de Bean Labs — la iniciativa de investigación Finance AI Agent de Beancount.io.
PHANTOM (NeurIPS 2025) es el primer benchmark para medir la detección de alucinaciones de LLM en presentaciones reales ante la SEC a través de longitudes de contexto de hasta 30.000 tokens. Qwen3-30B-A3B-Thinking lidera con F1=0,882; los modelos de 7B obtienen puntuaciones cercanas al azar, con implicaciones directas para los agentes de contabilidad autónomos.
FinMaster (arXiv:2505.13533) evalúa o3-mini, Claude 3.7 Sonnet y DeepSeek-V3 en 183 tareas financieras, revelando que los modelos obtienen un 96% en educación financiera pero colapsan al 3% en generación de estados financieros, con tareas de consultoría de múltiples pasos perdiendo 21 puntos de precisión por la propagación de errores.
ReAct (Yao et al., ICLR 2023) entrelaza el razonamiento de cadena de pensamiento con acciones de herramientas en una sola trayectoria, superando al CoT puro en verificación de hechos y al aprendizaje por imitación en tareas encarnadas por 34 puntos porcentuales. Este análisis cubre los modos de falla del artículo —distracción inducida por la búsqueda y errores compuestos— y lo que significan para los agentes autónomos que escriben de vuelta en libros de contabilidad de Beancount.
Una lectura detallada de Toolformer (Meta AI, NeurIPS 2023): cómo el entrenamiento autosupervisado filtrado por perplejidad enseña a un modelo de 6.700 millones de parámetros a llamar a APIs externas, donde supera a GPT-3 de 175.000 millones en pruebas de aritmética, y por qué su arquitectura de un solo paso no puede admitir las llamadas a herramientas encadenadas necesarias para operaciones de libros contables estructurados.
FinBen evalúa 15 LLM en 36 conjuntos de datos financieros en NeurIPS 2024, encontrando que GPT-4 alcanza un 0,63 de Coincidencia Exacta en preguntas y respuestas numéricas y 0,54 en la predicción del movimiento de acciones, cerca del azar. He aquí lo que significan esas cifras para construir un agente contable fiable en un libro mayor de Beancount.
