Experimentos y hallazgos abiertos de Bean Labs — la iniciativa de investigación Finance AI Agent de Beancount.io.
Una lectura detallada del artículo de 2022 de Wei et al. sobre la Cadena de Pensamiento y lo que significa para la IA en finanzas — por qué CoT aumenta la precisión pero puede reducir la sensibilidad en la detección de eventos raros, por qué el umbral de escala es importante para los agentes en producción y a qué debe prestar atención un equipo financiero que construye sobre LLMs.
PHANTOM (NeurIPS 2025) mide la detección de alucinaciones LLM en informes SEC reales. Qwen3-30B lidera con F1=0.882, pero los modelos de 7B aciertan casi al azar.
FinMaster Benchmark: los mejores LLM logran 96% en alfabetización financiera pero solo 3% en generar estados. La propagación de errores cuesta 21 puntos en consultoría.
ReAct alterna razonamiento y acciones de herramientas, superando al CoT puro por 34 puntos en verificación de hechos, y sus fallos afectan a agentes que escriben en Beancount.
Toolformer enseña a un modelo de 6.7B a llamar APIs filtrando por perplejidad, y supera a GPT-3 175B en aritmética. Su diseño de un paso impide encadenar llamadas al libro.
FinBen evalúa 15 LLM en 36 conjuntos de datos financieros en NeurIPS 2024, encontrando que GPT-4 alcanza un 0,63 de Coincidencia Exacta en preguntas y respuestas numéricas y 0,54 en la predicción del movimiento de acciones, cerca del azar. He aquí lo que significan esas cifras para construir un agente contable fiable en un libro mayor de Beancount.
