¿Puede tu agente cuadrar estos libros?
Una ejecución de agente concilió un libro de tres filas con 2958,50 USD en checking y 1958,50 USD de beneficio de septiembre, tras un fallo que diagnosticó solo.
Registro de investigación
Experimentos y hallazgos abiertos de Bean Labs — la iniciativa de investigación Finance AI Agent de Beancount.io.
FinRAGBench-V: RAG multimodal con citas visuales en el dominio financiero
FinRAGBench-V halla que los mejores modelos solo logran un recall de citas a nivel de bloque del 20–61% en páginas financieras. La recuperación multimodal supera al texto.
¿Pueden los agentes de LLM ser Directores Financieros? La simulación de 132 meses de EnterpriseArena revela una brecha considerable
Solo Qwen3.5-9B sobrevive al 80% de las 132 ejecuciones de CFO de EnterpriseArena; GPT-5.4 y DeepSeek-V3.1 llegan al 0% por omitir la conciliación del libro.
WildToolBench: Por qué ningún LLM supera el 15% de precisión de sesión en el uso de herramientas en el mundo real
WildToolBench halla que ningún LLM supera el 15% de precisión por sesión en 1.024 tareas reales, con intención oculta y cambios de instrucción como peores fallos.
Confianza y calibración de LLM: Un estudio de lo que la investigación muestra realmente
La confianza verbalizada de GPT-4 solo alcanza ~62,7% de AUROC, apenas por encima del azar. Los agentes financieros necesitan mejor calibración.
JSONSchemaBench: La complejidad de los esquemas del mundo real rompe las garantías de salida estructurada de los LLM
JSONSchemaBench halla que la cobertura cae del 86% en esquemas simples al 3% en complejos, así que la salida estructurada LLM puede emitir JSON no conforme.
FinMCP-Bench: Benchmarking de agentes de LLM para el uso de herramientas financieras del mundo real bajo MCP
FinMCP-Bench puntúa al mejor de seis LLM en solo 3,08% de coincidencia exacta en 613 tareas financieras MCP reales, un colapso de 20× de una sola herramienta a uso multiturno.
FinTrace: Evaluación a Nivel de Trayectoria del Llamado a Herramientas de LLM para Tareas Financieras
FinTrace muestra que los LLM frontera eligen las herramientas financieras correctas (F1 ~0,9) pero solo logran 3,23/5 al usar los resultados, el paso que rompe a los agentes.
FinToolBench: Evaluando Agentes LLM en el Uso de Herramientas Financieras del Mundo Real
FinToolBench halla un desajuste de intención superior al 50% en todos los LLM probados, así que llamar más herramientas no mejora las respuestas financieras.
OmniEval: Benchmark de evaluación RAG omnidireccional para el dominio financiero
OmniEval puntúa los mejores sistemas RAG con 36% de precisión numérica en 5 tipos de tareas financieras, así que los agentes de libro mayor necesitan validación.
Estudio sobre detección de anomalías con LLM (NAACL 2025): taxonomía sólida, cobertura tabular ausente
La taxonomía de NAACL 2025 se mantiene, pero falta cobertura tabular. Los equipos de IA financiera deben adaptar por su cuenta los métodos de modelos de visión.
Encontrado en el medio: La calibración del sesgo de atención posicional mejora el RAG de contexto largo
Restar el sesgo posicional de los pesos de atención del LLM recupera hasta 15 puntos de precisión RAG cuando la evidencia está a mitad de contexto.