Saltar al contenido principal

#automation

Automation

Automation techniques and tools for financial data processing workflows

57 publicacionesVer todas las etiquetasVolver a todas las publicaciones

¿Pueden los agentes de LLM ser Directores Financieros? La simulación de 132 meses de EnterpriseArena revela una brecha considerable

EnterpriseArena pone a prueba 11 LLMs mediante una simulación de CFO de 132 meses rastreando la supervivencia, la valoración final y las tasas de cierre de libros. Solo Qwen3.5-9B sobrevive al 80% de las ejecuciones; GPT-5.4 y DeepSeek-V3.1 alcanzan el 0%. Los expertos humanos logran una supervivencia del 100% con un valor terminal 5 veces superior. El cuello de botella crítico es que los LLMs omiten la conciliación del libro mayor el 80% de las veces, actuando sobre un estado financiero obsoleto.

mike

aillmautomation

JSONSchemaBench: La complejidad de los esquemas del mundo real rompe las garantías de salida estructurada de los LLM

JSONSchemaBench evalúa 9.558 esquemas JSON del mundo real frente a seis frameworks de decodificación restringida y descubre que la complejidad de los esquemas provoca que la cobertura colapse del 86% en esquemas simples al 3% en los complejos, con XGrammar emitiendo silenciosamente 38 salidas no conformes y ningún framework cubriendo las 45 categorías de características de JSON Schema.

mike

llmaimachine-learning

FinMCP-Bench: Benchmarking de agentes de LLM para el uso de herramientas financieras del mundo real bajo MCP

FinMCP-Bench evalúa seis modelos de LLM en 613 tareas de uso de herramientas financieras del mundo real respaldadas por 65 servidores MCP; el mejor modelo obtiene una puntuación de coincidencia exacta del 3,08% en tareas de múltiples turnos, lo que revela un colapso del rendimiento de 20 veces desde escenarios de una sola herramienta a múltiples turnos.

mike

aillmautomation

FinToolBench: Evaluando Agentes LLM en el Uso de Herramientas Financieras del Mundo Real

FinToolBench combina 760 herramientas API financieras en vivo con 295 consultas ejecutables para evaluar agentes LLM en tareas financieras reales — revelando que la tasa conservadora de invocación del 22.7% de GPT-4o produce mayor calidad de respuesta (CSS 0.670) que la agresiva TIR del 87.1% de Qwen3-8B, mientras que la discrepancia de intención supera el 50% en todos los modelos probados.

mike

aillmautomation

OpenHands: Plataforma abierta para agentes de software de IA y lo que significa para la automatización financiera

OpenHands es una plataforma de agentes con licencia MIT y entorno de pruebas Docker donde CodeAct logra un 26% en SWE-Bench Lite — un benchmark revelador que establece lo que los agentes de IA pueden hacer de manera confiable hoy en día, y por qué los primeros despliegues financieros productivos deben tener un alcance limitado en lugar de ser autónomos.

mike

aiopen-sourceautomation

TableMaster: Razonamiento Adaptativo para la Comprensión de Tablas con LLMs

TableMaster es un pipeline basado únicamente en prompts que alcanza un 78.13% en WikiTQ con GPT-4o-mini —13 puntos por encima de Chain-of-Table— mediante la combinación de extracción de tabla de enfoque, verbalización semántica y cambio adaptativo entre el razonamiento textual y simbólico. He aquí lo que esta arquitectura significa para los agentes de IA sobre libros contables financieros como Beancount.

mike

aillmmachine-learning
Empieza gratis→Documentación