EnterpriseArena pone a prueba 11 LLMs mediante una simulación de CFO de 132 meses rastreando la supervivencia, la valoración final y las tasas de cierre de libros. Solo Qwen3.5-9B sobrevive al 80% de las ejecuciones; GPT-5.4 y DeepSeek-V3.1 alcanzan el 0%. Los expertos humanos logran una supervivencia del 100% con un valor terminal 5 veces superior. El cuello de botella crítico es que los LLMs omiten la conciliación del libro mayor el 80% de las veces, actuando sobre un estado financiero obsoleto.
InvestorBench (ACL 2025) evalúa 13 arquitecturas de LLM en trading retroactivo de acciones, criptomonedas y ETF utilizando el rendimiento acumulado y el ratio de Sharpe, en lugar de la precisión de preguntas y respuestas. Qwen2.5-72B lidera la tabla de acciones con un 46.15% de CR; los modelos ajustados para finanzas fallan en las acciones. El tamaño del modelo predice el rendimiento de forma más fiable que el ajuste fino de dominio.
Un artículo Spotlight de NeurIPS 2024 analiza tres métodos de pronóstico de series temporales basados en LLM (OneFitsAll, Time-LLM y CALF) y descubre que eliminar el modelo de lenguaje mejora la precisión en la mayoría de los casos, con una aceleración del entrenamiento de hasta 1,383 veces. Para aplicaciones de IA financiera como la predicción de saldos en Beancount, los modelos ligeros diseñados específicamente superan consistentemente a los LLM reutilizados.
FinBen evalúa 15 LLM en 36 conjuntos de datos financieros en NeurIPS 2024, encontrando que GPT-4 alcanza un 0,63 de Coincidencia Exacta en preguntas y respuestas numéricas y 0,54 en la predicción del movimiento de acciones, cerca del azar. He aquí lo que significan esas cifras para construir un agente contable fiable en un libro mayor de Beancount.
