#analytics
Data analytics techniques and metrics for financial AI systems
Una lectura crítica del estudio de Xu y Ding para NAACL 2025 sobre detección de anomalías y OOD basada en LLM. La taxonomía detección vs. generación se mantiene, pero la casi total ausencia de cobertura tabular obliga a los profesionales de la IA financiera a sintetizar ellos mismos las ideas de los modelos de visión.
Fin-RATE evalúa 17 LLM con 7,500 pares de preguntas y respuestas seleccionados por expertos a partir de 2,472 presentaciones de la SEC, revelando un colapso de precisión del 18.60% en el seguimiento longitudinal y una caída de 54 puntos para el modelo especializado Fin-R1 en tareas entre entidades, señalando al sistema de recuperación, y no al modelo base, como el cuello de botella limitante.
El artículo de TACL 2024 de Liu et al. muestra que los LLM rinden hasta 20 puntos peor con información enterrada en el medio de contextos largos —una degradación en forma de U que afecta a todos los modelos probados, incluido Claude-1.3-100K— con implicaciones concretas sobre cómo los pipelines de RAG deben ordenar los pasajes recuperados en aplicaciones de finanzas y contabilidad.
AD-LLM evalúa GPT-4o y Llama 3.1 8B en tres roles de detección de anomalías (detector zero-shot, aumentador de datos y selector de modelos) en cinco conjuntos de datos de PNL; GPT-4o alcanza un AUROC de 0,93–0,99 en zero-shot, pero la selección de modelos basada en LLM sigue siendo poco fiable, con implicaciones directas para la IA en auditoría financiera.
τ-bench muestra que los LLM de primer nivel como Claude 3.5 Sonnet caen de un pass@1 de 0.692 a un pass@4 de 0.462 en tareas de servicio al cliente minorista — un abismo de consistencia con implicaciones directas para cualquier agente de escritura que opere en un libro mayor de Beancount.
El mejor modelo de ConvFinQA obtiene una precisión de ejecución del 68,9% frente al 89,4% de los expertos humanos: una brecha de 21 puntos que el chat de contabilidad multi-turno aún debe superar.
FinanceBench evalúa 16 configuraciones de IA frente a 10,231 preguntas de presentaciones reales ante la SEC; el RAG de almacenamiento de vectores compartido responde correctamente solo el 19% de las veces, e incluso GPT-4-Turbo con el pasaje del oráculo alcanza solo el 85% de precisión, lo que demuestra que el razonamiento numérico, no la recuperación, es la limitación crítica para la IA financiera empresarial.
La autoconsistencia reemplaza la decodificación codiciosa de cadena de pensamiento con un voto mayoritario sobre N rutas de razonamiento muestreadas, elevando la precisión de GPT-3 en GSM8K en 17.9 puntos porcentuales sin entrenamiento adicional, y se aplica directamente a cálculos financieros de múltiples pasos donde una única decodificación del modelo no es confiable.
