FinRAGBench-V: RAG multimodal con citas visuales en el dominio financiero
FinRAGBench-V halla que los mejores modelos solo logran un recall de citas a nivel de bloque del 20–61% en páginas financieras. La recuperación multimodal supera al texto.
#machine-learning
Aprendizaje Automático
Técnicas de aprendizaje automático para análisis y automatización de datos financieros
WildToolBench: Por qué ningún LLM supera el 15% de precisión de sesión en el uso de herramientas en el mundo real
WildToolBench halla que ningún LLM supera el 15% de precisión por sesión en 1.024 tareas reales, con intención oculta y cambios de instrucción como peores fallos.
Confianza y calibración de LLM: Un estudio de lo que la investigación muestra realmente
La confianza verbalizada de GPT-4 solo alcanza ~62,7% de AUROC, apenas por encima del azar. Los agentes financieros necesitan mejor calibración.
JSONSchemaBench: La complejidad de los esquemas del mundo real rompe las garantías de salida estructurada de los LLM
JSONSchemaBench halla que la cobertura cae del 86% en esquemas simples al 3% en complejos, así que la salida estructurada LLM puede emitir JSON no conforme.
FinMCP-Bench: Benchmarking de agentes de LLM para el uso de herramientas financieras del mundo real bajo MCP
FinMCP-Bench puntúa al mejor de seis LLM en solo 3,08% de coincidencia exacta en 613 tareas financieras MCP reales, un colapso de 20× de una sola herramienta a uso multiturno.
FinTrace: Evaluación a Nivel de Trayectoria del Llamado a Herramientas de LLM para Tareas Financieras
FinTrace muestra que los LLM frontera eligen las herramientas financieras correctas (F1 ~0,9) pero solo logran 3,23/5 al usar los resultados, el paso que rompe a los agentes.
FinToolBench: Evaluando Agentes LLM en el Uso de Herramientas Financieras del Mundo Real
FinToolBench halla un desajuste de intención superior al 50% en todos los LLM probados, así que llamar más herramientas no mejora las respuestas financieras.
OmniEval: Benchmark de evaluación RAG omnidireccional para el dominio financiero
OmniEval puntúa los mejores sistemas RAG con 36% de precisión numérica en 5 tipos de tareas financieras, así que los agentes de libro mayor necesitan validación.
Estudio sobre detección de anomalías con LLM (NAACL 2025): taxonomía sólida, cobertura tabular ausente
La taxonomía de NAACL 2025 se mantiene, pero falta cobertura tabular. Los equipos de IA financiera deben adaptar por su cuenta los métodos de modelos de visión.
Encontrado en el medio: La calibración del sesgo de atención posicional mejora el RAG de contexto largo
Restar el sesgo posicional de los pesos de atención del LLM recupera hasta 15 puntos de precisión RAG cuando la evidencia está a mitad de contexto.
Aplazamiento con Conciencia de Incertidumbre para Agentes LLM: Cuándo Escalar de Modelos Pequeños a Grandes
ReDAct difiere de un modelo pequeño a uno grande solo cuando la perplejidad indica incertidumbre, recortando el costo 64% con igual precisión en flujos de trabajo de agentes.
OpenHands: Plataforma abierta para agentes de software de IA y lo que significa para la automatización financiera
El agente CodeAct de OpenHands logra 26% en SWE-Bench Lite, mostrando lo que los agentes de IA hacen hoy. La automatización financiera debe empezar acotada.