Saltar al contenido principal

Registro de investigación de Bean Labs

TAT-LLM: Un LLaMA 2 de 7B ajustado finamente supera a GPT-4 en QA financiero

Publicado Actualizado por última vez 6 min de lecturaMike ThriftMike Thrift
TAT-LLM: Un LLaMA 2 de 7B ajustado finamente supera a GPT-4 en QA financiero

Documento: https://arxiv.org/abs/2401.13223

En esta página

Después de una semana centrada en recuperación e inyección de conocimiento, quería mirar el otro lado de la cuestión: qué entrega realmente el fine-tuning dirigido cuando la tarea está bien definida. TAT-LLM (arXiv:2401.13223, ICAIF 2024) es una de las respuestas más claras: ajustar finamente LLaMA 2 con un pipeline estructurado sobre benchmarks de QA de tablas y texto financieros y superar a GPT-4. El quid, como siempre, está en los detalles.

El artículo​

Fengbin Zhu, Ziyang Liu, Fuli Feng, Chao Wang, Moxin Li y Tat-Seng Chua, de NExT++ en la NUS, presentan TAT-LLM, un modelo LLaMA 2 ajustado finamente para razonamiento discreto sobre datos híbridos tabulares y textuales. El problema central es responder preguntas numéricas sobre informes financieros — ese tipo de pregunta en la que hay que encontrar una fila concreta en una tabla, extraer dos números y llevar a cabo una operación aritmética de varios pasos para llegar a una respuesta. Esto es exactamente lo que hace la gente al leer presentaciones 10-K.

En lugar de dirigir un modelo grande de extremo a extremo, los autores descomponen la tarea en tres pasos explícitos: un Extractor que identifica la evidencia numérica relevante en el documento, un Razonador que escribe una expresión aritmética, y un Ejecutor que evalúa la expresión de forma determinista. Los datos de entrenamiento se generan automáticamente a partir de conjuntos de datos existentes anotados por expertos — FinQA, TAT-QA y TAT-DQA — anotando cada instancia con los pasos intermedios de extracción y razonamiento. El fine-tuning usa LoRA en tres escalas de LLaMA 2: 7B, 13B y 70B.

Ideas clave​

  • La descomposición en pipeline supera al enfoque de extremo a extremo: Solo el Ejecutor externo (aritmética determinista) añade +16,66 puntos de EM en FinQA para el modelo de 7B. La aritmética no le resulta más difícil al modelo — simplemente es catastróficamente poco fiable cuando ocurre en lenguaje natural.
  • El 7B supera a GPT-4 en los tres benchmarks: TAT-LLM 7B obtiene 64,60% de EM en FinQA (frente al 63,91% de GPT-4), 74,56% de EM en TAT-QA (frente a 71,92%) y 69,45% de EM en TAT-DQA (frente a 64,46%). La diferencia en TAT-DQA es la más convincente, con casi 5 puntos.
  • La extracción es el modo de fallo limitante: El análisis de errores muestra que el 48% de los errores se remontan a una extracción de evidencia incorrecta — el modelo elige la fila equivocada, la columna equivocada, o lee mal un número debido a terminología financiera poco familiar. Solo el 19% son operadores equivocados.
  • La escala ayuda, hasta cierto punto: La variante de 70B entrenada conjuntamente (TAT-LLM-All) eleva FinQA a 76,81% de EM y TAT-QA a 81,42% de F1, que son mejoras significativas. Pero el modelo de 7B ya supera a GPT-4, lo que sugiere que la estructura del pipeline importa más que el número de parámetros.
  • Los expertos humanos siguen muy por delante: En TAT-QA, el rendimiento humano es de 90,8% de F1; el mejor resultado de TAT-LLM es 81,42% de F1. La brecha es real y se reconoce en el artículo.

Qué se sostiene — y qué no​

La contribución técnica central es sólida: externalizar la aritmética a un ejecutor determinista es claramente la elección correcta, y la ablación lo demuestra de forma convincente. Es una lección conocida de PAL y trabajos similares, pero verla cuantificada (+16,66 puntos) en un benchmark específicamente financiero es una confirmación valiosa.

Donde soy más escéptico es en la afirmación principal sobre "superar a GPT-4". El margen en FinQA es de 0,69 puntos de EM — efectivamente dentro del margen de error, y los números de GPT-4 reflejan una evaluación zero-shot o con pocos ejemplos, no GPT-4 con chain-of-thought, ejemplos few-shot o su propio intérprete de código. Un GPT-4 con prompting y uso de herramientas Python casi con certeza superaría estos números. La comparación no es incorrecta, pero no es del todo la historia de "la especialización gana" que sugiere el resumen.

También hay una preocupación significativa sobre la fuga en la evaluación. El modelo se ajusta finamente con las divisiones de entrenamiento de FinQA, TAT-QA y TAT-DQA y se evalúa en sus divisiones de test. Ese es un entorno estrecho dentro de la distribución. El artículo no incluye ninguna tarea de QA financiero retenida que el modelo nunca viera en entrenamiento, por lo que la generalización a nuevos tipos de documentos o nuevos patrones aritméticos sigue sin demostrarse.

El límite de contexto de 4.096 tokens es un impedimento práctico para informes financieros reales. Un 10-K típico supera las 100 páginas; incluso un único informe trimestral a menudo excede los 4.096 tokens. El modelo tal como se describe no puede manejar las entradas para las que está diseñado sin fragmentación, y el artículo no aborda cómo se degrada la extracción cuando la evidencia está repartida entre múltiples fragmentos.

Por qué esto importa para la IA financiera​

La descomposición Extractor-Razonador-Ejecutor se aplica directamente a los agentes de Beancount. Cuando un usuario pregunta "¿cuáles fueron mis gastos totales en comida en el primer trimestre de 2025 comparados con el primer trimestre de 2024?", la estructura natural es: encontrar las transacciones relevantes (Extraer), construir una expresión de agregación (Razonar), ejecutarla contra el libro mayor (Ejecutar). El análisis de errores de TAT-LLM hace una predicción concreta: el paso de extracción es donde un agente de Beancount fallará con más frecuencia — categorías de cuentas equivocadas, transacciones omitidas, importes mal leídos — no la aritmética.

El enfoque de fine-tuning con LoRA también es relevante para cualquiera que construya un modelo específico para Beancount. La estrategia de generación de datos de entrenamiento — tomar pares de QA anotados por expertos y anotarlos con pasos intermedios — es exactamente cómo construirías un conjunto de datos de razonamiento específico para un libro mayor. Tienes los datos de origen de los asientos del libro mayor; puedes generar tuplas (pregunta, extracción, expresión, respuesta) automáticamente.

El límite de contexto es el mayor obstáculo. Un agente de Beancount de nivel de producción tiene que razonar sobre años de asientos. El modelo del artículo no lo hace; es una línea base sólida para QA de documentos cortos que necesita extenderse con fragmentación, recuperación o una ventana de contexto más grande para volverse prácticamente utilizable.

Qué leer a continuación​

  • FinQA (arXiv:2109.00122, EMNLP 2021) — el benchmark original sobre el que se evalúa TAT-LLM; leerlo aclara exactamente qué significa "razonamiento discreto sobre datos financieros" y cómo era el estado del arte anterior antes de los LLM.
  • TAGOP (parte del artículo de TAT-QA, arXiv:2105.07624, ACL 2021) — el modelo de operadores consciente de tablas que definió la tarea TAT-QA; entender cómo es la selección de operadores basada en reglas da un punto de referencia para lo que reemplaza el paso de Razonador basado en LLM.
  • AuditCopilot (arXiv:2512.02726) — evalúa LLaMA y Gemma en la detección de anomalías en pruebas de asientos de diario sobre datos reales de libros mayores; la pregunta de seguimiento natural tras TAT-LLM es si el mismo enfoque de fine-tuning se transfiere a la detección de anomalías en lugar de al QA.

Fuente: https://beancount.io/es/bean-labs/research-logs/2026/05/21/tat-llm-specialized-language-model-discrete-reasoning-tabular-textual

Publicado: 21 de mayo de 2026

Actualizado por última vez: 14 de noviembre de 2026