Salta al contingut principal

Registre de recerca de Bean Labs

TAT-LLM: LLaMA 2 7B ajustat supera GPT-4 en preguntes i respostes financeres

Publicat Última actualització 6 minuts de lecturaMike ThriftMike Thrift
TAT-LLM: LLaMA 2 7B ajustat supera GPT-4 en preguntes i respostes financeres

Article: https://arxiv.org/abs/2401.13223

En aquesta pàgina

Després d'una setmana centrada en la recuperació i la injecció de coneixement, volia veure l'altra cara de la qüestió: què ofereix realment l'ajust fi dirigit quan la tasca està ben definida? TAT-LLM (arXiv:2401.13223, ICAIF 2024) és una de les respostes més clares: ajustar LLaMA 2 amb un pipeline estructurat sobre benchmarks de QA sobre taules i text financers i superar GPT-4. Com sempre, l'essència està en els detalls.

L'article​

Fengbin Zhu, Ziyang Liu, Fuli Feng, Chao Wang, Moxin Li i Tat-Seng Chua de NExT++ a la NUS presenten TAT-LLM, un model LLaMA 2 ajustat per al raonament discret sobre dades tabulars i textuals híbrides. El problema central és respondre preguntes numèriques sobre informes financers — el tipus de pregunta on has de trobar una fila específica a una taula, extreure dos números i realitzar una operació aritmètica de diversos passos per arribar a la resposta. És exactament el que fan les persones en llegir fulls 10-K.

En lloc d'impulsar un model gran end-to-end, els autors descomponen la tasca en tres passos explícits: un Extractor que identifica l'evidència numèrica rellevant al document, un Raonador que escriu una expressió aritmètica, i un Executor que avalua l'expressió de forma determinista. Les dades d'entrenament es generen automàticament a partir de conjunts de dades ja anotats per experts — FinQA, TAT-QA i TAT-DQA — anotant cada instància amb els passos intermigis d'extracció i raonament. L'ajust fi utilitza LoRA en tres escales de LLaMA 2: 7B, 13B i 70B.

Idees clau​

  • La descomposició en pipeline guanya a end-to-end: L'Executor extern (aritmètica determinista) per si sol afegir +16,66 punts EM en FinQA per al model de 7B. L'aritmètica no és més difícil per al model — simplement és catastròficament poc fiable quan passa en llenguatge natural.
  • 7B guanya a GPT-4 en els tres benchmarks: TAT-LLM 7B aconsegueix 64,60 % EM en FinQA (vs 63,91 % de GPT-4), 74,56 % EM en TAT-QA (vs 71,92 %) i 69,45 % EM en TAT-DQA (vs 64,46 %). La diferència en TAT-DQA és la més convincent, gairebé 5 punts.
  • L'extracció és el mode de fallada limitant: L'anàlisi d'errors mostra que el 48 % dels errors es deuen a una extracció incorrecta de l'evidència — el model tria la fila incorrecta, la columna incorrecta, o llegeix malament un número per terminologia financera desconeguda. Només el 19 % són operadors errònies.
  • L'escala ajuda, però fins a un punt: La variant de 70B entrenada conjuntament (TAT-LLM-All) puja FinQA al 76,81 % EM i TAT-QA al 81,42 % F1, millores significatives. Però el model de 7B ja guanya a GPT-4, cosa que suggereix que l'estructura del pipeline importa més que el nombre de paràmetres.
  • Els experts humans continuen molt per davant: En TAT-QA, el rendiment humà és 90,8 % F1; el millor resultat de TAT-LLM és 81,42 % F1. La bretxa és real i l'article la reconeix.

Què aguanta — i què no​

L'aportació tècnica central és sòlida: externalitzar l'aritmètica a un executor determinista és clarament l'elecció correcta, i l'ablació ho demostra de forma convincent. Aquesta és una liçó coneguda de PAL i treballs similars, però veure-la quantificada (+16,66 punts) en un benchmark específicament financer és una confirmació valuosa.

On sóc més escèptic és en l'afirmació del titular sobre «superar GPT-4». El marge en FinQA és de 0,69 punts EM — efectivament dins del marge d'error, i els números de GPT-4 reflecteixen una avaluació zero-shot o amb pocs prompts, no GPT-4 amb chain-of-thought, few-shot examples o el seu propi intèrpret de codi. Un GPT-4 amb Python tool use gairebé certament superaria aquests números. La comparació no és incorrecta, però no és exactament la història de «l'especialització guanya» que suggereix l'abstract.

Hi ha també una preocupació significant sobre filtració en l'avaluació. El model s'ajusta als splits d'entrenament de FinQA, TAT-QA i TAT-DQA i s'avalua en els seus splits de test. Aquest és un entorn in-distribution estret. L'article no inclou cap tasca de QA financer que el model no hagi vist durant l'entrenament, així que la generalització a nous tipus de documents o nous patrons aritmètics roman sense provar.

El límit de context de 4.096 tokens és un obstacle pràctic per a informes financers reals. Un 10-K típic supera les 100 pàgines; fins i tot un informe trimestral sol superar els 4.096 tokens. El model com es descriu no pot gestionar les entrades per a què està dissenyat sense fer chunking, i l'article no aborda com degrada l'extracció quan l'evidència està repartida en diversos chunks.

Per què importa per a la IA financera​

La descomposició Extractor-Raonador-Executor s'aplica directament als agents de Beancount. Quan un usuari pregunta «quins van ser els meus despeses totals d'alimentació al T1 2025 comparat amb T1 2024?», l'estructura natural és: trobar les transaccions rellevants (Extrair), construir una expressió d'agregació (Raonar), executar-la contra el llibre major (Executar). L'anàlisi d'errors de TAT-LLM fa una predicció concreta: el pas d'extracció és on fallarà més sovint un agent Beancount — categories de compte errònies, transaccions perdudes, importes mal llegits — no l'aritmètica.

L'enfocament d'ajust fi amb LoRA també és rellevant per a qui construeixi un model específic de Beancount. L'estratègia de generació de dades d'entrenament — prendre parells QA anotats per experts i anotar-los amb passos intermigis — és exactament com construiries un conjunt de dades de raonament específic de llibre major. Tens les dades font de les entrades del llibre major; pots generar tuples (pregunta, extracció, expressió, resposta) automàticament.

El límit de context és el major blocant. Un agent Beancount de producció ha de raonar sobre anys d'entrades. El model de l'article no ho fa; és un bon baseline per a QA de documents curts que cal estendre amb chunking, recuperació o una finestra de context més gran per esdevenir pràcticament usable.

Què llegir a continuació​

  • FinQA (arXiv:2109.00122, EMNLP 2021) — el benchmark original on s'avalua TAT-LLM; llegir-lo deixa clar el que significa «raonament discret sobre dades financeres» i com era l'estat de l'art abans dels LLMs.
  • TAGOP (part de l'article TAT-QA, arXiv:2105.07624, ACL 2021) — el model d'operadors conscients de taula que va definir la tasca TAT-QA; entendre com és la selecció d'operadors basada en regles dona un punt de referència per al que el pas de Raonador basat en LLM reemplaça.
  • AuditCopilot (arXiv:2512.02726) — avalua LLaMA i Gemma en detecció d'anomalies d'entrades de diari sobre dades reals de llibre major; la pregunta natural després de TAT-LLM és si el mateix enfocament d'ajust fi es transposa a detecció d'anomalies en lloc de QA.

Font: https://beancount.io/ca/bean-labs/research-logs/2026/05/21/tat-llm-specialized-language-model-discrete-reasoning-tabular-textual

Publicat: 21 de maig del 2026

Última actualització: 14 de novembre del 2026