Na een week gericht op retrieval en kennisinjectie wilde ik de andere kant van de vraag bekijken: wat levert gerichte fine-tuning eigenlijk op wanneer de taak goed is afgebakend? TAT-LLM (arXiv:2401.13223, ICAIF 2024) is een van de duidelijkere antwoorden: fine-tune LLaMA 2 met een gestructureerde pipeline op financiële tabel-tekst-QA-benchmarks en versla GPT-4. De crux zit, zoals gebruikelijk, in de details.
Het paper
Fengbin Zhu, Ziyang Liu, Fuli Feng, Chao Wang, Moxin Li en Tat-Seng Chua van NExT++ aan de NUS presenteren TAT-LLM, een LLaMA 2-model dat is fijn-afgesteld voor discrete redenering over hybride tabel- en tekstgegevens. Het kernprobleem is het beantwoorden van numerieke vragen over financiële rapporten — het soort vraag waarbij je een specifieke rij in een tabel moet vinden, twee getallen moet extraheren en een rekenkundige bewerking in meerdere stappen moet uitvoeren om tot een antwoord te komen. Dit is precies wat mensen doen bij het lezen van 10-K-documenten.
In plaats van een groot model end-to-end aan te sturen, decomponeren de auteurs de taak in drie expliciete stappen: een Extractor die relevante numerieke bewijzen in het document identificeert, een Reasoner die een rekenkundige expressie schrijft, en een Executor die de expressie deterministisch evalueert. Trainingsdata wordt automatisch gegenereerd uit bestaande door experts geannoteerde datasets — FinQA, TAT-QA en TAT-DQA — door elk exemplaar te annoteren met de tussenliggende extractie- en redeneerstappen. Fine-tuning gebruikt LoRA op drie LLaMA 2-schalen: 7B, 13B en 70B.
Kernideeën
- Pipeline-decompositie verslaat end-to-end: De externe Executor (deterministische rekenkunde) alleen al voegt +16,66 EM-punten toe op FinQA voor het 7B-model. Rekenkunde is niet moeilijker voor het model om te doen — het is simpelweg catastrofaal onbetrouwbaar wanneer het in natuurlijke taal gebeurt.
- 7B verslaat GPT-4 op alle drie de benchmarks: TAT-LLM 7B scoort 64,60% EM op FinQA (tegenover GPT-4's 63,91%), 74,56% EM op TAT-QA (tegenover 71,92%) en 69,45% EM op TAT-DQA (tegenover 64,46%). Het verschil op TAT-DQA is het meest overtuigend, met bijna 5 punten.
- Extractie is de beperkende faalmodus: Foutenanalyse toont aan dat 48% van de fouten terug te voeren is op onjuiste bewijsextractie — het model kiest de verkeerde rij, de verkeerde kolom, of leest een getal verkeerd door onbekende financiële terminologie. Slechts 19% zijn verkeerde operatoren.
- Schaal helpt, tot op zekere hoogte: De gezamenlijk getrainde 70B-variant (TAT-LLM-All) verhoogt FinQA tot 76,81% EM en TAT-QA tot 81,42% F1, wat betekenisvolle verbeteringen zijn. Maar het 7B-model verslaat GPT-4 al, wat suggereert dat de pipelinestructuur meer uitmaakt dan het aantal parameters.
- Menselijke experts blijven ver voor: Op TAT-QA is menselijke prestatie 90,8% F1; het beste resultaat van TAT-LLM is 81,42% F1. Het verschil is reëel en wordt in het paper erkend.
Wat standhoudt — en wat niet
De kerntechnische bijdrage is solide: rekenkunde uitbesteden aan een deterministische executor is duidelijk de juiste keuze, en de ablatie bewijst het overtuigend. Dit is een bekende les uit PAL en vergelijkbaar werk, maar het gekwantificeerd zien (+16,66 punten) op een specifiek financiële benchmark is een waardevolle bevestiging.
Waar ik meer sceptisch ben, is de kopclaim over "GPT-4 overtreffen". De marge op FinQA is 0,69 EM-punten — feitelijk binnen de foutmarge, en de GPT-4-cijfers weerspiegelen zero-shot of licht geprompt evalueeren, niet GPT-4 met chain-of-thought, few-shot voorbeelden of zijn eigen code-interpreter. Een geprompt GPT-4 met Python-toolgebruik zou deze cijfers vrijwel zeker verslaan. De vergelijking is niet fout, maar het is niet helemaal het "specialisatie wint"-verhaal dat het abstract suggereert.
Er is ook een significante zorg over evaluatielekkage. Het model is fijn-afgesteld op de trainingssplitsingen van FinQA, TAT-QA en TAT-DQA en geëvalueerd op hun testsplitsingen. Dat is een nauwe in-distributie-setting. Het paper bevat geen achtergehouden financiële QA-taak die het model nooit in training heeft gezien, dus generalisatie naar nieuwe documenttypen of nieuwe rekenkundige patronen blijft onbewezen.
De contextlimiet van 4.096 tokens is een praktische showstopper voor echte financiële rapporten. Een typische 10-K telt meer dan 100 pagina's; zelfs een enkel kwartaalrapport overschrijdt vaak 4.096 tokens. Het model zoals beschreven kan de inputs waarvoor het is ontworpen niet verwerken zonder chunking, en het paper gaat niet in op hoe extractie verslechtert wanneer het bewijs over meerdere chunks is verspreid.
Waarom dit belangrijk is voor financiële AI
De Extractor-Reasoner-Executor-decompositie is direct toepasbaar op Beancount-agents. Wanneer een gebruiker vraagt "wat waren mijn totale voedseluitgaven in Q1 2025 vergeleken met Q1 2024?", is de natuurlijke structuur: vind de relevante transacties (Extract), bouw een aggregatie-expressie (Reason), voer deze uit tegen het grootboek (Execute). De foutenanalyse van TAT-LLM doet een concrete voorspelling: de extractiestap is waar een Beancount-agent het vaakst zal falen — verkeerde rekeningcategorieën, gemiste transacties, verkeerd gelezen bedragen — niet de rekenkunde.
De LoRA fine-tuning-aanpak is ook relevant voor iedereen die een Beancount-specifiek model bouwt. De strategie voor het genereren van trainingsdata — neem door experts geannoteerde QA-paren en annoteer ze met tussenliggende stappen — is precies hoe je een grootboek-specifieke redeneerdataset zou bouwen. Je hebt de brongegevens van de grootboekposten; je kunt automatisch (vraag, extractie, expressie, antwoord)-tupels genereren.
De contextlimiet is de grootste blokkade. Een productieklare Beancount-agent moet over jaren aan posten redeneren. Het model uit het paper doet dat niet; het is een sterke baseline voor QA over korte documenten die moet worden uitgebreid met chunking, retrieval of een groter contextvenster om praktisch bruikbaar te worden.
Wat hierna te lezen
- FinQA (arXiv:2109.00122, EMNLP 2021) — de oorspronkelijke benchmark waarop TAT-LLM wordt geëvalueerd; het lezen ervan maakt duidelijk wat "discrete redenering over financiële gegevens" precies betekent en hoe de eerdere state of the art eruitzag vóór LLM's.
- TAGOP (onderdeel van het TAT-QA-paper, arXiv:2105.07624, ACL 2021) — het tabelbewuste operatormodel dat de TAT-QA-taak definieerde; begrijpen hoe op regels gebaseerde operatorselectie eruitziet, geeft een referentiepunt voor wat de op LLM gebaseerde Reasoner-stap vervangt.
- AuditCopilot (arXiv:2512.02726) — benchmarkt LLaMA en Gemma op het detecteren van anomalieën in journal entry-tests over echte grootboekgegevens; de natuurlijke vervolgvraag na TAT-LLM is of dezelfde fine-tuning-aanpak overdraagbaar is naar anomaliedetectie in plaats van QA.





