Po týždni zameranom na vyhľadávanie a vkladanie znalostí som sa chcel pozrieť na druhú stranu otázky: čo cielené doladenie skutočne prináša, keď je úloha dobre definovaná? TAT-LLM (arXiv:2401.13223, ICAIF 2024) je jednou z jasnejších odpovedí: doladiť LLaMA 2 so štruktúrovanou pipeline na benchmarkoch QA nad finančnými tabuľkami a textom a poraziť GPT-4. Podstata je, ako obvykle, v detailoch.
Článok
Fengbin Zhu, Ziyang Liu, Fuli Feng, Chao Wang, Moxin Li a Tat-Seng Chua z NExT++ na NUS predstavujú TAT-LLM, model LLaMA 2 doladený na diskrétne uvažovanie nad hybridnými tabuľkovými a textovými dátami. Základným problémom je odpovedanie na numerické otázky o finančných výkazoch — taký typ otázky, pri ktorej musíte nájsť konkrétny riadok v tabuľke, extrahovať dve čísla a vykonať viackrokovú aritmetickú operáciu, aby ste dospeli k odpovedi. Presne to ľudia robia pri čítaní podaní 10-K.
Namiesto riadenia veľkého modelu end-to-end autori rozkladajú úlohu na tri explicitné kroky: Extractor (extrahovateľ), ktorý identifikuje relevantné numerické dôkazy v dokumente, Reasoner (uvažovateľ), ktorý napíše aritmetický výraz, a Executor (vykonávateľ), ktorý výraz vyhodnotí deterministicky. Trénovacie dáta sa generujú automaticky z existujúcich expertne anotovaných datasetov — FinQA, TAT-QA a TAT-DQA — anotovaním každej inštancie medzikrokmi extrakcie a uvažovania. Doladenie používa LoRA naprieč tromi veľkosťami LLaMA 2: 7B, 13B a 70B.
Kľúčové myšlienky
- Rozklad na pipeline prekonáva end-to-end: Samotný externý Executor (deterministická aritmetika) pridáva pre model 7B +16,66 EM bodu na FinQA. Aritmetika nie je pre model ťažšia — je jednoducho katastrofálne nespoľahlivá, keď sa deje v prirodzenom jazyku.
- 7B prekonáva GPT-4 na všetkých troch benchmarkoch: TAT-LLM 7B dosahuje 64,60 % EM na FinQA (oproti 63,91 % GPT-4), 74,56 % EM na TAT-QA (oproti 71,92 %) a 69,45 % EM na TAT-DQA (oproti 64,46 %). Rozdiel na TAT-DQA je najpresvedčivejší, takmer 5 bodov.
- Extrakcia je limitujúci režim zlyhania: Analýza chýb ukazuje, že 48 % chýb vyplýva z nesprávnej extrakcie dôkazov — model vyberie nesprávny riadok, nesprávny stĺpec alebo nesprávne prečíta číslo kvôli neznámej finančnej terminológii. Len 19 % tvoria nesprávne operátory.
- Škála pomáha, do určitej miery: Spoločne trénovaný variant 70B (TAT-LLM-All) zvyšuje FinQA na 76,81 % EM a TAT-QA na 81,42 % F1, čo sú významné zlepšenia. Ale model 7B už prekonáva GPT-4, čo naznačuje, že štruktúra pipeline je dôležitejšia ako počet parametrov.
- Ľudskí experti zostávajú ďaleko vpredu: Na TAT-QA je výkon človeka 90,8 % F1; najlepší výsledok TAT-LLM je 81,42 % F1. Rozdiel je reálny a v článku sa priznáva.
Čo obstojí — a čo nie
Základný technický prínos je solídny: outsourcovanie aritmetiky deterministickému vykonávateľovi je jednoznačne správna voľba a ablacia to presvedčivo dokazuje. Je to známa lekcia z PAL a podobnej práce, ale vidieť ju kvantifikovanú (+16,66 bodu) na špecificky finančnom benchmarku je cenné potvrdenie.
Kde som skeptickejší, je hlavné tvrdenie o „prekonávaní GPT-4". Rozdiel na FinQA je 0,69 EM bodu — v podstate v rámci chyby merania — a čísla GPT-4 odrážajú zero-shot alebo mierne promptované hodnotenie, nie GPT-4 s reťazcom myšlienok, few-shot príkladmi alebo vlastným interpretom kódu. Promptovaný GPT-4 s použitím nástroja Python by tieto čísla takmer isto prekonal. Porovnanie nie je nesprávne, ale nie je celkom príbehom „špecializácia vyhráva", ktorý naznačuje abstrakt.
Existuje aj významná obava z úniku pri hodnotení. Model je doladený na trénovacích rozdeleniach FinQA, TAT-QA a TAT-DQA a hodnotený na ich testovacích rozdeleniach. To je úzke in-distribution nastavenie. Článok neobsahuje žiadnu odloženú úlohu finančného QA, ktorú model nikdy nevidel pri trénovaní, takže zovšeobecnenie na nové typy dokumentov alebo nové aritmetické vzory zostáva nepreukázané.
Limit kontextu 4 096 tokenov je praktický problém pre skutočné finančné výkazy. Typické 10-K má viac ako 100 strán; dokonca aj jediná štvrťročná správa často presahuje 4 096 tokenov. Model, ako je opísaný, nedokáže spracovať vstupy, na ktoré je navrhnutý, bez rozdeľovania na časti (chunking) a článok nerieši, ako sa extrakcia zhoršuje, keď sú dôkazy rozptýlené naprieč viacerými časťami.
Prečo je to dôležité pre AI vo financiách
Rozklad Extractor-Reasoner-Executor sa priamo uplatňuje na Beancount agentov. Keď sa používateľ pýta „aké boli moje celkové výdavky na jedlo v Q1 2025 v porovnaní s Q1 2024?", prirodzená štruktúra je: nájsť relevantné transakcie (Extract), zostaviť agregačný výraz (Reason), spustiť ho proti ledgeru (Execute). Analýza chýb TAT-LLM robí konkrétnu predpoveď: krok extrakcie je miesto, kde bude Beancount agent zlyhávať najčastejšie — nesprávne kategórie účtov, vynechané transakcie, nesprávne prečítané sumy — nie aritmetika.
Prístup doladenia LoRA je tiež relevantný pre každého, kto stavia model špecifický pre Beancount. Stratégia generovania trénovacích dát — vziať expertne anotované páry QA a anotovať ich medzikrokmi — je presne to, ako by ste zostavili dataset uvažovania špecifický pre ledger. Máte zdrojové dáta záznamov v ledgeri; môžete automaticky generovať n-tice (otázka, extrakcia, výraz, odpoveď).
Limit kontextu je najväčšou prekážkou. Produkčný Beancount agent musí uvažovať nad rokmi záznamov. Model z článku to nerobí; je to silný baseline pre QA s krátkymi dokumentmi, ktorý treba rozšíriť o chunking, vyhľadávanie alebo väčšie kontextové okno, aby sa stal prakticky použiteľným.
Čo čítať ďalej
- FinQA (arXiv:2109.00122, EMNLP 2021) — pôvodný benchmark, na ktorom sa TAT-LLM hodnotí; jeho prečítanie objasní, čo presne znamená „diskrétne uvažovanie nad finančnými dátami" a ako vyzeral predchádzajúci stav techniky pred LLM.
- TAGOP (súčasť článku TAT-QA, arXiv:2105.07624, ACL 2021) — model operátorov s povedomím o tabuľkách, ktorý definoval úlohu TAT-QA; pochopenie toho, ako vyzerá výber operátora založený na pravidlách, poskytuje referenčný bod pre to, čo krok Reasoner založený na LLM nahrádza.
- AuditCopilot (arXiv:2512.02726) — benchmarkuje LLaMA a Gemma na detekcii anomálií v testoch žurnálových zápisov nad skutočnými dátami ledgeru; prirodzenou nadväzujúcou otázkou po TAT-LLM je, či sa rovnaký prístup doladenia prenáša na detekciu anomálií namiesto QA.





