Benchmark FinMaster: Prečo LLM dosahujú 96 % vo finančnej gramotnosti, ale iba 3 % pri generovaní výkazov

Článok o FinMaster sa dostal do môjho poradovníka na čítanie hneď po ReAct. Ak je ReAct o tom, ako sa agenti rozhodujú, kedy konať, FinMaster kladie ťažšiu otázku: ako dobre zvládajú dnešné najlepšie LLM skutočné účtovné postupy, ktoré títo agenti potrebujú vykonávať? Publikovaný v máji 2025, je to prvý benchmark, ktorý som videl a ktorý pokrýva celý proces – finančnú gramotnosť, účtovníctvo, audit a poradenstvo – v jednom ucelenom rámci hodnotenia.

Článok

Jiang a kol. predstavujú FinMaster (arXiv:2505.13533), trojdielny benchmark na vyhodnocovanie LLM vo finančných pracovných postupoch. Prvým komponentom je FinSim, generátor syntetických dát, ktorý simuluje päť typov spoločností a vytvára záznamy v hlavnej knihe – správne aj zámerne chybné – na naplnenie testovacích scenárov bez obáv o súkromie reálnych dát. Druhým je FinSuite, ktorý združuje 183 úloh zahŕňajúcich finančnú gramotnosť, účtovníctvo, audit a poradenstvo na rôznych úrovniach obtiažnosti. Tretím je FinEval, ktorý poskytuje jednotné rozhranie pre skórovanie. Autori tvrdia, že FinMaster je prvý benchmark pokrývajúci celý finančný reťazec s nekonečným generovaním dát bezpečným z hľadiska súkromia – čo je tvrdenie, ktoré obstojí v porovnaní so statickými predchodcami ako FinBen a FinanceBench.

Kľúčové myšlienky

• Prepad pri zložitosti: Modely dosahujú priemerné skóre ~96 % vo finančnej gramotnosti (čítanie súvah, výsledoviek), potom klesajú na 40 – 60 % pri základných účtovných výpočtoch, pod 20 % pri viacstupňových účtovných úlohách a len na 3 % pri generovaní finančných výkazov. Gramotnosť a výpočty nie sú tá istá zručnosť.
• Šírenie chýb je kritické: V konzultačných úlohách mali výpočty s jednou metrikou priemernú presnosť 58 %; scenáre s viacerými metrikami, ktoré tieto výpočty reťazia, klesli na 37 % – ide o 21-bodový pokles v dôsledku kumulovania malých chýb.
• Rebríček je na špici vyrovnaný: o3-mini (priemer 0,73), Claude-3.7-Sonnet (0,72) a DeepSeek-V3-2503 (0,70) sú tesne pri sebe, čo naznačuje, že benchmark je netriviálny, ale ešte nedosiahol svoj strop.
• Účtovníctvo je náročná doména: Vo všetkých siedmich hodnotených modeloch sa skóre v účtovníctve pohybovalo len od 0,04 do 0,35 – hlboko pod akoukoľvek inou kategóriou. Generovanie výkazov na úrovni 3 % znamená, že LLM zatiaľ nedokážu spoľahlivo syntetizovať denník transakcií do uceleného finančného výkazu.
• Modely s uvažovaním pomáhajú len okrajovo: o3-mini vedie celkovo, ale nie rozhodujúco. Uvažovanie v štýle "Chain-of-thought" je reálne, ale nedokáže preklenúť 93-bodovú priepasť medzi gramotnosťou a generovaním výkazov.
• FinSim umožňuje stresové testovanie vo veľkom meradle: Predchádzajúce benchmarky používajú statické, pevné datasety náchylné na kontamináciu v priebehu času. FinMaster dokáže generovať nové scenáre na požiadanie, čo je dôležité pre skúmanie toho, či modely generalizujú alebo si len mechanicky pamätajú.

Čo obstojí — a čo nie

Hlavný výsledok – že viacstupňové finančné uvažovanie prudko degraduje – je dôveryhodný a zodpovedá vzorcom z LOG-001 (FinBen) a LOG-002 (Toolformer). Verím zisteniu o šírení chýb; je to štrukturálne podobné tomu, čo sa deje v akomkoľvek aritmetickom reťazci. Generátor FinSim je skutočným metodologickým prínosom: benchmark, ktorý dokáže generovať čerstvé scenáre, odoláva problému memorovania, ktorý trápi statické finančné datasety.

Čím som si menej istý: 183 úloh je málo pre benchmark deklarujúci holistické pokrytie. Tridsaťpäť úloh z auditu nemôže charakterizovať doménu tak širokú, ako je finančný audit, kde reálne taxonómie chýb majú stovky položiek. Článok redukuje celú doménu na 12 základných typov chýb, čo zakrýva heterogenitu skutočných zistení z auditu.

Jediné súhrnné skóre v rebríčku tiež zakrýva dôležité vzorce naprieč doménami. Audit a poradenstvo majú u jednotlivých modelov veľmi odlišné profily a ich spriemerovanie vytvára číslo, ktoré sa ľahko cituje, ale ťažko sa podľa neho koná.

Obmedzenie syntetických dát je dvojsečná zbraň. FinSim generuje čisté, dobre štruktúrované dáta z účtovných kníh. Skutočné účtovné systémy nesú so sebou desaťročia starých kódovacích rozhodnutí, artefakty zaokrúhľovania mien a úpravy mimo cyklu, ktoré žiadny simulátor nezachytí. Skóre 3 % pri syntetickom generovaní výkazov je pochmúrne; rovnaké meranie na neusporiadaných knihách skutočnej firmy by bolo pravdepodobne ešte horšie. Článok je tiež len textový – autori priznávajú medzeru v multimodalite, ale nemerajú ju. Väčšina účtovnej práce sa v skutočnosti odohráva v naskenovaných PDF a tabuľkových procesoroch.

Prečo je to dôležité pre AI vo financiách

Toto je najrelevantnejší článok, ktorý som od FinBen čítal pre agendu Bean Labs. Prípad použitia Beancount je v podstate podmnožinou toho, čo vyhodnocuje FinMaster: účtovanie na úrovni transakcií, viacstupňové výpočty a generovanie reportov. 3 % pri generovaní výkazov je triezve číslo. Hovorí mi to, že aj s dobre navrhnutým lešením ReAct agenta je schopnosť základného modelu syntetizovať správnu súvahu v Beancount z denníka transakcií nespoľahlivá bez špecializovaného ladenia alebo asistenčných mechanizmov vyhľadávania.

Výsledok šírenia chýb je priamo relevantný pre bezpečnosť spätného zápisu. Ak reťazec konzultačných úloh stratí 21 bodov presnosti od prvého ku druhému kroku, potom autonómny agent Beancount vykonávajúci trojstupňové odsúhlasenie kumuluje chyby v každej fáze. Toto je silný argument pre rozkladanie úloh agenta na čo najmenšie atómové operácie a overovanie priebežných výsledkov namiesto spoliehania sa na end-to-end uvažovanie LLM.

FinSim tiež naznačuje konkrétny smer pre Bean Labs: simulátor transakcií špecifický pre Beancount by mohol generovať označené testovacie prípady na vyhodnocovanie a ladenie modelov v operáciách s účtovnou knihou. Architektúra už existuje, doménu stačí len portovať.

Čo si prečítať ďalej

• Financial Statement Analysis with Large Language Models (Alex Kim, Maximilian Muhn, Valeri Nikolaev; arXiv:2407.17866) — testuje schopnosť GPT-4 predpovedať smerovanie ziskov z finančných výkazov, čím dosahuje paritu s úzkymi ML modelmi; užitočný protipól k pochmúrnym číslam FinMaster o generovaní výkazov.
• FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark (arXiv:2510.08886) — podrobnejšie hodnotenie auditu s uvažovaním nad viacerými dokumentmi; dopĺňa riedke pokrytie auditu 35 úlohami vo FinMaster.
• AuditBench: A Benchmark for Large Language Models in Financial Statement Auditing (Springer 2025) — spája syntetizované dáta transakcií so skutočnými finančnými tabuľkami na testovanie detekcie a vysvetľovania chýb; priamo porovnateľná metodológia s modulom auditu FinMaster.