FinMaster Benchmark: Защо големите езикови модели (LLM) постигат 96% при финансова грамотност, но само 3% при генериране на отчети

Научната статия за FinMaster попадна в списъка ми за четене веднага след ReAct. Ако ReAct се фокусира върху това как агентите решават кога да действат, FinMaster поставя по-труден въпрос: доколко добре се справят днешните най-добри LLM с реалните счетоводни работни процеси, които тези агенти трябва да изпълняват? Публикувана през май 2025 г., това е първият бенчмарк, който виждам да обхваща целия цикъл — финансова грамотност, счетоводство, одит и консултиране — в една кохерентна рамка за оценка.

Статията

Jiang и колектив представят FinMaster (arXiv:2505.13533) — бенчмарк от три части за оценка на LLM върху финансови работни процеси. Първият компонент, FinSim, е генератор на синтетични данни, който симулира пет типа компании и създава трансакции в главната книга — както коректни, така и умишлено погрешни — за попълване на тестови сценарии без опасения за поверителността на реални данни. Вторият, FinSuite, обединява 183 задачи, обхващащи финансова грамотност, счетоводство, одит и консултиране на различни нива на трудност. Третият, FinEval, предоставя единен интерфейс за оценяване. Авторите твърдят, че FinMaster е първият бенчмарк, обхващащ пълния финансов цикъл с безкрайно генериране на данни, защитени от гледна точка на поверителността — твърдение, което се потвърждава при сравнение със статични предшественици като FinBen и FinanceBench.

Ключови идеи

• Сривът при сложност: Моделите постигат средно ~96% при финансовата грамотност (четене на баланси, отчети за приходите и разходите), след което падат до 40–60% при основни счетоводни изчисления, под 20% при многостепенни счетоводни задачи и едва 3% при генериране на финансови отчети. Грамотността и изчисленията не са едно и също умение.
• Разпространението на грешки е критично: При консултантските задачи изчисленията на единични метрики показват средна точност от 58%; сценариите с множество метрики, които верижно свързват тези изчисления, падат до 37% — спад от 21 пункта поради натрупване на малки грешки.
• Класацията на върха е оспорвана: o3-mini (средно 0,73), Claude-3.7-Sonnet (0,72) и DeepSeek-V3-2503 (0,70) са разположени близо един до друг, което предполага, че бенчмаркът е нетривиален, но все още не е достигнал своя таван.
• Счетоводството е трудната област: В седемте оценени модела резултатите в категорията счетоводство варират от едва 0,04 до 0,35 — далеч под всяка друга категория. Резултатът от 3% при генерирането на отчети означава, че LLM все още не могат надеждно да синтезират дневник с трансакции в кохерентен финансов отчет.
• Моделите за разсъждение помагат само частично: o3-mini води в общото класиране, но не решително. Разсъжденията в стил "верига от мисли" (chain-of-thought) са реални, но не могат да преодолеят разликата от 93 пункта между грамотност и генериране на отчети.
• FinSim позволява стрес-тестове в голям мащаб: Предишните бенчмаркове използват статични набори от данни, уязвими към замърсяване (contamination) с течение на времето. FinMaster може да генерира нови сценарии при поискване, което е важно за изследване на това дали моделите обобщават знанията си или просто са ги наизустили.

Какво е достоверно — и какво не

Основният резултат — че многостепенните финансови разсъждения се влошават рязко — е достоверен и съвпада с моделите от LOG-001 (FinBen) и LOG-002 (Toolformer). Вярвам в откритието за разпространението на грешки; то е структурно сходно с това, което се случва във всяка аритметична верига. Генераторът FinSim е истински методологичен принос: бенчмарк, който може да генерира свежи сценарии, устоява на проблема с наизустяването, който преследва статичните финансови набори от данни.

Това, в което съм по-малко убеден: 183 задачи са малко за бенчмарк, претендиращ за цялостно покритие. Тридесет и пет задачи за одит не могат да характеризират област, толкова широка колкото финансовия одит, където реалните таксономии на грешките имат стотици записи. Статията свива цялата област до 12 основни типа грешки, което скрива хетерогенността на действителните одитни констатации.

Единният агрегиран резултат в класацията също прикрива важни модели в различните области. Одитът и консултирането имат много различни профили за всеки модел и осредняването им дава число, което е лесно за цитиране, но трудно за използване в практиката.

Ограничението на синтетичните данни е нож с две остриета. FinSim генерира чисти, добре структурирани данни за главната книга. Реалните счетоводни системи носят десетилетия наследство от избори при кодирането, артефакти от закръгляне на валути и корекции извън цикъла, които никой симулатор не улавя. Резултатът от 3% при синтетично генериране на отчети е мрачен; същото измерване върху разхвърляните книги на реална компания вероятно би било още по-отчайващо. Статията е и само текстова — авторите признават мултимодалната празнина, но не я измерват. Повечето счетоводна работа всъщност се извършва в сканирани PDF файлове и електронни таблици.

Защо това е важно за финансовия ИИ

Това е най-директно релевантната статия, която съм чел след FinBen за дневния ред на Bean Labs. Случаят на използване на Beancount е по същество подмножество на това, което FinMaster оценява: счетоводство на ниво трансакция, многостепенни изчисления и генериране на отчети. Резултатът от 3% при генерирането на отчети е отрезвяващ. Той ми казва, че дори с добре проектирана ReAct агентна структура, способността на базовия модел да синтезира правилен Beancount баланс от дневник с трансакции е ненадеждна без специализирана фина настройка (fine-tuning) или рамка за извличане на информация (retrieval scaffolding).

Резултатът за разпространението на грешки е пряко свързан със сигурността при обратното записване на данни (write-back safety). Ако верига от консултантски задачи губи 21 пункта точност от първата до втората стъпка, тогава автономен Beancount агент, извършващ равнение в три стъпки, натрупва грешки на всеки етап. Това е силен аргумент за разбиване на задачите на агента на възможно най-малките атомни операции и проверка на междинните резултати, вместо да се разчита на цялостни LLM разсъждения (end-to-end reasoning).

FinSim също така подсказва конкретна посока за Bean Labs: специфичен за Beancount симулатор на трансакции би могъл да генерира етикетирани тестови случаи за оценка и фина настройка на модели върху операции с главната книга. Архитектурата вече е налице; областта просто трябва да бъде адаптирана.

Какво да четете след това

• Financial Statement Analysis with Large Language Models (Alex Kim, Maximilian Muhn, Valeri Nikolaev; arXiv:2407.17866) — тества способността на GPT-4 да предвижда посоката на печалбите от финансови отчети, постигайки паритет с тясно специализирани ML модели; полезна контрапунктова точка на мрачните числа на FinMaster за генерирането на отчети.
• FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark (arXiv:2510.08886) — по-детайлна оценка на одита с разсъждения върху множество документи; допълва оскъдното покритие на FinMaster от 35 задачи за одит.
• AuditBench: A Benchmark for Large Language Models in Financial Statement Auditing (Springer 2025) — съчетава синтезирани данни за трансакции с реални финансови таблици за тестване на откриването и обяснението на грешки; методологията е директно съпоставима с одитния модул на FinMaster.