FinMaster Benchmark: Per què els LLMs obtenen un 96% en cultura financera però un 3% en generació d'estats financers

L'article de FinMaster va arribar a la meva cua de lectura just després de ReAct. Si ReAct tracta sobre com els agents decideixen quan actuar, FinMaster planteja una pregunta més difícil: com funcionen els millors LLM d'avui en els fluxos de treball comptables reals que aquests agents han d'executar? Presentat el maig de 2025, és el primer benchmark que he vist que cobreix tot el procés —cultura financera, comptabilitat, auditoria i consultoria— en un marc d'avaluació coherent.

L'article

Jiang et al. presenten FinMaster (arXiv:2505.13533), un benchmark de tres parts per avaluar els LLM en fluxos de treball financers. El primer component, FinSim, és un generador de dades sintètiques que simula cinc tipus d'empreses i produeix transaccions del llibre major —tant correctes com deliberadament errònies— per omplir escenaris de prova sense preocupacions de privadesa de dades reals. El second, FinSuite, agrupa 183 tasques que abasten cultura financera, comptabilitat, auditoria i consultoria en diversos nivells de dificultat. El tercer, FinEval, proporciona una interfície de puntuació unificada. Junts, els autors afirmen que FinMaster és el primer benchmark que cobreix tot el pipeline financer amb una generació de dades infinita i segura per a la privadesa —una afirmació que se sosté quan es compara amb predecessors estàtics com FinBen i FinanceBench.

Idees clau

• El penya-segat de la complexitat: Els models obtenen una mitjana del ~96% en cultura financera (lectura de balanços, estats de resultats), després cauen al 40–60% en càlculs comptables bàsics, per sota del 20% en tasques comptables de diversos passos, i a només un 3% en la generació d'estats financers. La cultura financera i la computació no són la mateixa habilitat.
• La propagació d'errors és greu: En les tasques de consultoria, els càlculs d'una sola mètrica van tenir una precisió mitjana del 58%; els escenaris de múltiples mètriques que encadenen aquests càlculs van caure al 37% —una caiguda de 21 punts a causa de l'acumulació de petits errors.
• La classificació està molt ajustada a la part superior: o3-mini (0,73 de mitjana), Claude-3.7-Sonnet (0,72) i DeepSeek-V3-2503 (0,70) estan molt agrupats, el que suggereix que el benchmark no és trivial però encara no ha arribat al seu sostre.
• La comptabilitat és el domini difícil: En els set models avaluats, les puntuacions de comptabilitat van oscil·lar entre només 0,04 i 0,35 —molt per sota de qualsevol altra categoria. Una generació d'estats financers del 3% significa que els LLM encara no poden sintetitzar de manera fiable un diari de transaccions en un estat financer coherent.
• Els models de raonament ajuden en els marges: o3-mini lidera el conjunt, però no de manera decisiva. El raonament d'estil "cadena de pensament" (chain-of-thought) és real, però no pot salvar la bretxa de 93 punts entre la cultura financera i la generació d'estats.
• FinSim permet proves d'estrès a escala: Els benchmarks anteriors utilitzen conjunts de dades estàtics i fixos vulnerables a la contaminació amb el temps. FinMaster pot generar nous escenaris sota demanda, cosa que és important per estudiar si els models generalitzen o simplement memoritzen.

Què se sosté — i què no

El resultat principal —que el raonament financer de diversos passos es degrada bruscament— és creïble i coincideix amb els patrons de LOG-001 (FinBen) i LOG-002 (Toolformer). Crec en la troballa de la propagació d'errors; és estructuralment similar al que passa en qualsevol cadena aritmètica. El generador FinSim és una autèntica contribució metodològica: un benchmark que pot generar escenaris frescos resisteix el problema de la memorització que afecta els conjunts de dades financeres estàtics.

El que em convenç menys: 183 tasques és poc per a un benchmark que pretén una cobertura holística. Trenta-cinc tasques d'auditoria no poden caracteritzar un domini tan ampli com l'auditoria financera, on les taxonomies d'errors del món real tenen centenars d'entrades. L'article redueix tot el domini a 12 tipus d'errors bàsics, cosa que oculta l'heterogeneïtat de les troballes d'auditoria reals.

La puntuació única agregada de la classificació també amaga patrons importants entre dominis. L'auditoria i la consultoria tenen perfils per model molt diferents, i fer-ne la mitjana produeix un número que és fàcil de citar però difícil d'utilitzar per prendre decisions.

La limitació de les dades sintètiques és una espasa de doble tall. FinSim genera dades de llibre major netes i ben estructurades. Els sistemes comptables reals arrosseguen dècades d'opcions de codificació llegades, artefactes d'arrodoniment de divises i ajustos fora de cicle que cap simulador captura. Una puntuació del 3% en la generació d'estats sintètics és desoladora; la mateixa mesura en els llibres desordenats d'una empresa real probablement seria encara pitjor. L'article també és només de text —els autors reconeixen la bretxa multimodal però no la mesuren. La major part de la feina comptable viu realment en PDF escanejats i fulls de càlcul.

Per què això és important per a la IA en finances

Aquest és l'article més directament rellevant que he llegit des de FinBen per a l'agenda de Bean Labs. El cas d'ús de Beancount és essencialment un subconjunt del que avalua FinMaster: comptabilitat a nivell de transacció, càlculs de diversos passos i generació d'informes. El 3% en la generació d'estats financers és una xifra que fa reflexionar. Em diu que, fins i tot amb una estructura d'agent ReAct ben dissenyada, la capacitat del model subjacent per sintetitzar un balanç de Beancount correcte a partir d'un diari de transaccions no és fiable sense un ajust fì (fine-tuning) especialitzat o una estructura de recuperació (retrieval).

El resultat de la propagació d'errors és directament rellevant per a la seguretat de l'escriptura de retorn (write-back). Si una cadena de tasques de consultoria perd 21 punts de precisió del pas u al pas dos, llavors un agent de Beancount autònom que realitza una conciliació de tres passos està acumulant errors en cada etapa. Aquest és un argument fort per dividir les tasques dels agents en les operacions atòmiques més petites possibles i verificar els resultats intermedis en lloc de confiar en el raonament LLM d'extrem a extrem.

FinSim també suggereix una direcció concreta per a Bean Labs: un simulador de transaccions específic per a Beancount podria generar casos de prova etiquetats per avaluar i ajustar models en operacions de llibre major. L'arquitectura ja hi és; només cal traslladar el domini.

Què llegir a continuació

• Financial Statement Analysis with Large Language Models (Alex Kim, Maximilian Muhn, Valeri Nikolaev; arXiv:2407.17866) — posa a prova la capacitat de GPT-4 per predir la direcció dels guanys a partir dels estats financers, aconseguint la paritat amb models de ML especialitzats; un contrapunt útil a les xifres pessimistes de FinMaster sobre la generació d'estats.
• FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark (arXiv:2510.08886) — una avaluació d'auditoria més granular amb raonament multidocument; complementa la cobertura d'auditoria de 35 tasques de FinMaster.
• AuditBench: A Benchmark for Large Language Models in Financial Statement Auditing (Springer 2025) — combina dades de transaccions sintetitzades amb taules financeres reals per provar la detecció i l'explicació d'errors; una metodologia directament comparable al mòdul d'auditoria de FinMaster.