FinBen: Benchmarking d'LLM en 36 tasques financeres — Implicacions per a la IA comptable

FinBen va aterrar a NeurIPS 2024 com l'avaluació pública més exhaustiva d'LLM en tasques financeres fins a la data. He estat volent llegir-lo amb deteniment perquè, abans de dissenyar qualsevol agent autònom sobre llibres majors de Beancount, necessito una imatge realista de la situació actual dels models d'avantguarda en les tasques de raonament financer que aquest agent hauria de realitzar.

L'article

Qianqian Xie i 33 coautors presenten FinBen, un benchmark de codi obert que cobreix 36 conjunts de dades en 24 tasques financeres, organitzades en set dimensions: extracció d'informació, anàlisi textual, resposta a preguntes, generació de text, gestió de riscos, previsió i presa de decisions. Avaluen 15 LLM representatius — incloent GPT-4, ChatGPT, Gemini i diversos models de codi obert ajustats per instruccions — i presenten tres nous conjunts de dades per a resum, QA i avaluació de negociació d'accions.

La motivació central és que els benchmarks financers anteriors com FLUE i FLARE capturaven cadascun una part del PLN financer, però ni de lluny el procés complet. FinBen és el primer intent d'abastar tot el conjunt en un sol lloc, i va ser acceptat en la secció de Datasets and Benchmarks Track de NeurIPS 2024, la qual cosa li dona un segell raonable d'escrutini metodològic.

Idees clau

• En el reconeixement d'entitats anomenades (NER), GPT-4 obté una puntuació d'Entity F1 de 0,83 en el conjunt de dades FINER-ORD — sòlid, però aquesta és la categoria més fàcil del benchmark.
• En FinQA (raonament numèric sobre informes financers), GPT-4 arriba a 0,63 de coincidència exacta (Exact Match); en la variant conversacional ConvFinQA, puntua 0,76. Aquests resultats són respectables però estan lluny d'estar resolts.
• El model FinMA 7B, ajustat al domini, assoleix un F1 de 0,88 en el sentiment de FPB — superant GPT-4 en aquesta tasca específica, la qual cosa confirma que l'ajust fi (fine-tuning) encara aporta guanys en classificacions ben definides.
• La previsió de moviments de borsa és el mode de fallada més clar: fins i tot GPT-4 puntua aproximadament un 0,54 de precisió — amb prou feines per sobre de l'atzar. Els autors ho anomenen "una deficiència notable en la capacitat dels LLM per afrontar la previsió".
• GPT-4 assoleix un ràtio de Sharpe d'1,51 en la tasca de negociació enfront de l'1,03 de Gemini i un retorn acumulat del 28,19% contra un retorn de "comprar i mantenir" del −4,00% durant el període d'avaluació — però es tracta d'un backtest curt amb totes les advertències habituals.
• Tots els models van puntuar zero en resum extractiu, i GPT-4 va puntuar 0,01 F1 en extracció de relacions. Les capacitats col·lapsen bruscament fora de la zona de confort de la classificació de text i la generació oberta.

Què es manté — i què no

El benchmark és realment útil com a instrument d'enquesta. El ventall de tasques és més ampli que qualsevol cosa anterior, i el seu llançament com a codi obert permet que altres puguin construir sobre la infraestructura d'avaluació en lloc de començar de zero.

Dit això, tinc preocupacions reals sobre el que FinBen pot dir-nos realment. El període d'avaluació de la negociació és curt i específic del mercat; un ràtio de Sharpe calculat durant uns pocs mesos en accions dels EUA no és un senyal estable. Les puntuacions de zero en resum extractiu ens indiquen que alguna cosa falla, però l'article no diagnostica el perquè — és un problema de format del prompt, un artefacte de tokenització o un error de raonament genuí? La distinció importa per a qualsevol que intenti solucionar-ho.

El benchmark també és gairebé totalment en anglès i centrat en el mercat dels EUA. Això no és només una advertència de generalització; significa que els resultats diuen molt poc sobre el rendiment en documents financers alemanys o xinesos, per exemple, o en jurisdiccions amb diferents estàndards comptables. Per a un projecte com Beancount.io que serveix a una base d'usuaris global, aquesta és una llacuna significativa.

La història dels models ajustats per instruccions també és més tèrbola del que sembla al principi. L'ajust fi ajuda en el sentiment (FinMA 7B a 0,88) però "només proporciona millores marginals per a tasques complexes com la QA". L'article ho reporta com una troballa però no ofereix una explicació mecànica. Es tracta d'un oblit catastròfic de la capacitat de raonament del model base? És la distribució de les dades d'ajust fi massa estreta? L'àrea superficial del benchmark per si sola no pot respondre a això.

Per què això importa per a la IA financera

Els resultats de FinBen donen a Bean Labs una línia base més clara de la que teníem abans. Les tasques més rellevants per a un agent de llibre major de Beancount — QA numèrica sobre informes financers estructurats (FinQA: 0,63 de coincidència exacta), extracció d'informació de descripcions de transaccions (NER: 0,83 F1) i detecció d'anomalies o classificació de frau (tasques de gestió de riscos que mostren una gran variància) — estan totes representades aquí, i cap d'elles està resolta.

El col·lapse de la previsió (0,54 en moviments de borsa) és en realitat tranquil·litzador per al nostre cas d'ús més limitat: no demanem als models que prediguin mercats, els demanem que classifiquin, extreguin i retornin entrades estructurades. Aquestes tasques es troben en el rang 0,63–0,83 depenent de la complexitat, la qual cosa és una base viable — tot i que "viable" no és "segur per a producció sense revisió humana".

La bretxa entre l'extracció estructurada i el raonament obert també s'assigna directament al problema de seguretat d'escriptura (write-back). Si un model pot extreure de manera fiable una entitat (F1 0,83) però té dificultats per raonar sobre les seves implicacions numèriques (FinQA 0,63) o generar una sortida estructurada correcta (extracció de relacions: 0,01), llavors l'arquitectura més segura manté aquests passos separats, amb una validació explícita entre ells.

Què llegir a continuació

• FinMaster (arXiv:2505.13533) — avalua explícitament els fluxos de treball comptables d'extrem a extrem, inclosa l'entrada del diari i la conciliació; més proper a la tasca de Beancount que qualsevol cosa a FinBen.
• "Table Meets LLM: Can Large Language Models Understand Structured Table Data?" (arXiv:2305.13062, WSDM 2024) — Els llibres majors de Beancount són essencialment taules estructurades; aquest article avalua exactament les capacitats de comprensió estructural que subjeuen a qualsevol agent lector de llibres majors.
• ReAct: Synergizing Reasoning and Acting in Language Models (arXiv:2210.03629) — el marc de raonament i acció entrellaçats és el que utilitzarien la majoria dels agents d'escriptura; comprendre els seus modes de fallada importa més ara que FinBen ha demostrat on és realment el sòl del raonament.