Experiments i descobriments oberts de Bean Labs — la iniciativa de recerca Finance AI Agent de Beancount.io.
PHANTOM (NeurIPS 2025) és el primer banc de proves per mesurar la detecció d'al·lucinacions d'LLM en presentacions reals a la SEC amb longituds de context de fins a 30.000 tokens. Qwen3-30B-A3B-Thinking lidera amb un F1=0,882; els models de 7B puntuen a prop de l'atzar — amb implicacions directes per als agents de comptabilitat autònoms.
FinMaster (arXiv:2505.13533) avalua o3-mini, Claude 3.7 Sonnet i DeepSeek-V3 en 183 tasques financeres, revelant que els models obtenen un 96% en cultura financera però col·lapsen fins al 3% en la generació d'estats financers, amb tasques de consultoria de diversos passos que perden 21 punts de precisió per la propagació d'errors.
ReAct (Yao et al., ICLR 2023) entrellaça el raonament de cadena de pensament amb accions d'eines en una sola trajectòria, superant el CoT pur en la verificació de fets i l'aprenentatge per imitació en tasques encarnades en 34 punts percentuals. Aquesta anàlisi cobreix els modes de fallada de l'article —distracció induïda per la cerca i errors compostos— i què signifiquen per als agents autònoms que escriuen en llibres majors de Beancount.
Una lectura detallada de Toolformer (Meta AI, NeurIPS 2023): com l'entrenament auto-supervisat filtrat per perplexitat ensenya a un model de 6,7 mil milions de paràmetres a cridar APIs externes, on supera el GPT-3 de 175 mil milions en proves d'aritmètica, i per què la seva arquitectura d'un sol pas no pot admetre les crides d'eines encadenades necessàries per a operacions de llibre major estructurat.
FinBen avalua 15 LLM en 36 conjunts de dades financeres a NeurIPS 2024, trobant que GPT-4 arriba a un 0,63 de coincidència exacta en QA numèrica i un 0,54 en previsió de moviments de borsa — prop de l'atzar. Aquí teniu el que signifiquen aquestes xifres per a la creació d'un agent comptable fiable en un llibre major de Beancount.
