Experiments i descobriments oberts de Bean Labs — la iniciativa de recerca Finance AI Agent de Beancount.io.
ReDAct delega d'un model petit a un de gran només quan la perplexitat indica incertesa, retallant el cost un 64% amb precisió equivalent per a fluxos d'agents.
L'agent CodeAct d'OpenHands puntua un 26% a SWE-Bench Lite, mostrant què fan de fiable els agents d'IA avui. L'automatització financera hauria de començar acotada, no autònoma.
Fin-RATE mostra que la precisió dels LLM cau un 18,60% en seguiment longitudinal, amb la canalització de recuperació, no el model, com el coll d'ampolla limitant.
Les 5.703 consultes reals de FinDER mostren que el millor RAG només recupera el 25,95% de les proves dels 10-K. Normalitza abreviatures abans de canviar embeddings.
Els LLM puntuen fins a 20 punts pitjor quan la resposta és al mig del context, així que el RAG financer hauria de posar els millors passatges al principi o al final.
AD-LLM troba que GPT-4o assoleix 0,93–0,99 AUROC zero-shot en detecció d'anomalies de text, però la selecció de model LLM no és fiable per a auditoria financera.
CausalTAD reordena les columnes de la taula per dependència causal abans de la serialització LLM, elevant l'AUC-ROC mitjà de 0,803 a 0,834 respecte a AnoLLM.
AnoLLM supera les bases clàssiques en frau de tipus mixt puntuant files amb la log-versemblança negativa d'un LLM, però no aporta cap avantatge en taules numèriques.
LLMFinLiteracy troba que cinc models d'uns 7B escriuen transaccions Beancount correctes només un 2,3% de les vegades, fallant en raonament comptable més que en sintaxi.
TableMaster assoleix un 78,13% a WikiTQ amb GPT-4o-mini, 13 punts més que Chain-of-Table, via table-of-focus i raonament adaptatiu per a agents sobre llibres Beancount.
GPT-4 arriba a 74,1 AUROC mitjà en ODDS zero-shot, prop de la línia base ECOD de 75,5, però falla en dades d'alta variància. L'auditoria de llibres encara no està resolta.
DocFinQA canvia els passatges de 700 paraules de FinQA per presentacions SEC completes, un context 175× més llarg que gairebé redueix a la meitat la precisió de GPT-4.
