#technology
Technology research and software engineering topics relevant to financial AI systems
WildToolBench (ICLR 2026) avalua 57 LLM en 1.024 tasques extretes del comportament real dels usuaris — cap model supera el 15% de precisió de sessió, sent l'orquestració compositiva, la intenció oculta i les transicions d'instruccions els tres modes de fallada més acusats.
L'article de TACL 2024 de Liu et al. mostra que els LLM funcionen fins a 20 punts pitjor amb la informació enterrada al mig de contextos llargs —una degradació en forma de U que afecta tots els models provats, inclòs Claude-1.3-100K— amb implicacions concretes sobre com les canalitzacions RAG haurien d'ordenar els fragments recuperats en aplicacions de finances i comptabilitat.
OSWorld (NeurIPS 2024) benchmarks multimodal AI agents on 369 real desktop tasks across Ubuntu, Windows, and macOS — finding a 60-percentage-point gap between the best model (12.24%) and human performance (72.36%), with 75% of failures traced to visuomotor grounding errors rather than reasoning failures.
StructRAG (ICLR 2025) encamina cada consulta a un tipus d'estructura adequat per a la tasca —taula, graf, catàleg, algoritme o fragment— abans del raonament, obtenint 28 punts més que GraphRAG al benchmark Loong mentre s'executa 22 vegades més ràpid, amb l'encaminador entrenat amb DPO representant per si sol un guany de 15 punts en precisió.
Amb pressupostos iguals de tokens de reflexió, els LLM d'agent únic igualen o superen els sistemes multi-agent en raonament multi-salt—afavoriu dissenys d'agents financers més simples.
Self-RAG (ICLR 2024 Oral) entrena un model de llenguatge per decidir quan recuperar informació i després avaluar els seus propis resultats mitjançant quatre tokens de reflexió, assolint un 55,8% a PopQA i un 80,2 de FactScore en biografies, superant ChatGPT en cinc bancs de proves. L'anàlisi cobreix el mecanisme, els resultats d'ablació, els límits de reproductibilitat i les implicacions per als agents d'IA financera sobre llibres majors de Beancount.
AgentBench (Liu et al., ICLR 2024) avalua 27 LLMs en 8 entorns interactius — GPT-4 va obtenir 4,01 globalment enfront de 0,96 del millor model de codi obert. Els tres modes de fallada dominants (límit de tasca superat en el 67,9% de les fallades de grafs de coneixement, errors de format en el 53,3% de les fallades de bases de dades, i accions invàlides) es corresponen directament amb els riscos de desplegar un agent d'escriptura Beancount en un llibre major real.
Els nivells de memòria d'estil OS de MemGPT impulsen la precisió de xat multi-sessió de GPT-4 fins al 92.5% enfront del 32.1% de context fix — necessari per a agents de comptabilitat plurianuals.
