#technology
Recerca tecnològica i enginyeria de programari rellevants per a sistemes d'IA financera
WildToolBench troba que cap LLM supera el 15% de precisió de sessió en 1.024 tasques reals, amb la intenció oculta i les transicions d'instruccions com a fallades més agudes.
Els LLM puntuen fins a 20 punts pitjor quan la resposta és al mig del context, així que el RAG financer hauria de posar els millors passatges al principi o al final.
OSWorld finds desktop AI agents succeed on 12.24% of real tasks versus 72.36% for humans, with 75% of failures from visuomotor grounding, not reasoning.
StructRAG encamina cada consulta a una estructura de taula, graf, catàleg, algoritme o fragment, superant GraphRAG per 28 punts i executant-se 22× més ràpid.
Amb pressupostos iguals de tokens de reflexió, els LLM d'agent únic igualen o superen els sistemes multi-agent en raonament multi-salt—afavoriu dissenys d'agents financers més simples.
Self-RAG entrena un LLM per decidir quan recuperar i autoqualificar resultats, assolint el 55,8% a PopQA i 80,2 de FactScore — superant ChatGPT en cinc benchmarks.
AgentBench va puntuar GPT-4 amb 4.01 davant 0.96 del millor LLM obert. Aquestes fallades són les que trenquen un agent que escriu a Beancount en un llibre real.
Els nivells de memòria d'estil OS de MemGPT impulsen la precisió de xat multi-sessió de GPT-4 fins al 92.5% enfront del 32.1% de context fix — necessari per a agents de comptabilitat plurianuals.
