#technology
Ricerca tecnologica e ingegneria del software per sistemi di IA finanziaria
WildToolBench rileva che nessun LLM supera il 15% di accuratezza di sessione su 1.024 task reali, con intenti nascosti e transizioni di istruzioni come fallimenti più acuti.
Gli LLM ottengono fino a 20 punti in meno quando la risposta è a metà contesto: le pipeline RAG finanziarie dovrebbero mettere i passaggi migliori all'inizio o alla fine.
OSWorld rileva che gli agenti AI desktop riescono sul 12,24% dei task reali contro il 72,36% umano, con il 75% dei fallimenti da grounding visuomotorio, non dal ragionamento.
StructRAG instrada ogni query verso tabella, grafo, catalogo, algoritmo o chunk, battendo GraphRAG di 28 punti e girando 22 volte più veloce.
Con budget di token di pensiero uguali, gli LLM single-agent eguagliano o superano i sistemi multi-agent nel ragionamento multi-hop—privilegia design di agenti finanziari più semplici.
Self-RAG addestra un LLM a decidere quando recuperare e autovalutare i risultati, raggiungendo il 55,8% su PopQA e 80,2 FactScore — superando ChatGPT su cinque benchmark.
AgentBench ha dato 4,01 a GPT-4 contro 0,96 al miglior LLM open-source. Quei fallimenti rompono un agente di write-back Beancount su un ledger attivo.
I livelli di memoria in stile OS di MemGPT portano l'accuratezza delle chat multi-sessione di GPT-4 al 92,5% contro il 32,1% del contesto fisso—necessario per agenti contabili pluriennali.
