#technology
Recherche technologique et sujets de génie logiciel pertinents pour les systèmes d'IA financière
WildToolBench : aucun LLM ne dépasse 15 % de précision par session sur 1 024 tâches réelles, l'intention cachée étant le pire échec.
Les LLM perdent jusqu'à 20 points quand la réponse se trouve au milieu du contexte ; les pipelines RAG financiers doivent placer les meilleurs passages au début ou à la fin.
OSWorld constate que les agents de bureau réussissent 12,24 % des tâches réelles contre 72,36 % pour les humains, 75 % des échecs venant de l'ancrage visuomoteur.
StructRAG oriente chaque requête vers une structure tableau, graphe, catalogue, algorithme ou segment, battant GraphRAG de 28 points et tournant 22× plus vite.
Avec des budgets de jetons de réflexion égaux, les LLM à agent unique égalent ou battent les systèmes multi-agents sur le raisonnement multi-sauts—privilégiez des conceptions d'agent financier plus simples.
Self-RAG entraîne un LLM à décider quand récupérer et à auto-évaluer les résultats, atteignant 55,8 % sur PopQA et 80,2 FactScore — battant ChatGPT sur cinq benchmarks.
AgentBench note GPT-4 4,01 contre 0,96 pour le meilleur LLM open source. Ces échecs sont exactement ce qui casse un agent d'écriture Beancount sur un grand livre en production.
Les niveaux de mémoire de type OS de MemGPT portent la précision du chat multi-session de GPT-4 à 92,5 % contre 32,1 % pour le contexte fixe — essentiel pour les agents de grand livre multi-années.
