#technology
Investigación tecnológica e ingeniería de software relevante para sistemas de IA financiera
WildToolBench halla que ningún LLM supera el 15% de precisión por sesión en 1.024 tareas reales, con intención oculta y cambios de instrucción como peores fallos.
Los LLM puntúan hasta 20 puntos peor cuando la respuesta está en medio del contexto, así que RAG financiero debe poner los mejores pasajes primero o al final.
OSWorld halla que los agentes de escritorio de IA tienen éxito en 12.24% de tareas reales frente a 72.36% de humanos, con 75% de fallos visuomotores.
StructRAG dirige cada consulta a tabla, grafo, catálogo, algoritmo o fragmento, superando a GraphRAG por 28 puntos y 22× más rápido.
Con presupuestos de tokens de pensamiento iguales, los LLM de agente único igualan o superan a los sistemas multiagente en razonamiento de múltiples saltos—favoreciendo diseños de agentes financieros más simples.
Self-RAG entrena a un LLM para decidir cuándo recuperar y autoevaluar los resultados, alcanzando 55.8% en PopQA y 80.2 FactScore — superando a ChatGPT en cinco benchmarks.
AgentBench dio a GPT-4 4.01 frente a 0.96 del mejor LLM de código abierto. Esos fallos son justo lo que rompe a un agente de escritura Beancount en un libro real.
Los niveles de memoria tipo SO de MemGPT elevan la precisión de chat multi-sesión de GPT-4 al 92.5% frente al 32.1% de contexto fijo—necesario para agentes de contabilidad multi-anual.
