#technology
Investigação tecnológica e engenharia de software para sistemas de IA financeira
O WildToolBench não encontra LLM acima de 15% de acurácia por sessão em 1.024 tarefas de usuários reais, com intenção oculta e transições de instrução como falhas mais agudas.
LLMs pontuam até 20 pontos pior quando a resposta fica no meio do contexto, então pipelines de RAG financeiro devem colocar os melhores trechos no início ou no fim.
O OSWorld mostra agentes de desktop acertando 12,24% das tarefas reais contra 72,36% dos humanos, com 75% das falhas vindo de ancoragem visuomotora.
O StructRAG roteia cada consulta para uma estrutura de tabela, grafo, catálogo, algoritmo ou chunk, superando o GraphRAG em 28 pontos e rodando 22× mais rápido.
Com orçamentos iguais de tokens de raciocínio, LLMs de agente único igualam ou superam sistemas multiagentes em raciocínio multi-hop—favorecendo designs de agentes financeiros mais simples.
O Self-RAG treina um LLM para decidir quando recuperar e autoavaliar resultados, atingindo 55,8% no PopQA e 80,2 de FactScore — superando o ChatGPT em cinco benchmarks.
O AgentBench pontuou o GPT-4 com 4,01 versus 0,96 do melhor LLM de código aberto. Essas falhas são exatamente o que quebra um agente de escrita em ledger Beancount ao vivo.
As camadas de memória estilo SO do MemGPT elevam a precisão do chat multi-sessão do GPT-4 para 92,5% contra 32,1% de contexto fixo—necessário para agentes de ledger plurianuais.
