MemGPT: 92,5% de recall multi-sessão vs 32,1% de baseline
As camadas de memória estilo SO do MemGPT elevam a precisão do chat multi-sessão do GPT-4 para 92,5% contra 32,1% de contexto fixo—necessário para agentes de ledger plurianuais.
Mike Thrift
Gerente de marketing
SWE-agent: Como o Design de Interface Desbloqueia a Engenharia de Software Automatizada
As Agent-Computer Interfaces do SWE-agent elevaram o GPT-4 Turbo do shell bruto para 12,47% no SWE-bench, um ganho de 10,7 pontos só pelo design da interface.
SWE-bench: Modelos de Linguagem Conseguem Resolver Problemas Reais do GitHub?
O SWE-bench testa modelos de linguagem em 2.294 issues reais do GitHub; na publicação, o Claude 2 resolveu só 1,96%. Limites de recuperação e patch moldam agentes de código.
CodeAct: Por que Código Python Executável Torna Agentes de LLM 20% Mais Precisos
O CodeAct substitui chamadas de ferramentas em JSON por Python executável, elevando o sucesso do agente GPT-4 em ~20 pontos e cortando turnos em 30%.
Autocorreção: GPT-4 cai de 95,5% para 91,5% no GSM8K
Huang et al. (ICLR 2024): a autocorreção intrínseca reduz o GPT-4 de 95,5% para 91,5% no GSM8K—agentes contábeis precisam de validadores externos, não de auto-revisão.
Tree of Thoughts: Resolução Deliberada de Problemas com Busca de LLM
O Tree of Thoughts atinge 74% no Game of 24, onde o chain-of-thought do GPT-4 obtém 4%, buscando e retrocedendo passos, um padrão que agentes financeiros podem adotar.
CRITIC: Por que a Autocorreção de LLM Requer Feedback de Ferramentas Externas
O CRITIC eleva QA aberto em 7,7 de F1 e corta a toxicidade em 79,2% ao verificar revisões de LLM contra ferramentas externas, não contra si mesmo.
Reflexion: Agentes de Linguagem que Aprendem com Erros sem Retreinamento
Reflexion atinge 91% no HumanEval com GPT-4 sem atualizações de pesos, mas falha no WebShop. O reforço verbal precisa de um sinal claro do avaliador.
Autoconsistência: Amostragem por Voto Majoritário Melhora a Precisão do Chain-of-Thought
A autoconsistência vota por maioria entre muitos caminhos de raciocínio amostrados em vez de uma decodificação gulosa, somando 17,9 pontos no GSM8K sem treino extra.
PAL: +38pp em matemática difícil ao delegar aritmética ao Python
PAL ganha +38,1pp sobre chain-of-thought no GSM-hard ao executar Python para aritmética—a divisão certa para cálculos confiáveis no ledger Beancount.
LLMs Conseguem Raciocinar Sobre Dados Tabulares? O Que Quatro Benchmarks Nos Dizem Sobre IA nas Finanças
Quatro benchmarks mostram o GPT-4 com 42% em QA de tabelas reais contra 86% dos humanos, e 19,6% em agregações complexas, exigindo dados limpos.
IA Constitucional para Agentes Contábeis: RLAIF, Regras de Políticas e Riscos de Goodharting
A IA Constitucional substitui dados de dano rotulados manualmente por feedback de IA, permitindo que agentes contábeis apliquem regras de ledger sem um revisor por transação.