Quando pergunto o que um agente de write-back Beancount realmente precisa fazer de forma confiável, a resposta não é "gerar texto" — é "executar uma sequência de ações em um ambiente estruturado sem sair dos trilhos." O AgentBench (Liu et al., Tsinghua, ICLR 2024) é uma das primeiras tentativas sérias de medir essa capacidade em escala, e o retrato de 2023 ainda guarda lições que valem a pena extrair.
O artigo
O AgentBench, de Xiao Liu e 21 coautores da Universidade de Tsinghua, define oito ambientes projetados para testar LLMs como agentes interativos, e não como geradores passivos de texto. Cinco ambientes são originais: SO (interação com bash), Banco de Dados (geração de SQL e recuperação de erros), Grafo de Conhecimento (consultas estruturadas baseadas em ferramentas), Jogo de Cartas Digital (competição estratégica multirodada) e Quebra-cabeças de Pensamento Lateral (diálogo dedutivo). Três são adaptados de conjuntos de dados anteriores: House-Holding do ALFWorld, Web Shopping do WebShop e Web Browsing do Mind2Web. O artigo avalia 27 modelos — modelos comerciais de API e modelos de código aberto de até 70B — em aproximadamente 4.000 gerações no split de desenvolvimento e 13.000 no split de teste, e relata tanto as taxas de sucesso por ambiente quanto uma pontuação geral composta.
Ideias-chave
- O GPT-4 lidera com uma pontuação geral de 4,01. O Claude-2 pontua 2,49, e o GPT-3.5-turbo 2,32. O CodeLlama-34B, o modelo de código aberto mais forte no momento da submissão, pontua apenas 0,96. Os modelos de API têm média de 2,24 versus 0,42 para os modelos de código aberto.
- O GPT-4 pontua 42,4% no SO, 32,0% em Banco de Dados e 78,0% em House-Holding — a variação mostra quais ambientes recompensam o seguimento de instruções versus o raciocínio estruturado.
- "Limite de Tarefa Excedido" é o modo dominante de falha: 67,9% das falhas no Grafo de Conhecimento esgotam o orçamento de passos antes de resolver a tarefa. Isso é uma falha de raciocínio de longo horizonte, não um déficit de conhecimento.
- Erros de conformidade de formato respondem por 53,3% das falhas em Banco de Dados — o agente produz SQL sintaticamente inválido ou envolve consultas em prosa que o avaliador não consegue analisar.
- A seleção de ações inválidas impulsiona 64,1% das falhas em House-Holding — o agente nomeia uma ação indisponível no estado atual.
- O treinamento em código tem "efeitos contraditórios entre tarefas": ele ajuda em ambientes de seguimento de procedimentos, mas pode prejudicar o raciocínio geral em ambientes com forte diálogo.
O que se sustenta — e o que não se sustenta
A escolha central de design — avaliação interativa, multiambiente e multitorneio — está certa e ainda é subutilizada. A maioria dos benchmarks de LLM ainda mede a qualidade de geração em um único turno; o AgentBench insiste corretamente que os agentes devem continuar tomando decisões até que a tarefa seja concluída ou o orçamento se esgote.
Dito isso, o retrato está datado de maneiras que importam. A lacuna entre GPT-4 (4,01) e o melhor modelo de código aberto (0,96) parecia alarmante em meados de 2023, mas em 2025 ela foi amplamente fechada. Modelos como Llama 3.1 70B ou Qwen 2.5 72B agora superam obstáculos de seguimento de instruções e conformidade de formato que eram novidades há dois anos. Ler o artigo como "código aberto não consegue fazer tarefas de agente" seria um erro; lê-lo como "conformidade de formato e consistência de longo horizonte são os problemas difíceis" continua correto.
Há também uma compensação entre amplitude e profundidade. Oito ambientes parecem abrangentes, mas cada um é relativamente raso. O WebArena (Zhou et al., 2024) cobre 812 tarefas modeladas de longo horizonte apenas para navegação web; o OSWorld (Xie et al., 2024) avalia 369 tarefas reais de desktop no Ubuntu e no Windows. O AgentBench pode dar um sinal entre ambientes, mas não substitui um benchmark específico de domínio quando você sabe em qual ambiente se importa.
A taxonomia de modos de falha na Tabela 4 é provavelmente a contribuição mais duradoura. Os autores dividem as falhas em limite de tarefa excedido, erro de formato, ação inválida e algumas outras. Elas não são bugs de implementação — são fraquezas estruturais na forma como os LLMs mantêm estado, rastreiam ações disponíveis e produzem saída analisável sob pressão multiturno. Qualquer sistema de agente sério tem que lidar com elas.
Por que isso importa para IA financeira
Os três modos dominantes de falha se mapeiam quase diretamente para o que eu esperaria quebrar em um agente de write-back Beancount.
Limite de Tarefa Excedido é o modo de falha de reconciliação de livro-razão. Fechar um período em várias contas significa verificar saldos iniciais, conciliar débitos e créditos, identificar discrepâncias e propor correções — uma cadeia que facilmente chega a 10–20 passos. Um agente que esgota um orçamento de contexto ou passos no meio da cadeia e desiste não apenas falha graciosamente; ele pode deixar o livro-razão em um estado parcialmente modificado.
Erro de Formato é o modo de falha de lançamento de transações. O Beancount tem sintaxe estrita: um lançamento malformado (moeda ausente, indentação errada, flag inválida) é um erro de parser que corrompe o arquivo. Um agente que gera prosa em volta de sua saída Beancount, ou produz sintaxe com aparência correta no formato errado, é inútil. Este é o problema central do artigo do CRITIC aplicado a um domínio mais estrito.
Ação Inválida é o problema de segurança do write-back. Um agente Beancount operando em um livro-razão real tem um conjunto limitado de operações seguras: anexar uma transação, corrigir uma flag, mover um lançamento. Alucinar uma ação fora desse conjunto — por exemplo, excluir uma conta que ainda tem posições em aberto — é uma falha de correção que pode não vir à tona até uma auditoria.
A descoberta de que "o treinamento em código tem efeitos contraditórios" também é relevante. O write-back Beancount está mais próximo de geração de código do que de recuperação de conhecimento, então um modelo pré-treinado em código deveria ser um ajuste natural. Mas se o treinamento em código prejudica o seguimento de diálogo em configurações multiturno, uma avaliação híbrida como a do AgentBench é necessária para trazer à tona essas compensações antes da implantação.
O que ler a seguir
- WebArena (Zhou et al., 2024; arXiv:2307.13854) — 812 tarefas de navegação web em um ambiente de navegador ao vivo; o seguimento mais profundo do nível web do AgentBench.
- OSWorld (Xie et al., 2024; NeurIPS 2024) — benchmark completo de ambiente de desktop, incluindo tarefas de sistema de arquivos e GUI; o ambiente SO do OSWorld é um sucessor direto e mais profundo do nível SO do AgentBench.
- TAU-bench (Yao et al., 2024) — avalia agentes em ambientes de API de varejo e companhias aéreas com uso real de ferramentas e simulação de usuário; o benchmark publicado mais próximo de tratar um livro-razão Beancount como um ambiente.
