Seu agente consegue equilibrar estes livros?
Uma execução de agente reconciliou um livro-razão de três linhas com 2958,50 USD e 1958,50 USD de lucro de setembro, recuperando-se de uma falha.
#plain-text-accounting
Contabilidade em Texto Simples
Investigação baseada em formatos e fluxos de trabalho de contabilidade em texto simples
Diferimento Ciente de Incerteza para Agentes LLM: Quando Escalar de Modelos Pequenos para Grandes
O ReDAct transfere de um modelo pequeno para um grande só quando a perplexidade sinaliza incerteza, cortando o custo em 64% com acurácia equivalente em fluxos de agentes.
OpenHands: Plataforma Aberta para Agentes de Software de IA e o que Isso Significa para a Automação Financeira
O agente CodeAct do OpenHands pontua 26% no SWE-Bench Lite, mostrando o que agentes fazem de confiável hoje. Automação financeira deve começar restrita.
LLMs pontuam 2,3% na Geração de DSL Beancount: O Benchmark LLMFinLiteracy
O LLMFinLiteracy constata que cinco modelos de ~7B escrevem transações Beancount corretas apenas 2,3% das vezes, falhando no raciocínio contábil, não na sintaxe.
TableMaster: Raciocínio Adaptativo para Compreensão de Tabelas com LLMs
O TableMaster atinge 78,13% no WikiTQ com o GPT-4o-mini, 13 pontos acima do Chain-of-Table, via table-of-focus e raciocínio adaptativo para agentes sobre livros Beancount.
τ²-bench: Medindo o Custo do Controle Duplo em Agentes de IA Conversacionais
O τ²-bench mostra que usuários ativos com suas ferramentas cortam o sucesso de agentes em 18–25 pontos. Agentes Beancount perdem igual.
Benchmark GAIA: Medindo o Que os Agentes de IA de Fronteira Realmente Conseguem Fazer
As 466 tarefas do GAIA mostram agentes de IA de fronteira em 74,55% contra 92% dos humanos, com a coordenação de Nível 3 ainda sendo a lacuna mais difícil de fechar.
WorkArena: Como Agentes Web de LLM se Comportam em Trabalho de Conhecimento Empresarial Real
As 33 tarefas ServiceNow do WorkArena mostram o GPT-4o com 42,7% no geral, mas 0% em filtros de lista, uma barreira que a interação estruturada com UI precisa vencer.
τ-bench: Medindo a Confiabilidade de Agentes de IA em Domínios de Uso de Ferramentas no Mundo Real
O τ-bench mostra LLMs top caindo de pass@1 0,692 para pass@4 0,462 em ferramentas de varejo. Agentes de escrita enfrentam o mesmo abismo.
Chain-of-Table: Evoluindo Tabelas na Cadeia de Raciocínio de LLMs
O Chain-of-Table atinge 67,31% no WikiTQ contra 61,48% do chain-of-thought puramente textual, e lidera por 10,25 pontos em tabelas com mais de 4.000 tokens.
TableLlama: Pode um Modelo Aberto de 7B Igualar o GPT-4 na Compreensão de Tabelas?
O TableLlama supera o GPT-4 na anotação de tipos de coluna (F1 94 vs 32), mas fica 33 pontos atrás no raciocínio composicional do WikiTQ.
TAPAS: Table QA Fracamente Supervisionado Sem SQL, e o Que Isso Significa para o Beancount
O TAPAS responde perguntas sobre tabelas selecionando células, nunca gerando SQL. Ele se adequa a consultas pequenas de ledger Beancount, mas quebra em escala.