O EnterpriseArena submete 11 LLMs a uma simulação de CFO de 132 meses, monitorando sobrevivência, avaliação terminal e taxas de fechamento de livros. Apenas o Qwen3.5-9B sobrevive a 80% das execuções; GPT-5.4 e DeepSeek-V3.1 chegam a 0%. Especialistas humanos alcançam 100% de sobrevivência com 5x o valor terminal. O gargalo crítico é que as LLMs ignoram a reconciliação do razão 80% das vezes, agindo com base em estados financeiros obsoletos.
O InvestorBench (ACL 2025) testa 13 backbones de LLM em negociações retroativas (backtested) de ações, cripto e ETFs usando retorno acumulado e índice de Sharpe — não precisão de QA. O Qwen2.5-72B lidera o ranking de ações com 46,15% de CR; modelos ajustados para finanças falham em ações. O tamanho do modelo prevê o desempenho de forma mais confiável do que o ajuste fino de domínio.
Um artigo Spotlight do NeurIPS 2024 analisa três métodos de previsão de séries temporais baseados em LLM — OneFitsAll, Time-LLM e CALF — e descobre que a remoção do modelo de linguagem melhora a precisão na maioria dos casos, com uma aceleração de treinamento de até 1.383×. Para aplicações de IA financeira, como a previsão de saldo no Beancount, modelos leves e dedicados superam consistentemente os LLMs adaptados.
O FinBen avalia 15 LLMs em 36 conjuntos de dados financeiros no NeurIPS 2024, descobrindo que o GPT-4 atinge 0,63 de Correspondência Exata em QA numérico e 0,54 na previsão de movimentação de ações — próximo ao acaso. Aqui está o que esses números significam para a construção de um agente de contabilidade confiável em um livro razão Beancount.
