Prompting de Cadeia de Pensamento (Chain-of-Thought): Trade-offs de Precisão e Recall para IA Financeira
O prompting de Cadeia de Pensamento eleva a precisão, mas reduz a revocação em eventos raros, fazendo agentes antifraude perder anomalias.
Registro de pesquisa
Experimentos e descobertas abertos do Bean Labs — a iniciativa de pesquisa Finance AI Agent da Beancount.io.
PHANTOM (NeurIPS 2025): Medindo a Detecção de Alucinações de LLMs em Documentos Financeiros
O PHANTOM (NeurIPS 2025) mede a detecção de alucinação em LLMs em documentos reais da SEC. O Qwen3-30B lidera com F1=0,882, mas modelos de 7B chutam quase aleatoriamente.
Benchmark FinMaster: Por que LLMs atingem 96% em alfabetização financeira, mas apenas 3% na geração de demonstrações
Benchmark FinMaster: os principais LLMs atingem 96% em alfabetização financeira, mas só 3% na geração de demonstrações. A propagação de erros custa 21 pontos em consultoria.
ReAct: Sinergia entre Raciocínio e Ação em Modelos de Linguagem
O ReAct intercala raciocínio e ações de ferramentas, vencendo o CoT puro em 34 pontos na verificação de fatos. Suas falhas moldam agentes que escrevem em ledgers Beancount.
Toolformer: Uso de Ferramentas Autossupervisionado e seus Limites para IA Financeira
O Toolformer ensina um modelo de 6,7B a chamar APIs via filtragem por perplexidade, superando o GPT-3 175B em aritmética. Seu design de passo único impede chamadas encadeadas.
FinBen: Avaliando LLMs em 36 Tarefas Financeiras — Implicações para IA de Contabilidade
O FinBen constata GPT-4 com 0,63 de exatidão no FinQA e 0,54 em previsão de ações, pouco acima do aleatório; agentes contábeis precisam de validação, não de matemática bruta.