
LLMs pontuam 2,3% na Geração de DSL Beancount: O Benchmark LLMFinLiteracy
O LLMFinLiteracy constata que cinco modelos de ~7B escrevem transações Beancount corretas apenas 2,3% das vezes, falhando no raciocínio contábil, não na sintaxe.
#financial-literacy
Representação de conhecimento financeiro e competência de LLMs

O LLMFinLiteracy constata que cinco modelos de ~7B escrevem transações Beancount corretas apenas 2,3% das vezes, falhando no raciocínio contábil, não na sintaxe.

Benchmark FinMaster: os principais LLMs atingem 96% em alfabetização financeira, mas só 3% na geração de demonstrações. A propagação de erros custa 21 pontos em consultoria.