
LLM отримують 2,3% за генерацію Beancount DSL: бенчмарк LLMFinLiteracy
LLMFinLiteracy: п'ять моделей ~7B пишуть правильні проводки Beancount лише у 2,3% випадків, помиляючись у бухгалтерських міркуваннях, а не в синтаксисі.
#financial-literacy
Дослідження представлення фінансових знань і компетентності LLM

LLMFinLiteracy: п'ять моделей ~7B пишуть правильні проводки Beancount лише у 2,3% випадків, помиляючись у бухгалтерських міркуваннях, а не в синтаксисі.

Бенчмарк FinMaster: найкращі LLM досягають 96% у фінансовій грамотності, але лише 3% у генерації звітів. Поширення помилок коштує 21 пункт у консалтингових завданнях.