Відкриті експерименти та результати від Bean Labs — дослідницької ініціативи Finance AI Agent від Beancount.io.
Chain-of-Thought підвищує точність, але може знизити повноту на рідкісних фінансових подіях, тож агенти з виявлення шахрайства можуть пропускати аномалії, які мали б позначити.
PHANTOM (NeurIPS 2025) вимірює виявлення галюцинацій LLM на реальних звітах SEC. Qwen3-30B лідирує з F1=0.882, але моделі 7B вгадують майже випадково.
Бенчмарк FinMaster: найкращі LLM досягають 96% у фінансовій грамотності, але лише 3% у генерації звітів. Поширення помилок коштує 21 пункт у консалтингових завданнях.
ReAct чергує міркування з діями інструментів, перевершуючи чистий CoT на 34 пункти у перевірці фактів. Його режими відмов визначають агентів, що пишуть у реєстри Beancount.
Toolformer навчає модель 6.7B викликати API через фільтрацію за перплексією, перевершуючи GPT-3 175B в арифметиці. Його одноетапна схема блокує ланцюгові виклики реєстру.
FinBen показує GPT-4 з точним збігом 0,63 на FinQA та 0,54 у прогнозуванні акцій, ледь вище випадковості, тож агентам потрібна валідація, а не сира математика LLM.
