Открытые эксперименты и результаты Bean Labs — исследовательской инициативы Finance AI Agent от Beancount.io.
Chain-of-Thought повышает точность, но может снижать полноту на редких финансовых событиях, поэтому агенты по мошенничеству могут пропускать аномалии, которые должны отмечать.
PHANTOM (NeurIPS 2025) измеряет обнаружение галлюцинаций LLM на реальных отчётах SEC. Qwen3-30B лидирует с F1=0,882, но модели на 7B угадывают почти случайно.
FinMaster Benchmark: лучшие LLM достигают 96% в финансовой грамотности, но лишь 3% в генерации отчётов. Распространение ошибок стоит 21 пункт на консультационных задачах.
ReAct чередует рассуждение с действиями инструментов, превосходя чистый CoT на 34 пункта в проверке фактов. Его режимы отказа определяют агентов, пишущих в ledger Beancount.
Toolformer учит модель 6.7B вызывать API через фильтрацию по перплексии, обходя GPT-3 175B в арифметике. Одношаговая схема мешает цепочкам вызовов в леджере.
FinBen выявил у GPT-4 точное совпадение 0,63 на FinQA и 0,54 в прогнозе акций, едва выше случайного, поэтому бухгалтерским агентам нужна валидация, а не сырая математика LLM.
