#automation
Методы и инструменты автоматизации обработки финансовых данных
Только Qwen3.5-9B выдерживает 80% из 132-месячных прогонов CFO в EnterpriseArena, а GPT-5.4 и DeepSeek-V3.1 достигают 0%. Причина сбоев — пропущенная сверка регистра.
WildToolBench обнаруживает, что ни одна LLM не превышает 15% точности сессий на 1 024 задачах реальных пользователей; скрытые намерения и смена инструкций — худшие сбои.
JSONSchemaBench обнаруживает, что покрытие падает с 86% на простых схемах до 3% на сложных, поэтому структурный вывод LLM может незаметно выдавать несоответствующий JSON.
FinMCP-Bench: лучший из шести LLM даёт лишь 3,08% точных совпадений на 613 реальных финансовых задачах MCP — падение в 20 раз от одного инструмента к многошаговым.
FinTrace: передовые LLM выбирают нужные финансовые инструменты (F1 ~0,9), но получают лишь 3,23/5 за использование результатов — именно здесь ломаются агенты с записью.
FinToolBench обнаруживает несоответствие намерений выше 50% у всех протестированных LLM, значит частое использование инструментов не даёт лучших ответов в финансах.
OmniEval оценивает лучшие RAG-системы в 36% числовой точности по 5 типам финансовых задач, поэтому агентам-регистраторам нужна валидация до записи проводок.
Вычитание позиционного смещения из весов внимания LLM возвращает до 15 пунктов точности RAG, когда доказательства в середине контекста, помогая конвейерам финансовых агентов.
ReDAct переходит от малой модели к большой только когда перплексия сигнализирует о неопределённости, снижая затраты на 64% при той же точности для рабочих процессов агентов.
Агент CodeAct от OpenHands набирает 26% на SWE-Bench Lite, показывая, что ИИ-агенты умеют надёжно сегодня. Автоматизацию финансов стоит начинать узко, а не автономно.
TableMaster достигает 78,13% на WikiTQ с GPT-4o-mini, на 13 пунктов выше Chain-of-Table, через table-of-focus плюс адаптивные рассуждения для агентов над регистрами Beancount.
GPT-4 достигает среднего AUROC 74,1 на ODDS в режиме zero-shot, близко к базовой линии ECOD 75,5, но проваливается на данных с высокой дисперсией. Аудит регистра ещё не решён.
