#analytics
Методы аналитики данных и метрики для финансовых ИИ-систем
Таксономия NAACL 2025 работает, но охват таблиц отсутствует. Командам финансового ИИ придётся самим адаптировать методы визуальных моделей.
Fin-RATE показывает, что точность LLM падает на 18,60% при лонгитюдном отслеживании, а узким местом является конвейер извлечения, а не модель.
LLM показывают до 20 баллов хуже, когда ответ стоит в середине контекста, поэтому финансовые RAG-конвейеры должны ставить лучшие пассажи в начало или конец.
AD-LLM обнаруживает, что GPT-4o достигает 0,93–0,99 AUROC в zero-shot для текстового обнаружения аномалий, но выбор модели LLM остаётся ненадёжным для ИИ финансового аудита.
τ-bench показывает, что лучшие LLM падают с pass@1 0,692 до pass@4 0,462 на розничных задачах. Агенты, пишущие в леджер, ждут тот же обрыв согласованности.
Лучшая модель ConvFinQA достигает 68,9% точности выполнения против 89,4% у экспертов-людей — разрыв в 21 пункт, который многопоточный чат по бухгалтерии всё ещё преодолевает.
FinanceBench тестирует 16 конфигураций ИИ на 10 231 вопросе по отчётам SEC: RAG с общим векторным хранилищем даёт лишь 19% верных ответов, значит поиск — не узкое место.
Self-consistency мажоритарно голосует по многим выборочным путям рассуждений вместо одной жадной декодировки, добавляя 17.9 балла на GSM8K без дополнительного обучения.
