#analytics
Методики аналітики даних і метрики для фінансових ШІ-систем
Таксономія NAACL 2025 залишається чинною, але табличні дані поза увагою. Командам фінансового AI доведеться самим адаптувати методи для vision-моделей.
Fin-RATE показує, що точність LLM обвалюється на 18,60% під час лонгітюдного відстеження, а вузьким місцем є конвеєр пошуку, а не модель.
LLM набирають до 20 балів менше, коли відповідь міститься в середині контексту, тож фінансові RAG-конвеєри мають розміщувати найкращі уривки першими або останніми.
AD-LLM виявляє, що GPT-4o досягає 0,93–0,99 AUROC у zero-shot для виявлення текстових аномалій, але вибір моделі LLM залишається ненадійним для ШІ фінансового аудиту.
τ-bench показує, що найкращі LLM падають з pass@1 0,692 до pass@4 0,462 на задачах роздрібних інструментів. Агенти із записом у реєстр мають ту саму прірву.
Найкраща модель ConvFinQA досягає 68.9% точності виконання проти 89.4% у людей-експертів — розрив у 21 пункт, який досі актуальний для багатоходового чату з бухгалтерською книгою.
FinanceBench тестує 16 AI-конфігурацій на 10 231 реальному питанні до звітів SEC: RAG зі спільним векторним сховищем дає лише 19% правильних, тож пошук не є вузьким місцем.
Self-consistency обирає більшістю голосів серед багатьох вибірок шляхів міркування замість одного жадібного декодування, додаючи 17.9 пункти на GSM8K без додаткового навчання.
