FinRAGBench-V: мультимодальный RAG с визуальными цитатами в финансовой сфере
FinRAGBench-V: лучшие модели дают лишь 20–61% полноты цитирования на уровне блоков на финансовых страницах. Мультимодальный поиск лучше текстового почти на 50 пунктов.
#data-science
Наука о данных
Методы науки о данных для финансовых наборов данных и бухгалтерских процессов
WildToolBench: Почему ни одна LLM не превышает 15% точности сессии в реальных сценариях использования инструментов
WildToolBench обнаруживает, что ни одна LLM не превышает 15% точности сессий на 1 024 задачах реальных пользователей; скрытые намерения и смена инструкций — худшие сбои.
Уверенность и калибровка LLM: обзор того, что на самом деле показывают исследования
Вербализованная уверенность GPT-4 даёт лишь ~62,7% AUROC — едва выше случайности. Финансовым агентам нужна лучшая калибровка.
FinToolBench: Оценка LLM-агентов на реальном использовании финансовых инструментов
FinToolBench обнаруживает несоответствие намерений выше 50% у всех протестированных LLM, значит частое использование инструментов не даёт лучших ответов в финансах.
OmniEval: Всенаправленный бенчмарк для оценки RAG в финансовой сфере
OmniEval оценивает лучшие RAG-системы в 36% числовой точности по 5 типам финансовых задач, поэтому агентам-регистраторам нужна валидация до записи проводок.
Обзор методов обнаружения аномалий с помощью LLM (NAACL 2025): сильная таксономия, отсутствие охвата табличных данных
Таксономия NAACL 2025 работает, но охват таблиц отсутствует. Командам финансового ИИ придётся самим адаптировать методы визуальных моделей.
Найдено посередине: калибровка позиционного смещения внимания улучшает RAG с длинным контекстом
Вычитание позиционного смещения из весов внимания LLM возвращает до 15 пунктов точности RAG, когда доказательства в середине контекста, помогая конвейерам финансовых агентов.
Fin-RATE: Как LLM терпят неудачу в кросс-периодном и кросс-субъектном финансовом анализе
Fin-RATE показывает, что точность LLM падает на 18,60% при лонгитюдном отслеживании, а узким местом является конвейер извлечения, а не модель.
FinDER: реальные запросы аналитиков выявили 74%-ный разрыв в полноте поиска для финансовых RAG-систем
На 5 703 реальных запросах аналитиков FinDER показывает, что лучший RAG находит лишь 25,95% доказательств из 10-K. Сначала нормализуйте сокращения, потом меняйте эмбеддинги.
Затерянные посередине: позиционное смещение в LLM и его влияние на финансовый ИИ
LLM показывают до 20 баллов хуже, когда ответ стоит в середине контекста, поэтому финансовые RAG-конвейеры должны ставить лучшие пассажи в начало или конец.
Бенчмарк AD-LLM: GPT-4o достигает 0,93+ AUROC в режиме Zero-Shot для обнаружения текстовых аномалий
AD-LLM обнаруживает, что GPT-4o достигает 0,93–0,99 AUROC в zero-shot для текстового обнаружения аномалий, но выбор модели LLM остаётся ненадёжным для ИИ финансового аудита.
CausalTAD: каузальное упорядочивание столбцов для обнаружения аномалий в табличных данных с помощью LLM
CausalTAD переупорядочивает столбцы таблицы по причинной зависимости перед сериализацией для LLM, повышая средний AUC-ROC с 0,803 до 0,834 относительно AnoLLM.