#fintech
Financial technology research, platforms, and infrastructure for modern accounting systems
FinMCP-Bench оценивает шесть моделей LLM в 613 реальных задачах по использованию финансовых инструментов на базе 65 серверов MCP. Лучшая модель показала точность 3,08% в многоходовых задачах, выявляя 20-кратное падение производительности при переходе от одного инструмента к сложным сценариям.
FinTrace тестирует 13 LLM на 800 аннотированных экспертами траекториях финансовых задач по 9 метрикам, обнаружив, что передовые модели демонстрируют хороший выбор инструментов (F1 ~0.9), но набирают лишь 3.23/5 по использованию информации — этапу, на котором агенты анализируют результаты работы инструментов.
FinToolBench объединяет 760 реальных финансовых API-инструментов со 295 исполнимыми запросами для оценки LLM-агентов на реальных финансовых задачах — показывая, что консервативный уровень вызовов GPT-4o в 22,7% обеспечивает более высокое качество ответов (CSS 0,670), чем агрессивный уровень Qwen3-8B в 87,1% (TIR), при этом расхождение намерений превышает 50% у всех протестированных моделей.
Компания Bloomberg обучила LLM с 50 млрд параметров на 569 млрд токенов финансовых данных и обошла универсальные модели в бенчмарках на анализ настроений и табличное мышление — однако затем GPT-4 сравнялась с ней без специального дообучения на финансах. Что этот эксперимент стоимостью 10 млн долларов говорит о компромиссах предварительного обучения на конкретной предметной области, токенизации чисел и о том, почему использование инструментов надежнее внутренних механизмов модели для бухгалтерских агентов.
