Менеджер по маркетингу
Гибридные вопросы таблиц и текста в TAT-QA показали, что узкое место финансового ИИ — привязка к данным, а не арифметика. Дообученные LLM 7B достигли 83% F1 к 2024 году.
FinQA выявил, что нейросети набрали 61% на математике по финансовым отчётам против 91% у экспертов, падая до 22% на программах из трёх и более шагов.
FinanceBench тестирует 16 конфигураций ИИ на 10 231 вопросе по отчётам SEC: RAG с общим векторным хранилищем даёт лишь 19% верных ответов, значит поиск — не узкое место.
Компилятор DSPy поднял Llama2-13b с 9,4% до 46,9% на GSM8K, направляя финансовые ИИ-конвейеры к поддерживаемым декларативным вызовам LLM.
LATS объединяет ReAct, Tree of Thoughts и Reflexion в одну структуру MCTS, достигая 92.7% pass@1 на HumanEval с GPT-4.
Self-RAG обучает LLM решать, когда извлекать данные, и самому оценивать результаты, достигая 55,8% на PopQA и 80,2 FactScore — превосходя ChatGPT на пяти бенчмарках.
Постоянная библиотека навыков кода Voyager обнаруживает в 3,3 раза больше предметов Minecraft, чем предыдущий SOTA без тонкой настройки — реестр повторного использования, необходимый агентам журнала.
Память HippoRAG на основе OpenIE+PageRank достигает 89,1% Recall@5 на 2WikiMultiHopQA против 68,2% ColBERTv2 — извлечение с учётом путей для многолетних журналов.
AgentBench оценил GPT-4 в 4,01 против 0,96 у лучшей открытой LLM. Именно такие сбои ломают агента записи в Beancount на живом ledger.
BloombergGPT обучен на 569 млрд финансовых токенов, но GPT-4 сравнялся с ним без финансового предобучения. Для бухгалтерских агентов инструменты важнее модели.
Диалог двух агентов AutoGen повышает точность на MATH с 55% до 69%, а его агент SafeGuard добавляет до 35 баллов F1 в обнаружении небезопасного кода.
Retriever-Aware Training в Gorilla снижает долю галлюцинаций API у LLM с 78% до 11%, делая вызовы инструментов достаточно надёжными для финансовых агентов, создающих проводки.
