Менеджер по маркетингу
Архитектура FiD от Izacard и Grave независимо кодирует найденные отрывки, а затем объединяет их в декодере, превосходя RAG-Sequence на 4–11 пунктов в тестах NQ и TriviaQA. В этом посте рассматривается архитектура и её значение для QA по гроссбухам Beancount, где синтез данных из множества записей транзакций является нормой.
GuardAgent (ICML 2025) размещает отдельного LLM-агента между целевым агентом и его средой, проверяя каждое предложенное действие путем генерации и выполнения кода на Python — достигая точности соблюдения политик в 98,7% при сохранении 100% завершаемости задач, по сравнению с 81% точности и 29–71% отказов при использовании правил безопасности, встроенных в промпт.
Подробный разбор статьи Ду и др. на ICML 2024 о мультиагентных дебатах, в которой сообщается о росте точности в арифметике на 14,8 пункта, наряду с опровержениями 2025 года, показывающими сопоставимые результаты одиночных агентов при равном бюджете, а также анализ того, почему коллективное заблуждение (65% неудач дебатов) создает специфические риски для коммитов в книгу учета с помощью ИИ.
В статье NeurIPS 2024 Spotlight исследуются три метода прогнозирования на базе LLM — OneFitsAll, Time-LLM и CALF. Исследование показало, что удаление языковой модели улучшает точность в большинстве случаев и ускоряет обучение до 1383 раз. Для финансовых приложений, таких как прогнозирование баланса Beancount, легкие специализированные модели стабильно превосходят адаптированные LLM.
AuditCopilot применяет LLM с открытым исходным кодом (Mistral-8B, Gemma, Llama-3.1) для обнаружения мошенничества в корпоративных журнальных проводках, сокращая количество ложноположительных результатов с 942 до 12. Однако абляционное исследование показывает, что LLM функционирует в первую очередь как уровень синтеза поверх оценок Isolation Forest, а не как независимый детектор аномалий.
TAT-LLM выполняет тонкую настройку LLaMA 2 7B с помощью LoRA на бенчмарках QA для финансовых таблиц и текстов, достигая 64,60% EM на FinQA и превосходя GPT-4 (63,91%). Это достигается путем декомпозиции рассуждений на детерминированные этапы «Извлечение-Рассуждение-Выполнение», что устраняет арифметические ошибки.
Эмпирическое сравнение RAG и неконтролируемого дообучения на моделях LLM с 7 млрд параметров показывает, что RAG достигает точности 0,875+ на фактах после даты отсечки обучения, в то время как дообучение останавливается на уровне 0,504. Это имеет прямое значение для проектирования агентов Beancount и любых систем, требующих частого обновления знаний.
IRCoT чередует поиск BM25 с каждым этапом цикла рассуждений «цепочка мыслей», достигая +11,3 к полноте поиска и +7,1 к F1 на HotpotQA по сравнению с одноэтапным RAG — и показывает, что модель 3B может превзойти GPT-3 175B при правильной стратегии поиска.
FLARE (EMNLP 2023) улучшает стандартный RAG, инициируя поиск в середине процесса генерации на основе порогов вероятности токенов. Он достигает 51,0 EM на 2WikiMultihopQA против 39,4 при однократном поиске, однако ошибки калибровки в моделях, настроенных на следование инструкциям, ограничивают его надежность для финансовых агентов.
Льюис и др. достигли 44.5 EM на Natural Questions с замороженным индексом FAISS; для бухгалтерских книг Beancount это означает «переиндексация или промах», когда балансы меняются ежедневно.
MultiHiertt (ACL 2022) представляет 10 440 пар вопросов и ответов из реальных финансовых отчетов, содержащих в среднем 3,89 иерархических таблиц; современные модели показывают результат 38% F1 против 87% у людей, со штрафом в 15 пунктов для вопросов по нескольким таблицам — это количественно оценивает разрыв в поиске данных, который должен преодолеть ИИ в финансах.
Лучшая модель ConvFinQA достигает 68,9% точности выполнения против 89,4% у экспертов-людей — разрыв в 21 пункт, который многопоточный чат по бухгалтерии всё ещё преодолевает.
