Fusion-in-Decoder: как поиск по нескольким отрывкам улучшает генеративные вопросно-ответные системы
FiD кодирует найденные пассажи отдельно и сливает их в декодере, превосходя RAG-Sequence на 4–11 баллов на NQ и TriviaQA — синтез, нужный леджеру.
Mike Thrift
Менеджер по маркетингу
GuardAgent: детерминированное обеспечение безопасности LLM-агентов через выполнение кода
GuardAgent обеспечивает соблюдение политик LLM-агентов, исполняя код на Python, достигая 98.7% точности без сбоев задач, против 81% и до 71% сбоев у правил в промптах.
Дебаты мультиагентных LLM: реальный прирост точности, неконтролируемые вычисления и коллективное заблуждение
Мультиагентные дебаты дали +14,8 балла в арифметике, но одиночные агенты с равным бюджетом не хуже. Это ограничивает дебаты как проверку перед проводкой.
LLM не подходят для прогнозирования временных рядов: что NeurIPS 2024 значит для ИИ в финансах
Абляция NeurIPS 2024: удаление LLM из Time-LLM и CALF повышает точность при ускорении обучения до 1,383×. Для финансового ИИ используйте специализированные модели.
AuditCopilot: LLM для обнаружения мошенничества в бухгалтерском учете с двойной записью
AuditCopilot снижает ложные срабатывания при выявлении мошенничества в проводках с 942 до 12, но абляция показывает, что LLM в основном синтезирует оценки Isolation Forest.
TAT-LLM: дообученная 7B LLaMA 2 обходит GPT-4 в фин. QA
TAT-LLM дообучает LLaMA 2 7B до 64,60% EM на FinQA, чуть обходя GPT-4 с 63,91%: конвейер извлечь-рассудить-вычислить даёт малой модели табличную арифметику.
Fine-tuning против RAG: почему поиск побеждает при внедрении новых знаний в LLM
RAG достигает точности 0.875 на фактах после cutoff, а дообучение упирается в 0.504. Для агентов, которым нужны частые обновления реестра, поиск лучше дообучения.
IRCoT: чередование поиска с цепочкой рассуждений для многоэтапных ответов на вопросы
IRCoT добавляет +11.3 полноты и +7.1 F1 на HotpotQA относительно одношагового RAG, обращаясь к поиску на каждом шаге рассуждения. Тогда модель 3B может превзойти GPT-3 175B.
FLARE: Активная генерация с расширенным поиском
FLARE достигает 51.0 EM на 2WikiMultihopQA против 39.4 у RAG с однократным поиском, но сбои калибровки в чат-моделях ограничивают его для финансовых агентов.
RAG: 44.5 EM на NQ — и почему бухгалтерские индексы устаревают
Льюис и др. достигли 44.5 EM на Natural Questions с замороженным индексом FAISS; для бухгалтерских книг Beancount это означает «переиндексация или промах», когда балансы меняются ежедневно.
MultiHiertt: бенчмаркинг численных рассуждений в иерархических финансовых таблицах
MultiHiertt показывает, что модели набирают 38% F1 против 87% у людей на 10,440 парах финансовых вопросов, с падением на 15 баллов на межтабличных вопросах.
ConvFinQA: модели отстают от экспертов на 21 пункт (68,9%)
Лучшая модель ConvFinQA достигает 68,9% точности выполнения против 89,4% у экспертов-людей — разрыв в 21 пункт, который многопоточный чат по бухгалтерии всё ещё преодолевает.