#technology
Технологические исследования и разработка ПО для финансовых ИИ-систем
WildToolBench обнаруживает, что ни одна LLM не превышает 15% точности сессий на 1 024 задачах реальных пользователей; скрытые намерения и смена инструкций — худшие сбои.
LLM показывают до 20 баллов хуже, когда ответ стоит в середине контекста, поэтому финансовые RAG-конвейеры должны ставить лучшие пассажи в начало или конец.
OSWorld обнаруживает, что настольные ИИ-агенты справляются с 12,24% реальных задач против 72,36% у людей, причём 75% сбоев из-за зрительно-моторной привязки, а не рассуждений.
StructRAG направляет каждый запрос к таблице, графу, каталогу, алгоритму или структуре блоков, превосходя GraphRAG на 28 баллов и работая в 22 раза быстрее.
При равных бюджетах на токены мышления одностраничные LLM-агенты сравнимы или превосходят многоагентные системы в многошаговых рассуждениях — отдавайте предпочтение более простым конструкциям финансовых агентов.
Self-RAG обучает LLM решать, когда извлекать данные, и самому оценивать результаты, достигая 55,8% на PopQA и 80,2 FactScore — превосходя ChatGPT на пяти бенчмарках.
AgentBench оценил GPT-4 в 4,01 против 0,96 у лучшей открытой LLM. Именно такие сбои ломают агента записи в Beancount на живом ledger.
OS-стиль памяти MemGPT повышает точность многосеансового чата GPT-4 до 92.5% против 32.1% фиксированного контекста — необходимо для многолетних агентов учета.
