DIN-SQL: GPT-4 улучшает точность на Spider с 67,4% до 85,3%
DIN-SQL повышает точность выполнения GPT-4 на Spider с 67,4% до 85,3% за счет этапов связывания схемы и самокоррекции — та же декомпозиция применима к BQL в Beancount.
Mike Thrift
Менеджер по маркетингу
BIRD: GPT-4 достигает лишь 54,89% точности выполнения на реальных базах данных
На BIRD GPT-4 достигает 54,89% точности выполнения с подсказками по домену и 34,88% без них — разрыв в 20 пунктов, который должен закрыть любой интерфейс Beancount NL→BQL.
Верифицируемо безопасное использование инструментов LLM-агентами: STPA встречает MCP
STPA вместе с расширенным MCP даёт формальные спецификации безопасности для инструментов LLM, а Alloy доказывает отсутствие небезопасных потоков в примере с календарём.
GraphRAG: 72–83% побед исчезают после исправления смещения LLM-судьи
GraphRAG от Microsoft показывает 72–83% преимуществ в осмыслении над векторным RAG; аудит 2025 года их устраняет после исправления смещения судьи — осторожность для QA в многодокументных бухгалтерских книгах.
FinAuditing: LLMs Score Under 14% on Real SEC XBRL Auditing Tasks
FinAuditing shows top LLMs hit just 13.86% on financial math verification of real SEC XBRL filings, capping what AI accounting tools can automate unaided.
InvestorBench: Qwen2.5-72B занимает первое место по акциям с CR 46,15%
InvestorBench: Qwen2.5-72B лидирует в торговле акциями с CR 46,15%; финансово настроенная Palmyra-Fin дает обратный эффект на акциях — размер превосходит отраслевую тонкую настройку.
StructRAG (ICLR 2025): выбор правильной структуры документа превосходит GraphRAG на 28 пунктов
StructRAG направляет каждый запрос к таблице, графу, каталогу, алгоритму или структуре блоков, превосходя GraphRAG на 28 баллов и работая в 22 раза быстрее.
Single-Agent: сравнение с MAS на многошаговых задачах при равном количестве токенов
При равных бюджетах на токены мышления одностраничные LLM-агенты сравнимы или превосходят многоагентные системы в многошаговых рассуждениях — отдавайте предпочтение более простым конструкциям финансовых агентов.
M3MAD-Bench: Действительно ли многоагентные дебаты эффективны в различных областях и модальностях?
M3MAD-Bench обнаруживает, что коллективная иллюзия вызывает 65% неудач дебатов мультиагентов, а состязательные дебаты снижают точность до 12.8%.
AGrail: адаптивные защитные барьеры для LLM-агентов с обучением на разных задачах
Ограждение AGrail на двух LLM снижает успех атак через промпт-инъекции до 0%, сохраняя 95.6% доброкачественных действий агента на Safe-OS.
ShieldAgent: Верифицируемое обоснование политик безопасности для LLM-агентов
ShieldAgent достигает 90.4% точности на атаках агентов при 64.7% меньшем числе вызовов API, используя вероятностные схемы правил вместо LLM-ограждений.
Atlas: совместное преобучение ретривера и ридера превосходит LLM с 540 млрд параметров, используя лишь 11 млрд
Atlas достигает 42.4% точности на Natural Questions с 64 примерами, обходя PaLM 540B на 3 пункта при 11B параметров благодаря совместному предобучению извлекателя и читателя.