DIN-SQL: GPT-4 стрибає з 67,4% до 85,3% EX на Spider
DIN-SQL підвищує точність виконання GPT-4 на Spider з 67,4% до 85,3% через етапи зв'язування схеми та самокорекції — таке ж розкладання підходить для BQL у Beancount.
Mike Thrift
Менеджер з маркетингу
BIRD: GPT-4 досягає лише 54,89% точності виконання на реальних базах даних
На BIRD, GPT-4 досягає 54,89% точності виконання з підказками домену та 34,88% без них — розрив у 20 пунктів, який будь-який інтерфейс Beancount NL→BQL має подолати.
Перевірено безпечне використання інструментів для агентів LLM: STPA зустрічає MCP
STPA разом із розширеним MCP дає формальні специфікації безпеки для інструментів LLM, а Alloy доводить відсутність небезпечних потоків у кейсі з календарем.
GraphRAG: 72–83% переваг зникають після виправлення упередженості LLM-судді
GraphRAG від Microsoft фіксує 72–83% переваг у sensemaking над векторним RAG; аудит 2025 року зводить їх нанівець після виправлення упередженості судді — застереження для QA в багатодокументних бухгалтерських книгах.
FinAuditing: LLMs Score Under 14% on Real SEC XBRL Auditing Tasks
FinAuditing shows top LLMs hit just 13.86% on financial math verification of real SEC XBRL filings, capping what AI accounting tools can automate unaided.
InvestorBench: Qwen2.5-72B очолює акції з CR 46,15%
InvestorBench: Qwen2.5-72B лідирує в торгівлі акціями з CR 46,15%; фінансово налаштована Palmyra-Fin дає збій на акціях — розмір перемагає доменне налаштування.
StructRAG (ICLR 2025): Вибір правильної структури документа перевершує GraphRAG на 28 пунктів
StructRAG спрямовує кожен запит до структури таблиці, графа, каталогу, алгоритму чи фрагмента, перемагаючи GraphRAG на 28 пунктів і працюючи у 22× швидше.
Один агент: дорівнює MAS на багатокрокових завданнях за однакової кількості токенів
За однакового бюджету токенів мислення один агент LLM дорівнює або перевершує мультиагентні системи у багатокрокових міркуваннях — обирайте простіші дизайни фінансових агентів.
M3MAD-Bench: Чи справді багатоагентні дебати ефективні в різних доменах та модальностях?
M3MAD-Bench виявляє, що колективна омана спричиняє 65% невдач дебатів кількох агентів, а змагальні дебати знижують точність до 12.8%.
AGrail: Адаптивні захисні бар'єри для LLM-агентів, що навчаються в ході виконання завдань
Охорона AGrail з двох LLM знижує успішність атак через ін'єкцію підказок до 0%, зберігаючи 95.6% доброякісних дій агента на Safe-OS.
ShieldAgent: Верифіковане міркування щодо політики безпеки для агентів LLM
ShieldAgent дає 90,4% точності на атаках агентів і на 64,7% менше викликів API завдяки ймовірнісним схемам правил замість LLM-огорож.
Atlas: спільне попереднє навчання ретривера та рідера перевершує LLM з 540 млрд параметрів, маючи лише 11 млрд
Atlas дає 42,4% на Natural Questions із 64 прикладами, випереджаючи PaLM 540B на 3 пункти при 11 млрд параметрів завдяки спільному навчанню пошуковика й читача.