DIN-SQL: GPT-4 стрибає з 67,4% до 85,3% EX на Spider
DIN-SQL підвищує точність виконання GPT-4 на Spider з 67,4% до 85,3% через етапи зв'язування схеми та самокорекції — таке ж розкладання підходить для BQL у Beancount.
Mike Thrift
Менеджер з маркетингу
BIRD: GPT-4 досягає лише 54,89% точності виконання на реальних базах даних
На BIRD, GPT-4 досягає 54,89% точності виконання з підказками домену та 34,88% без них — розрив у 20 пунктів, який будь-який інтерфейс Beancount NL→BQL має подолати.
Перевірено безпечне використання інструментів для агентів LLM: STPA зустрічає MCP
Дослідники з CMU та Університету штату Північна Кароліна пропонують використовувати системно-теоретичний аналіз процесів (STPA) та розширений протокол контексту моделі (MCP) для отримання формальних специфікацій безпеки для використання інструментів агентами LLM, а верифікація на основі Alloy демонструє відсутність небезпечних потоків у тематичному дослідженні планування календаря.
GraphRAG: 72–83% переваг зникають після виправлення упередженості LLM-судді
GraphRAG від Microsoft фіксує 72–83% переваг у sensemaking над векторним RAG; аудит 2025 року зводить їх нанівець після виправлення упередженості судді — застереження для QA в багатодокументних бухгалтерських книгах.
FinAuditing: LLMs Score Under 14% on Real SEC XBRL Auditing Tasks
FinAuditing tests 13 LLMs zero-shot on 1,102 real SEC XBRL filing instances; top scores are 13.86% on financial math verification and 12.42% on concept retrieval—results that directly bound what AI accounting tools can be trusted to automate without external tooling.
InvestorBench: Qwen2.5-72B очолює акції з CR 46,15%
InvestorBench: Qwen2.5-72B лідирує в торгівлі акціями з CR 46,15%; фінансово налаштована Palmyra-Fin дає збій на акціях — розмір перемагає доменне налаштування.
StructRAG (ICLR 2025): Вибір правильної структури документа перевершує GraphRAG на 28 пунктів
StructRAG (ICLR 2025) спрямовує кожен запит до відповідного типу структури — таблиці, графа, каталогу, алгоритму або фрагмента — перед етапом міркування, показуючи результат на 28 пунктів вище за GraphRAG у бенчмарку Loong, працюючи при цьому у 22 рази швидше, причому лише маршрутизатор, навчений за допомогою DPO, забезпечує приріст точності у 15 пунктів.
Один агент: дорівнює MAS на багатокрокових завданнях за однакової кількості токенів
За однакового бюджету токенів мислення один агент LLM дорівнює або перевершує мультиагентні системи у багатокрокових міркуваннях — обирайте простіші дизайни фінансових агентів.
M3MAD-Bench: Чи справді багатоагентні дебати ефективні в різних доменах та модальностях?
M3MAD-Bench проводить стрес-тестування багатоагентних дебатів на прикладі 9 моделей, 5 доменів та візуально-мовних налаштувань, виявивши, що колективна омана спричиняє 65% невдач, змагальні дебати знижують точність до 12,8%, а метод Self-Consistency зазвичай відповідає точності дебатів при менших витратах токенів.
AGrail: Адаптивні захисні бар'єри для LLM-агентів, що навчаються в ході виконання завдань
AGrail (ACL 2025) представляє кооперативний захисний бар'єр на основі двох LLM, який адаптує перевірки безпеки під час виведення за допомогою адаптації під час тестування (TTA), досягаючи 0% успішних атак через ін'єкції промптів та 95,6% збереження добронамірених дій у Safe-OS — порівняно з GuardAgent та LLaMA-Guard, які блокують до 49,2% легітимних дій.
ShieldAgent: Верифіковане міркування щодо політики безпеки для агентів LLM
ShieldAgent (ICML 2025) замінює запобіжники на основі LLM імовірнісними схемами правил, побудованими на мережах марковської логіки, досягаючи точності 90,4% при атаках на агентів з на 64,7% меншою кількістю викликів API — і що це означає для верифікованої безпеки у фінансових системах ШІ.
Atlas: спільне попереднє навчання ретривера та рідера перевершує LLM з 540 млрд параметрів, маючи лише 11 млрд
Atlas (JMLR 2023) досягає точності 42,4% на Natural Questions лише з 64 навчальними прикладами — перевершуючи PaLM 540B на 3 пункти за допомогою 11 млрд параметрів — завдяки спільному попередньому навчанню щільного ретривера на базі Contriever та рідера T5 Fusion-in-Decoder. Аналіз охоплює межі точності пошуку, витрати на інфраструктуру індексу обсягом 587 ГБ та наслідки для систем запитань-відповідей (QA) для реєстрів Beancount.