DIN-SQL: GPT-4 جهش ۶۷.۴٪→۸۵.۳٪ EX در Spider
DIN-SQL با مراحل اتصال اسکیما و خوداصلاحی، دقت اجرای GPT-4 را در Spider از ۶۷.۴٪ به ۸۵.۳٪ می‌رساند—همان تجزیه برای Beancount BQL نیز适用 است.
Mike Thrift
مدیر بازاریابی
BIRD: GPT-4 در پایگاه‌های داده واقعی فقط به 54.89% دقت اجرا می‌رسد
در BIRD، GPT-4 با راهنمایی‌های دامنه به 54.89% دقت اجرا می‌رسد و بدون آن 34.88%—شکافی 20 واحدی که هر رابط Beancount NL→BQL باید آن را پر کند.
استفاده تاییدپذیر و امن از ابزارها برای عامل‌های مدل زبانی بزرگ: تلاقی STPA و MCP
STPA به‌همراه MCP تقویت‌شده با قابلیت، مشخصات ایمنی رسمی برای استفاده از ابزار مدل زبانی بزرگ تولید می‌کند و Alloy در مطالعه موردی تقویم اثبات می‌کند جریان ناایمنی وجود ندارد.
GraphRAG: ۷۲–۸۳٪ پیروزی‌ها پس از رفع سوگیری قاضی-LLM ناپدید می‌شوند
GraphRAG مایکروسافت ۷۲–۸۳٪ پیروزی‌های درک مطلب نسبت به RAG برداری ثبت می‌کند؛ یک ممیزی ۲۰۲۵ پس از اصلاح سوگیری قاضی، این نتایج را فرو می‌ریزد — هشداری برای QA دفتر کل چندسندی.
FinAuditing: نمرات زیر ۱۴٪ مدل‌های زبانی بزرگ در وظایف واقعی حسابرسی SEC XBRL
FinAuditing نشان می‌دهد LLMهای برتر در تأیید ریاضی پرونده‌های واقعی XBRL فقط ۱۳.۸۶٪ می‌گیرند و همین سقف اتوماسیون حسابداری بدون کمک است.
InvestorBench: Qwen2.5-72B با نرخ موفقیت ۴۶.۱۵٪ در صدر معاملات سهام
InvestorBench: Qwen2.5-72B با نرخ موفقیت ۴۶.۱۵٪ پیشتاز معاملات سهام است؛ Palmyra-Fin تنظیم‌شده برای مالی در سهام نتیجه معکوس می‌دهد—اندازه بر تنظیم‌دقیق دامنه برتری دارد.
StructRAG (ICLR 2025): انتخاب ساختار مناسب سند، GraphRAG را با اختلاف ۲۸ امتیاز شکست می‌دهد
StructRAG هر پرس‌وجو را به ساختار جدول، گراف، فهرست، الگوریتم یا قطعه مسیریابی می‌کند و GraphRAG را ۲۸ امتیاز شکست می‌دهد و ۲۲ برابر سریع‌تر اجرا می‌شود.
تک‌عاملی: در توکن‌های برابر، عملکرد برابر با MAS در استدلال چندمرحله‌ای دارد
در بودجه‌های برابر توکن تفکر، مدل‌های زبانی تک‌عاملی در استدلال چندمرحله‌ای با سیستم‌های چندعاملی برابری یا برتری دارند—طراحی‌های ساده‌تر عامل مالی را ترجیح دهید.
M3MAD-Bench: آیا مباحثات چند-عاملی واقعاً در حوزه‌ها و مدالیته‌های مختلف موثر هستند؟
M3MAD-Bench دریافت که توهم جمعی عامل ۶۵٪ شکست‌های مناظره چندعاملی است و مناظره تخاصمی دقت را تا ۱۲.۸٪ کاهش می‌دهد.
AGrail: نرده‌های حفاظتی امنیتی تطبیقی برای عامل‌های مدل زبانی بزرگ (LLM) با قابلیت یادگیری در طول وظایف
محافظ دو مدل زبانی بزرگ AGrail موفقیت حمله تزریق پرامپت را به ۰٪ کاهش می‌دهد و در عین حال ۹۵.۶٪ اقدامات بی‌خطر عامل را در Safe-OS حفظ می‌کند.
ShieldAgent: استدلال سیاست امنیتی قابل تایید برای عامل‌های LLM
ShieldAgent با استفاده از مدارهای قاعده احتمالاتی به جای محافظ‌های مدل زبانی بزرگ، به ۹۰.۴٪ دقت در حملات عامل با ۶۴.۷٪ تماس API کمتر می‌رسد.
اطلس: پیش‌آموزش مشترک بازیاب-خوانشگر مدل‌های زبانی بزرگ ۵۴۰ میلیارد پارامتری را با ۱۱ میلیارد پارامتر شکست می‌دهد
Atlas با ۶۴ نمونه به دقت ۴۲.۴٪ در Natural Questions می‌رسد و با ۱۱B پارامتر، PaLM 540B را ۳ واحد شکست می‌دهد؛ حاصل پیش‌آموزش مشترک بازیاب-خواننده.