WildToolBench: چرا هیچ مدل زبانی بزرگی در دقت جلسات استفاده از ابزار در دنیای واقعی از ۱۵٪ فراتر نمی‌رود
WildToolBench می‌یابد هیچ LLM از ۱۵٪ دقت نشست در ۱,۰۲۴ وظیفه کاربران واقعی فراتر نمی‌رود و قصد پنهان و گذارهای دستور، تیزترین حالت‌های شکست‌اند.
#technology
فناوری
موضوعات پژوهشی فناوری و مهندسی نرم‌افزار مرتبط با سیستم‌های هوش مصنوعی مالی
گمشده در میان: سوگیری موقعیتی در مدل‌های زبانی بزرگ و تأثیر آن بر هوش مصنوعی مالی
LLMها تا 20 واحد بدتر امتیاز می‌گیرند وقتی پاسخ در میان‌زمینه قرار دارد، بنابراین خطوط لوله RAG مالی باید بهترین قطعات را اول یا آخر قرار دهند.
OSWorld: موفقیت عامل‌های هوش مصنوعی دسکتاپ در ۱۲٪ از وظایفی که انسان‌ها در ۷۲٪ آن‌ها موفق می‌شوند
OSWorld نشان می‌دهد عامل‌های هوش مصنوعی دسکتاپ در 12.24% وظایف واقعی موفق می‌شوند در برابر 72.36% برای انسان‌ها، با 75% شکست‌ها ناشی از زمین‌گیری بینایی-حرکتی، نه استدلال.
StructRAG (ICLR 2025): انتخاب ساختار مناسب سند، GraphRAG را با اختلاف ۲۸ امتیاز شکست می‌دهد
StructRAG هر پرس‌وجو را به ساختار جدول، گراف، فهرست، الگوریتم یا قطعه مسیریابی می‌کند و GraphRAG را ۲۸ امتیاز شکست می‌دهد و ۲۲ برابر سریع‌تر اجرا می‌شود.
تک‌عاملی: در توکن‌های برابر، عملکرد برابر با MAS در استدلال چندمرحله‌ای دارد
در بودجه‌های برابر توکن تفکر، مدل‌های زبانی تک‌عاملی در استدلال چندمرحله‌ای با سیستم‌های چندعاملی برابری یا برتری دارند—طراحی‌های ساده‌تر عامل مالی را ترجیح دهید.
Self-RAG: بازیابی تطبیقی و خود-انتقادی برای مدل‌های زبانی بزرگ
Self-RAG به LLM می‌آموزد تصمیم بگیرد چه زمانی بازیابی کند و نتایج را خودنمره‌دهی کند، با ۵۵.۸٪ در PopQA و ۸۰.۲ FactScore — شکست ChatGPT در پنج بنچمارک.
AgentBench: ارزیابی LLMها بهعنوان عاملها — درسهایی برای پایایی هوش مصنوعی مالی
AgentBench به GPT-4 نمره ۴.۰۱ در برابر ۰.۹۶ برای بهترین LLM متن‌باز داد. همان شکست‌ها دقیقاً چیزی است که عامل نوشتنی Beancount را روی دفتر کل زنده می‌شکند.
MemGPT: ۹۲.۵٪ یادآوری چندنشستی در برابر ۳۲.۱٪ خط پایه
لایه‌های حافظه سبک OS در MemGPT دقت چت چندنشستی GPT-4 را به ۹۲.۵٪ در برابر ۳۲.۱٪ زمینه ثابت می‌رساند—برای عامل‌های دفترکل چندساله ضروری است.