MemGPT: ۹۲.۵٪ یادآوری چندنشستی در برابر ۳۲.۱٪ خط پایه
لایه‌های حافظه سبک OS در MemGPT دقت چت چندنشستی GPT-4 را به ۹۲.۵٪ در برابر ۳۲.۱٪ زمینه ثابت می‌رساند—برای عامل‌های دفترکل چندساله ضروری است.
Mike Thrift
مدیر بازاریابی
SWE-agent: چگونه طراحی رابط کاربری پتانسیل مهندسی نرم‌افزار خودکار را آزاد می‌کند
رابط‌های عامل-رایانه SWE-agent، GPT-4 Turbo را از شل خام به ۱۲.۴۷٪ در SWE-bench رساند؛ ۱۰.۷ واحد افزایش فقط از طراحی رابط.
SWE-bench: آیا مدل‌های زبانی می‌توانند مسائل واقعی گیت‌هاب را حل کنند؟
SWE-bench مدل‌های زبانی را روی ۲,۲۹۴ مسئله واقعی GitHub می‌سنجد؛ هنگام انتشار، Claude 2 فقط ۱.۹۶٪ را حل کرد. محدودیت بازیابی و طول وصله، عامل‌های کدنویسی را شکل می‌دهد.
CodeAct: چرا کدهای پایتون قابل اجرا، دقت عوامل LLM را ۲۰٪ افزایش می‌دهند
CodeAct فراخوانی‌های ابزار JSON را با Python اجراپذیر جایگزین می‌کند، موفقیت عامل GPT-4 را حدود ۲۰ واحد بالا می‌برد و نوبت‌ها را ۳۰٪ کم می‌کند.
خوداصلاحی: GPT-4 از 95.5٪ به 91.5٪ در GSM8K کاهش می‌یابد
Huang و همکاران (ICLR 2024): خوداصلاحی ذاتی GPT-4 را از 95.5٪ به 91.5٪ در GSM8K کاهش می‌دهد — عامل‌های دفتر کل نیاز به تأییدکننده‌های خارجی دارند، نه بازبینی خود.
درخت افکار: حل مسئله آگاهانه با جستجوی مدل‌های زبانی بزرگ
Tree of Thoughts در Game of 24 به ۷۴٪ می‌رسد جایی که زنجیره تفکر GPT-4 به ۴٪ می‌رسد، با جستجو و عقب‌گرد روی گام‌ها؛ الگویی که عامل‌های مالی می‌توانند وام بگیرند.
CRITIC: چرا خوداصلاحی مدل‌های زبانی بزرگ نیازمند بازخورد ابزارهای خارجی است
CRITIC پرسش و پاسخ دامنه باز را ۷.۷ F1 بالا می‌برد و سمیت را ۷۹.۲٪ کم می‌کند، با تأیید بازنگری‌های LLM در برابر ابزارهای بیرونی، نه خودش.
Reflexion: عامل‌های زبانی که بدون بازآموزی از اشتباهات خود می‌آموزند
Reflexion با GPT-4 بدون به‌روزرسانی وزن به ۹۱٪ در HumanEval می‌رسد، اما در WebShop شکست می‌خورد. تقویت کلامی به سیگنال ارزیاب واضح نیاز دارد.
خودسازگاری: نمونهبرداری با رأی اکثریت دقت زنجیرهٔ اندیشه را بهبود میبخشد
خودسازگاری به‌جای یک واکاوی حریصانه، به مسیرهای استدلال نمونه‌گیری‌شده رأی اکثریت می‌دهد و بدون آموزش اضافه، ۱۷.۹ واحد در GSM8K اضافه می‌کند.
PAL: با واگذاری محاسبات به پایتون، +۳۸ واحد درصد بهبود در ریاضیات سخت
PAL با اجرای پایتون برای محاسبات، در GSM-hard نسبت به زنجیره افکار +۳۸.۱ واحد درصد بهبود می‌یابد — تقسیم درست برای محاسبات دفتر Beancount قابل اعتماد.
آیا مدل‌های زبانی بزرگ می‌توانند داده‌های جدولی را تحلیل کنند؟ چهار بنچمارک درباره هوش مصنوعی مالی چه می‌گویند
چهار بنچمارک نشان می‌دهند GPT-4 در پرسش‌وپاسخ جدولی واقعی ۴۲٪ در برابر ۸۶٪ انسان و در تجمیع‌های پیچیده ۱۹.۶٪ است، پس عامل‌های مالی به ورودی جدولی پاک نیاز دارند.
هوش مصنوعی قانون‌مند برای عوامل حسابداری: RLAIF، قوانین خط‌مشی و ریسک‌های گودهارت
هوش مصنوعی قانون اساسی داده‌های آسیب برچسب‌خورده دستی را با بازخورد AI جایگزین می‌کند، تا عامل‌های حسابداری بدون بازبین برای هر تراکنش، قوانین دفتر کل را اجرا کنند.