OpenHands: پلتفرم باز برای عامل‌های نرم‌افزاری هوش مصنوعی و معنای آن برای اتوماسیون مالی
عامل CodeAct در OpenHands در SWE-Bench Lite ۲۶٪ می‌گیرد؛ یعنی کار مطمئن امروز محدود است. اتوماسیون مالی باید محدود آغاز شود، نه خودمختار.
#open-source
متن‌باز
ابزارها، چارچوب‌ها و آثار پژوهشی متن‌باز برای هوش مصنوعی مالی
WebArena: بنچ‌مارک ۸۱۲-تسک که آنچه را که ایجنت‌های وب واقعاً می‌توانند و نمی‌توانند انجام دهند اندازه‌گیری می‌کند
GPT-4 تنها 14.41% از 812 وظیفه وب WebArena را کامل می‌کند در برابر 78.24% برای انسان‌ها؛ عامل‌ها بیشتر با اعلام نادرست غیرممکن بودن یک وظیفه شکست می‌خورند.
TableLlama: آیا یک مدل متن‌باز ۷ میلیاردی می‌تواند در درک جداول با GPT-4 رقابت کند؟
TableLlama در حاشیه‌نویسی نوع ستون GPT-4 را شکست می‌دهد (F1 ۹۴ در برابر ۳۲) اما در استدلال ترکیبی WikiTQ ۳۳ امتیاز عقب است.
SWE-agent: چگونه طراحی رابط کاربری پتانسیل مهندسی نرم‌افزار خودکار را آزاد می‌کند
رابط‌های عامل-رایانه SWE-agent، GPT-4 Turbo را از شل خام به ۱۲.۴۷٪ در SWE-bench رساند؛ ۱۰.۷ واحد افزایش فقط از طراحی رابط.