TheAgentCompany: محک‌زنی عامل‌های LLM در وظایف سازمانی دنیای واقعی
TheAgentCompany 175 وظیفه سازمانی را در یک اینترانت شبیه‌سازی‌شده ارزیابی می‌کند، و بهترین مدل، Gemini-2.5-Pro، تنها 30% را با هزینه 4 دلار هر کدام کامل می‌کند.
#enterprise-software
نرم‌افزار سازمانی
اتوماسیون نرم‌افزار سازمانی، عوامل وب و پژوهش وظایف کار دانشی
WorkArena++: شکاف ۹۳ درصدی بین عملکرد انسان و عامل‌های هوش مصنوعی در وظایف سازمانی ترکیبی
GPT-4o تنها 2.1% از 682 وظیفه ترکیبی سازمانی WorkArena++ را حل می‌کند؛ انسان‌ها 93.9% را حل می‌کنند، که نشان می‌دهد چرا عامل‌ها در کار حسابداری با اهداف ضمنی متوقف می‌شوند.
WorkArena: نحوه عملکرد عامل‌های وب مبتنی بر LLM در کارهای دانشی واقعی سازمانی
33 وظیفه ServiceNow در WorkArena نشان می‌دهد GPT-4o در کل 42.7% است اما در فیلترهای فهرست 0%، دیواری که تعامل ساختاریافته با رابط کاربری باید از آن عبور کند.