TheAgentCompany: Benchmarking von LLM-Agenten bei realen Unternehmensaufgaben
TheAgentCompany bewertet 175 Unternehmensaufgaben in einem simulierten Intranet, und das beste Modell, Gemini-2.5-Pro, erledigt nur 30 % bei Kosten von 4 $ pro Aufgabe.
#enterprise-software
Unternehmenssoftware
Unternehmenssoftware-Automatisierung, Web-Agenten und Forschung zu Wissensarbeit
WorkArena++: Die 93%-Lücke zwischen menschlicher Leistung und der von KI-Agenten bei kompositorischen Unternehmensaufgaben
GPT-4o löst 2,1% der 682 kompositionellen Unternehmensaufgaben von WorkArena++; Menschen lösen 93,9% – Agenten stocken bei Buchhaltung mit impliziten Zielen.
WorkArena: Wie LLM-Web-Agenten bei realer Wissensarbeit in Unternehmen abschneiden
WorkArenas 33 ServiceNow-Aufgaben zeigen GPT-4o bei 42,7 % insgesamt, aber 0 % bei Listenfiltern – eine Hürde, die strukturierte UI-Interaktion überwinden muss.