TheAgentCompany: Benchmarking von LLM-Agenten bei realen Unternehmensaufgaben
TheAgentCompany bewertet 175 Unternehmensaufgaben in einem simulierten Intranet, und das beste Modell, Gemini-2.5-Pro, erledigt nur 30 % bei Kosten von 4 $ pro Aufgabe.
Mike Thrift
Marketingmanager
τ²-bench: Messung der Kosten von Dual-Control in konversationellen KI-Agenten
τ²-bench findet: Aktive Nutzer mit eigenen Tools senken den Erfolg von Konversationsagenten um 18–25 Punkte. Beancount-Agenten mit gemeinsamem Schreibzugriff verlieren ebenso.
WorkArena++: Die 93%-Lücke zwischen menschlicher Leistung und der von KI-Agenten bei kompositorischen Unternehmensaufgaben
GPT-4o löst 2,1% der 682 kompositionellen Unternehmensaufgaben von WorkArena++; Menschen lösen 93,9% – Agenten stocken bei Buchhaltung mit impliziten Zielen.
GAIA Benchmark: Messen, was modernste KI-Agenten wirklich leisten können
GAIAs 466 Aufgaben zeigen führende KI-Agenten bei 74,55 % gegenüber 92 % bei Menschen, wobei Koordination auf Level 3 die härteste Lücke bleibt.
OSWorld: Desktop AI-Agenten bewältigen 12 % der Aufgaben, während Menschen 72 % lösen
OSWorld: Desktop-KI-Agenten lösen 12,24% realer Aufgaben, Menschen 72,36%. 75% der Fehler liegen in visuomotorischer Verankerung, nicht im Schlussfolgern.
WebArena: Der Benchmark mit 812 Aufgaben, der misst, was Web-Agenten tatsächlich können und was nicht
GPT-4 erledigt nur 14,41 % von WebArenas 812 Web-Aufgaben gegenüber 78,24 % bei Menschen; Agenten scheitern meist daran, eine Aufgabe fälschlich für unmöglich zu erklären.
WorkArena: Wie LLM-Web-Agenten bei realer Wissensarbeit in Unternehmen abschneiden
WorkArenas 33 ServiceNow-Aufgaben zeigen GPT-4o bei 42,7 % insgesamt, aber 0 % bei Listenfiltern – eine Hürde, die strukturierte UI-Interaktion überwinden muss.
τ-bench: Messung der Zuverlässigkeit von KI-Agenten in praxisnahen Tool-Nutzungs-Domänen
τ-bench findet: Top-LLMs fallen von pass@1 0,692 auf pass@4 0,462 bei Retail-Tool-Aufgaben. Zurückschreibende Ledger-Agenten stehen vor derselben Konsistenzklippe.
Chain-of-Table: Evolution von Tabellen in der LLM-Schlussfolgerungskette
Chain-of-Table erreicht 67,31 % in WikiTQ gegenüber 61,48 % für rein textbasiertes Chain-of-Thought und führt bei Tabellen über 4.000 Token um 10,25 Punkte.
TableLlama: Kann ein offenes 7B-Modell mit GPT-4 beim Tabellenverständnis mithalten?
TableLlama schlägt GPT-4 bei der Spaltentypannotation (F1 94 vs. 32), liegt aber beim kompositionellen Denken in WikiTQ um 33 Punkte zurück.
TAPAS: Schwach überwachtes Table-QA ohne SQL und was es für Beancount bedeutet
TAPAS beantwortet Tabellenfragen durch Auswahl von Zellen, ohne SQL zu generieren. Es eignet sich für kleine Beancount-Ledger-Abfragen, versagt aber bei Skalierung.
MAC-SQL: Multi-Agent Collaborative Text-to-SQL
MAC-SQLs Drei-Agenten-Design erreicht 59,59% Ausführungsgenauigkeit auf BIRD, der Refiner trägt +4,63 Punkte bei – eine Vorlage für Beancount-Ledger-Abfragen.