TheAgentCompany：実世界の企業業務におけるLLMエージェントのベンチマーキング
TheAgentCompanyは模擬イントラネットで175の企業タスクをベンチマーク。最高モデルGemini-2.5-Proは各$4でわずか30%を完了する。
#enterprise-software
#enterprise-software
TheAgentCompanyは模擬イントラネットで175の企業タスクをベンチマーク。最高モデルGemini-2.5-Proは各$4でわずか30%を完了する。
GPT-4oはWorkArena++の682の合成的企業タスクの2.1%を解決、人間は93.9%。暗黙の目標を持つ会計作業でエージェントが停滞する理由を示す。
WorkArenaの33のServiceNowタスクでGPT-4oは総合42.7%だがリストフィルタは0%。構造化UI操作が越えるべき壁だ。