TheAgentCompany：実世界の企業業務におけるLLMエージェントのベンチマーキング
TheAgentCompanyは模擬イントラネットで175の企業タスクをベンチマーク。最高モデルGemini-2.5-Proは各$4でわずか30%を完了する。
Mike Thrift
マーケティングマネージャー
τ²-bench：対話型AIエージェントにおけるデュアルコントロールのコストを測定する
τ²-benchは独自ツールを持つアクティブユーザーが会話エージェントの成功率を18〜25ポイント下げると判明。書き込み権限を共有するBeancountエージェントも同様に敗れる。
WorkArena++: 複合的なエンタープライズ・タスクにおける人間とAIエージェントのパフォーマンスの93%の乖離
GPT-4oはWorkArena++の682の合成的企業タスクの2.1%を解決、人間は93.9%。暗黙の目標を持つ会計作業でエージェントが停滞する理由を示す。
GAIAベンチマーク：最先端AIエージェントの真の実力を測定する
GAIAの466タスクで最先端AIエージェントは74.55%、人間は92%。レベル3の調整が依然として最も難しいギャップだ。
OSWorld：デスクトップAIエージェントの成功率は12%、人間は72%のタスクで成功
OSWorldはデスクトップAIエージェントが実タスクの12.24%で成功、人間は72.36%。失敗の75%は推論ではなく視覚運動のグラウンディングに起因する。
WebArena: Webエージェントの真の能力と限界を測定する812タスクのベンチマーク
GPT-4はWebArenaの812ウェブタスクのわずか14.41%を完了、人間は78.24%。エージェントはタスクを不可能と誤って宣言して失敗することが多い。
WorkArena：LLMウェブエージェントは実社会のエンタープライズ知識労働でどのように機能するか
WorkArenaの33のServiceNowタスクでGPT-4oは総合42.7%だがリストフィルタは0%。構造化UI操作が越えるべき壁だ。
τ-bench: 実世界のツール使用ドメインにおけるAIエージェントの信頼性の測定
τ-benchはトップLLMが小売ツール使用タスクでpass@1 0.692からpass@4 0.462へ低下すると判明。台帳に書き戻すエージェントも同じ一貫性の崖に直面する。
Chain-of-Table: LLM推論チェーンにおけるテーブルの進化
Chain-of-TableはWikiTQで67.31%、テキストのみのchain-of-thoughtは61.48%。4,000トークン超の表では10.25ポイントリードする。
TableLlama: 7Bのオープンモデルはテーブル理解においてGPT-4に匹敵するか？
TableLlamaは列型注釈でGPT-4に勝利（F1 94対32）するが、WikiTQの合成的推論では33ポイント劣る。
TAPAS: SQL不要の弱教師ありテーブルQA、そしてそれがBeancountに意味すること
TAPASはSQLを生成せずセルを選択して表の質問に答える。小規模なBeancount台帳クエリには適するが規模拡大で破綻する。
MAC-SQL：マルチエージェント協調型 Text-to-SQL
MAC-SQLの3エージェント設計はBIRDで実行精度59.59%を達成、Refinerが+4.63ポイント貢献。Beancount台帳クエリ生成のテンプレートだ。