TheAgentCompany: 실제 기업 업무에서의 LLM 에이전트 벤치마킹
TheAgentCompany는 시뮬레이션 인트라넷에서 175개 기업 작업을 벤치마크하며, 최고 모델 Gemini-2.5-Pro는 건당 $4로 30%만 완료합니다.
Mike Thrift
마케팅 매니저
τ²-bench: 대화형 AI 에이전트의 이중 제어 비용 측정
τ²-bench는 자체 도구를 가진 활성 사용자가 대화형 에이전트 성공률을 18–25점 낮춘다고 밝힙니다. 쓰기 권한을 공유하는 Beancount 에이전트도 같은 방식으로 손실을 봅니다.
WorkArena++: 복합적 기업 업무에서 인간과 AI 에이전트 간의 93% 성능 격차
GPT-4o는 WorkArena++의 682개 구성형 기업 작업 중 2.1%만 해결하고 인간은 93.9%를 해결해, 암묵적 목표 회계 작업에서 에이전트가 멈추는 이유를 보여줍니다.
GAIA 벤치마크: 프런티어 AI 에이전트의 실제 수행 능력 측정
GAIA의 466개 작업에서 최전선 AI 에이전트는 74.55%로 인간의 92%에 못 미치며, Level 3 조정이 여전히 가장 어려운 격차입니다.
OSWorld: 인간이 72% 성공하는 작업에서 데스크톱 AI 에이전트의 성공률은 12%에 불과함
OSWorld에 따르면 데스크톱 AI 에이전트는 실제 작업의 12.24%를 성공하고 인간은 72.36%를 성공하며, 실패의 75%는 추론이 아닌 시각운동 그라운딩에서 비롯됩니다.
WebArena: 웹 에이전트의 실제 수행 능력과 한계를 측정하는 812개 작업 벤치마크
GPT-4는 WebArena의 812개 웹 작업 중 14.41%만 완료하고 인간은 78.24%를 완료합니다. 에이전트는 주로 작업을 불가능하다고 잘못 선언하며 실패합니다.
WorkArena: LLM 웹 에이전트가 실제 기업 지식 업무에서 보여주는 성능
WorkArena의 33개 ServiceNow 작업에서 GPT-4o는 전체 42.7%지만 목록 필터에서는 0%로, 구조화된 UI 상호작용이 넘어야 할 벽을 보여줍니다.
τ-bench: 실제 도구 사용 도메인에서의 AI 에이전트 신뢰도 측정
τ-bench에 따르면 최상위 LLM은 소매 도구 사용 작업에서 pass@1 0.692에서 pass@4 0.462로 하락합니다. 장부에 쓰기하는 에이전트도 같은 일관성 절벽에 직면합니다.
Chain-of-Table: LLM 추론 체인에서의 테이블 진화
Chain-of-Table은 WikiTQ에서 67.31%를 기록해 텍스트 전용 chain-of-thought의 61.48%를 앞서며, 4,000 토큰 초과 테이블에서 10.25점 차로 앞섭니다.
TableLlama: Can a 7B Open Model Match GPT-4 on Table Understanding?
TableLlama beats GPT-4 on column type annotation (F1 94 vs 32) but trails by 33 points on WikiTQ compositional reasoning.
TAPAS: SQL 없는 약지도 학습 기반 테이블 질의응답과 Beancount에 주는 의미
TAPAS는 SQL을 생성하지 않고 셀을 선택해 테이블 질문에 답합니다. 소규모 Beancount 장부 쿼리에는 맞지만 규모가 커지면 무너집니다.
MAC-SQL: 다중 에이전트 협업 텍스트-SQL(Text-to-SQL)
MAC-SQL의 3-에이전트 설계는 BIRD에서 59.59% 실행 정확도를 달성하고 Refiner가 +4.63점을 더합니다. Beancount 장부 쿼리 생성의 템플릿입니다.