WildToolBench: 실제 환경의 도구 사용에서 LLM의 세션 정확도가 15%를 넘지 못하는 이유
WildToolBench(ICLR 2026)는 실제 사용자 행동에서 추출된 1,024개의 작업에 대해 57개의 LLM을 평가합니다. 그 결과 세션 정확도가 15%를 넘는 모델은 없었으며, 구성적 오케스트레이션, 숨겨진 의도, 지시어 전환이 세 가지 주요 실패 유형으로 나타났습니다.
#technology
Technology
Technology research and software engineering topics relevant to financial AI systems
Lost in the Middle: LLM의 위치 편향과 금융 AI에 미치는 영향
Liu 등이 발표한 TACL 2024 논문은 LLM이 긴 컨텍스트의 중간에 배치된 정보에 대해 성능이 최대 20포인트 하락하는 U자형 성능 저하 현상을 보여줍니다. 이는 Claude-1.3-100K를 포함한 모든 테스트 모델에서 나타나며, 금융 및 회계 애플리케이션의 RAG 파이프라인에서 검색된 구절을 배치하는 방식에 구체적인 시사점을 제공합니다.
OSWorld: 인간이 72% 성공하는 작업에서 데스크톱 AI 에이전트의 성공률은 12%에 불과함
OSWorld (NeurIPS 2024)는 Ubuntu, Windows, macOS 전반에 걸친 369개의 실제 데스크톱 작업에서 멀티모달 AI 에이전트를 벤치마킹했습니다. 그 결과, 최고 모델(12.24%)과 인간의 성과(72.36%) 사이에 60%포인트의 격차가 있음을 발견했으며, 실패의 75%는 추론 실패가 아닌 시각운동 접지(visuomotor grounding) 오류 때문인 것으로 나타났습니다.
StructRAG (ICLR 2025): 적절한 문서 구조 선택으로 GraphRAG보다 28점 높은 성능 달성
StructRAG (ICLR 2025)는 추론 전 각 쿼리를 태스크에 적합한 구조 유형(표, 그래프, 카탈로그, 알고리즘 또는 청크)으로 라우팅합니다. 이를 통해 Loong 벤치마크에서 GraphRAG보다 28점 높은 점수를 기록하고 22배 빠른 속도로 실행되며, DPO로 학습된 라우터만으로도 15점의 정확도 향상을 실현했습니다.
싱글 에이전트: 동일 토큰 예산에서 멀티 홉 추론 시 멀티 에이전트와 동등한 성능
동일한 추론 토큰 예산에서 싱글 에이전트 LLM은 멀티 홉 추론에서 멀티 에이전트 시스템과 동등하거나 더 나은 성능을 보입니다—더 간단한 금융 에이전트 설계를 선호합니다.
Self-RAG: LLM을 위한 적응형 검색 및 자기 비판
Self-RAG (ICLR 2024 Oral)는 언어 모델이 검색 시점을 결정하고 4개의 성찰 토큰을 사용하여 결과를 직접 평가하도록 훈련합니다. PopQA에서 55.8%, 전기 부문 FactScore 80.2를 기록하며 5개 벤치마크에서 ChatGPT를 능가했습니다. 이 분석은 메커니즘, 절제 연구 결과, 재현성 한계, 그리고 Beancount 장부를 다루는 금융 AI 에이전트에 미치는 영향을 다룹니다.
AgentBench: LLM을 에이전트로 평가하기 — 금융 AI 신뢰성을 위한 교훈
AgentBench (Liu 외, ICLR 2024)는 8개의 상호작용 환경에서 27개의 LLM을 벤치마킹했다 — GPT-4는 종합 4.01점을 기록한 반면, 최고의 오픈소스 모델은 0.96점에 그쳤다. 세 가지 주요 실패 유형(지식 그래프 실패의 67.9%에서 태스크 한도 초과, 데이터베이스 실패의 53.3%에서 형식 오류, 그리고 잘못된 액션)은 실제 장부에 Beancount write-back 에이전트를 배포할 때의 위험과 직접적으로 대응한다.
MemGPT: 92.5% 다중 세션 회상 vs 32.1% 기준선
MemGPT의 OS 스타일 메모리 계층은 GPT-4 다중 세션 채팅 정확도를 고정 컨텍스트의 32.1% 대비 92.5%로 끌어올립니다—다년간 원장 에이전트에 필요합니다.