MemGPT: 92.5% 다중 세션 회상 vs 32.1% 기준선
MemGPT의 OS 스타일 메모리 계층은 GPT-4 다중 세션 채팅 정확도를 고정 컨텍스트의 32.1% 대비 92.5%로 끌어올립니다—다년간 원장 에이전트에 필요합니다.
Mike Thrift
마케팅 매니저
SWE-agent: 인터페이스 디자인이 자동화된 소프트웨어 엔지니어링을 구현하는 방법
SWE-agent의 에이전트-컴퓨터 인터페이스는 GPT-4 Turbo를 순수 셸에서 SWE-bench 12.47%로 끌어올려, 인터페이스 설계만으로 10.7점을 얻었다.
SWE-bench: 언어 모델이 실제 GitHub 문제를 해결할 수 있을까?
SWE-bench는 2,294개의 실제 GitHub 이슈로 언어 모델을 시험한다. 출판 당시 Claude 2는 1.96%만 해결했다. 검색과 패치 길이 제약이 코딩 에이전트를 규정한다.
CodeAct: 실행 가능한 파이썬 코드가 LLM 에이전트의 정확도를 20% 높이는 이유
CodeAct는 JSON 도구 호출을 실행 가능한 파이썬으로 대체하여 GPT-4 에이전트 성공률을 약 20점 높이고 턴 수를 30% 줄인다.
자기 수정: GSM8K에서 GPT-4 95.5%→91.5% 하락
Huang et al. (ICLR 2024): 내재적 자기 수정은 GSM8K에서 GPT-4를 95.5%에서 91.5%로 떨어뜨림—원장 에이전트는 자체 검토가 아닌 외부 검증자가 필요함.
생각의 나무(Tree of Thoughts): LLM 검색을 통한 신중한 문제 해결
Tree of Thoughts는 Game of 24에서 GPT-4 사고 연쇄가 4%에 그치는 반면 74%를 달성한다. 단계를 탐색하고 되돌리는 이 패턴은 금융 에이전트가 차용할 수 있다.
CRITIC: LLM 자기 수정에 외부 도구 피드백이 필요한 이유
CRITIC은 LLM 수정안을 자기 자신이 아닌 외부 도구로 검증하여 오픈 도메인 QA에서 7.7 F1을 높이고 유해성을 79.2% 줄인다.
Reflexion: 재학습 없이 실수로부터 학습하는 언어 에이전트
Reflexion은 가중치 갱신 없이 GPT-4로 HumanEval에서 91%를 달성하지만 WebShop에서는 실패한다. 언어적 강화에는 명확한 평가 신호가 필요하다.
자기 일관성: 다수결 투표 샘플링이 사고 사슬 정확도를 향상시킨다
자기 일관성은 하나의 탐욕적 디코딩 대신 여러 샘플링된 추론 경로를 다수결로 투표하여 추가 학습 없이 GSM8K에서 17.9점을 더한다.
PAL: 계산을 Python에 맡겨 어려운 수학에서 +38pp 향상
PAL은 GSM-hard에서 Python으로 계산을 실행하여 체인 오브 thought 대비 +38.1pp를 얻었습니다—신뢰할 수 있는 Beancount 원장 계산을 위한 올바른 분할입니다.
LLM이 표 형식 데이터를 추론할 수 있을까? 금융 AI에 대해 4가지 벤치마크가 시사하는 바
네 가지 벤치마크에서 GPT-4는 실제 표 QA에서 42%로 인간의 86%에 못 미치고, 복잡한 집계에서는 19.6%에 그쳐 금융 에이전트에는 깨끗한 표 입력이 필요하다.
회계 에이전트를 위한 헌법적 AI: RLAIF, 정책 규칙 및 굿하트의 법칙 리스크
헌법적 AI는 수작업으로 레이블링한 유해 데이터를 AI 피드백으로 대체하여, 회계 에이전트가 거래마다 검토자 없이도 원장 규칙을 시행할 수 있게 한다.