Toolformer: 자기 지도형 도구 사용과 금융 AI를 위한 한계
Toolformer(Meta AI, NeurIPS 2023)를 자세히 분석합니다. 퍼플렉시티 필터링 기반의 자기 지도형 학습을 통해 67억 개의 파라미터를 가진 모델이 외부 API를 호출하는 법을 배우는 과정, 산술 벤치마크에서 1,750억 개의 파라미터를 가진 GPT-3를 능가하는 이유, 그리고 단일 단계 아키텍처가 구조화된 장부 작업에 필요한 연쇄적 도구 호출을 지원하지 못하는 이유를 다룹니다.
