Tian Pan
Research Engineer
2개 게시물모든 저자 보기
·tian
Toolformer: 자기 지도형 도구 사용과 금융 AI를 위한 한계
Toolformer(Meta AI, NeurIPS 2023)를 자세히 분석합니다. 퍼플렉시티 필터링 기반의 자기 지도형 학습을 통해 67억 개의 파라미터를 가진 모델이 외부 API를 호출하는 법을 배우는 과정, 산술 벤치마크에서 1,750억 개의 파라미터를 가진 GPT-3를 능가하는 이유, 그리고 단일 단계 아키텍처가 구조화된 장부 작업에 필요한 연쇄적 도구 호출을 지원하지 못하는 이유를 다룹니다.
ai
llm
machine-learning
·tian
FinBen: 36가지 금융 과제에 대한 LLM 벤치마킹 — 회계 AI를 위한 시사점
FinBen은 NeurIPS 2024에서 36개의 금융 데이터셋을 통해 15개의 LLM을 평가했습니다. GPT-4는 수치 질의응답(QA)에서 0.63의 Exact Match를, 주가 변동 예측에서는 무작위 확률에 가까운 0.54를 기록했습니다. 이 수치들이 Beancount 원장 기반의 신뢰할 수 있는 회계 에이전트를 구축하는 데 어떤 의미가 있는지 살펴봅니다.
ai
llm
machine-learning