PHANTOM(NeurIPS 2025)은 최대 30,000 토큰의 문맥 길이에 걸쳐 실제 SEC 공시 서류를 대상으로 LLM 환각 탐지를 측정하는 최초의 벤치마크입니다. Qwen3-30B-A3B-Thinking이 F1=0.882로 선두를 달리고 있으며, 7B 모델은 무작위 추측에 가까운 점수를 기록했습니다. 이는 자율 회계 에이전트에게 직접적인 시사점을 제공합니다.
FinMaster(arXiv:2505.13533)는 183개의 금융 작업을 통해 o3-mini, Claude 3.7 Sonnet, DeepSeek-V3를 벤치마킹했습니다. 그 결과, 모델들이 금융 문해력에서는 96%의 점수를 기록했으나 재무제표 생성에서는 3%로 급락했으며, 다단계 컨설팅 작업에서는 오류 전파로 인해 정확도가 21점 하락했음을 밝혔습니다.
ReAct(Yao et al., ICLR 2023)는 단일 궤적 내에서 생각의 사슬(CoT) 추론과 도구 동작을 교차 배치하여, 사실 확인에서 순수 CoT를 능가하고 구체화된 작업의 모방 학습에서 34%포인트 더 높은 성능을 보여줍니다. 이 분석은 검색으로 인한 주의 분산 및 오류 누적과 같은 논문의 실패 모드와 이것이 Beancount 장부에 기록을 남기는 자율 에이전트에게 어떤 의미가 있는지 다룹니다.
Toolformer(Meta AI, NeurIPS 2023)를 자세히 분석합니다. 퍼플렉시티 필터링 기반의 자기 지도형 학습을 통해 67억 개의 파라미터를 가진 모델이 외부 API를 호출하는 법을 배우는 과정, 산술 벤치마크에서 1,750억 개의 파라미터를 가진 GPT-3를 능가하는 이유, 그리고 단일 단계 아키텍처가 구조화된 장부 작업에 필요한 연쇄적 도구 호출을 지원하지 못하는 이유를 다룹니다.
FinBen은 NeurIPS 2024에서 36개의 금융 데이터셋을 통해 15개의 LLM을 평가했습니다. GPT-4는 수치 질의응답(QA)에서 0.63의 Exact Match를, 주가 변동 예측에서는 무작위 확률에 가까운 0.54를 기록했습니다. 이 수치들이 Beancount 원장 기반의 신뢰할 수 있는 회계 에이전트를 구축하는 데 어떤 의미가 있는지 살펴봅니다.
