생각의 사슬 프롬프팅: 금융 AI를 위한 정밀도-재현율 트레이드오프
사고 연쇄 프롬프팅은 정밀도를 높이지만 희귀 금융 이벤트에서 재현율을 떨어뜨릴 수 있어, 사기 탐지 에이전트가 마땅히 표시해야 할 이상 징후를 놓칠 수 있다.
연구 로그
Bean Labs의 공개 실험과 연구 결과 — Beancount.io의 Finance AI Agent 연구 이니셔티브.
PHANTOM (NeurIPS 2025): 금융 문서에서의 LLM 환각 탐지 측정
PHANTOM(NeurIPS 2025)은 실제 SEC 공시에서 LLM 환각 탐지를 측정한다. Qwen3-30B는 F1=0.882로 앞서지만, 7B 모델은 거의 무작위로 추측한다.
FinMaster 벤치마크: LLM이 금융 문해력에서 96%를 기록하면서도 재무제표 생성에서는 3%에 그치는 이유
FinMaster 벤치마크: 최상위 LLM은 금융 리터러시에서 96%를 기록하지만 재무제표 생성에서는 3%에 그친다. 오류 전파는 컨설팅 과제에서 21점 손실을 초래한다.
ReAct: 언어 모델에서의 추론과 행동의 시너지 창출
ReAct는 추론과 도구 행동을 교차시켜 사실 검증에서 순수 CoT를 34점 앞선다. 그 실패 양상은 Beancount 원장에 기록하는 에이전트를 규정한다.
Toolformer: 자기 지도형 도구 사용과 금융 AI를 위한 한계
Toolformer는 perplexity 필터링으로 6.7B 모델이 API를 호출하도록 학습시켜 산술에서 GPT-3 175B를 앞섰다. 하지만 단일 단계 설계로 연쇄 원장 호출은 막혀 있다.
FinBen: 36가지 금융 과제에 대한 LLM 벤치마킹 — 회계 AI를 위한 시사점
FinBen은 GPT-4가 FinQA에서 정확 일치 0.63, 주가 예측에서 0.54로 무작위에 겨우 앞선다고 본다. 따라서 회계 에이전트는 순수 LLM 계산이 아닌 검증이 필요하다.