생각의 사슬 프롬프팅: 금융 AI를 위한 정밀도-재현율 트레이드오프
사고 연쇄 프롬프팅은 정밀도를 높이지만 희귀 금융 이벤트에서 재현율을 떨어뜨릴 수 있어, 사기 탐지 에이전트가 마땅히 표시해야 할 이상 징후를 놓칠 수 있다.
Mike Thrift
마케팅 매니저
PHANTOM (NeurIPS 2025): 금융 문서에서의 LLM 환각 탐지 측정
PHANTOM(NeurIPS 2025)은 실제 SEC 공시에서 LLM 환각 탐지를 측정한다. Qwen3-30B는 F1=0.882로 앞서지만, 7B 모델은 거의 무작위로 추측한다.
FinMaster 벤치마크: LLM이 금융 문해력에서 96%를 기록하면서도 재무제표 생성에서는 3%에 그치는 이유
FinMaster 벤치마크: 최상위 LLM은 금융 리터러시에서 96%를 기록하지만 재무제표 생성에서는 3%에 그친다. 오류 전파는 컨설팅 과제에서 21점 손실을 초래한다.
ReAct: 언어 모델에서의 추론과 행동의 시너지 창출
ReAct는 추론과 도구 행동을 교차시켜 사실 검증에서 순수 CoT를 34점 앞선다. 그 실패 양상은 Beancount 원장에 기록하는 에이전트를 규정한다.