TAT-QA: 재무 연례 보고서 추론을 위한 하이브리드 표-텍스트 질의응답 벤치마크
TAT-QA의 표-텍스트 혼합 질문은 금융 AI의 병목이 산술이 아니라 근거 접지임을 보여줬다. 파인튜닝된 7B LLM은 2024년까지 83% F1을 기록했다.
Mike Thrift
마케팅 매니저
FinQA: 재무 보고서의 AI 수치 추론 능력을 측정하는 벤치마크
FinQA는 신경망 모델이 재무 보고서 산술에서 61%를 기록한 반면 인간 전문가는 91%였고, 3단계 이상 프로그램에서는 22%로 급락했음을 밝혔다.
FinanceBench: 왜 벡터 저장소 RAG가 실제 금융 문서에서 실패하는가
FinanceBench는 10,231개의 실제 SEC 공시 질문으로 16개 AI 구성을 테스트했는데, 공유 벡터 저장소 RAG는 19%만 정답을 맞혀 검색이 병목이 아님을 보여준다.
DSPy: 취약한 프롬프트 엔지니어링을 컴파일된 LLM 파이프라인으로 대체하기
DSPy의 컴파일러는 Llama2-13b를 GSM8K에서 9.4%에서 46.9%로 끌어올려, 금융 AI 파이프라인을 유지보수 가능한 선언적 LLM 호출로 이끈다.
LATS: 언어 에이전트 트리 탐색 — 추론, 행동, 계획을 하나의 프레임워크로
LATS는 ReAct, Tree of Thoughts, Reflexion을 하나의 MCTS 프레임워크로 통합해 GPT-4로 HumanEval에서 92.7% pass@1을 기록한다.
Self-RAG: LLM을 위한 적응형 검색 및 자기 비판
Self-RAG는 언제 검색하고 스스로 결과를 채점할지 LLM이 결정하도록 학습시켜 PopQA에서 55.8%, FactScore에서 80.2를 기록하며 다섯 벤치마크에서 ChatGPT를 앞선다.
보이저: 스킬 라이브러리가 아이템 발견율을 3.3배 향상
보이저의 영구 코드 스킬 라이브러리는 미세 조정 없이 이전 최고 성능(SOTA)보다 3.3배 많은 마인크래프트 아이템을 발견합니다—원장 에이전트가 필요한 재사용 패턴입니다.
HippoRAG: 2Wiki에서 89.1% Recall@5 대 ColBERT 68.2%
HippoRAG의 OpenIE+PageRank 메모리는 2WikiMultiHopQA에서 68.2% ColBERTv2 대비 89.1% Recall@5를 달성—다년도 원장을 위한 경로 인식 검색.
AgentBench: LLM을 에이전트로 평가하기 — 금융 AI 신뢰성을 위한 교훈
AgentBench는 GPT-4에 4.01점, 최고 오픈소스 LLM에 0.96점을 주었다. 이러한 실패는 실시간 원장에서 Beancount 기록 에이전트를 망가뜨리는 바로 그 요인이다.
BloombergGPT와 금융 도메인 특화 LLM의 한계
BloombergGPT는 569B 금융 토큰으로 학습했지만, 금융 사전 학습이 없는 GPT-4가 그에 필적했다. 회계 에이전트에는 모델 내부보다 도구 사용이 낫다.
AutoGen: 금융 AI를 위한 멀티 에이전트 대화 프레임워크
AutoGen의 두 에이전트 대화는 MATH 정확도를 55%에서 69%로 끌어올리고, SafeGuard 에이전트는 안전하지 않은 코드 탐지에서 최대 35 F1 포인트를 더한다.
Gorilla: 리트리버 인식 학습(Retriever-Aware Training)을 통해 LLM API 환각을 78%에서 11%로 줄이는 방법
Gorilla의 검색 인식 학습(Retriever-Aware Training)은 LLM API 환각률을 78%에서 11%로 낮추어, 항목을 기록하는 금융 에이전트에 충분히 신뢰할 만한 도구 호출을 만든다.