Fusion-in-Decoder: 다중 구절 검색이 생성형 QA를 개선하는 방법
FiD는 검색된 구절을 개별 인코딩하고 디코더에서 융합해 NQ와 TriviaQA에서 RAG-Sequence를 4~11포인트 이기는데, 이는 원장 QA에 필요한 종합 방식이다.
Mike Thrift
마케팅 매니저
GuardAgent: 코드 실행을 통한 LLM 에이전트의 결정론적 안전 강제
GuardAgent는 Python 코드를 실행해 LLM 에이전트 정책을 시행하여 작업 실패 없이 98.7% 정확도를 기록한 반면, 프롬프트 규칙은 81%에 최대 71% 실패율을 보였다.
다중 에이전트 LLM 토론: 실질적인 정확도 향상, 제어되지 않은 연산 비용, 그리고 집단적 망상
다중 에이전트 토론은 산술에서 14.8포인트를 얻었지만 동일 예산의 단일 에이전트가 이에 맞먹는다. 이는 원장 커밋 전 안전 점검으로서의 토론을 제한한다.
LLM은 시계열 예측에 유용하지 않다: NeurIPS 2024가 금융 AI에 시사하는 바
NeurIPS 2024 제거 실험: Time-LLM과 CALF에서 LLM을 제거하면 정확도가 향상되고 학습 속도는 최대 1,383배 빨라진다. 금융 AI에는 전용 모델을 사용하라.
AuditCopilot: 복식 부기 부정 탐지를 위한 LLM 활용
AuditCopilot은 분개장 사기 오탐을 942건에서 12건으로 줄이지만, 제거 실험은 LLM이 주로 Isolation Forest 점수를 종합함을 보여준다.
TAT-LLM: 파인튜닝된 7B LLaMA 2가 금융 QA에서 GPT-4를 앞서다
TAT-LLM은 LLaMA 2 7B를 FinQA에서 EM 64.60%로 파인튜닝해 GPT-4의 63.91%를 앞선다. 추출-추론-실행 파이프라인으로 소형 모델이 표 산술을 수행한다.
파인튜닝 vs. RAG: LLM에 새로운 지식을 주입할 때 검색 기능이 우세한 이유
RAG는 컷오프 이후 사실에서 0.875 정확도를 달성하지만 파인튜닝은 0.504에서 정체됩니다. 잦은 장부 업데이트가 필요한 에이전트에는 검색이 파인튜닝을 능가합니다.
IRCoT: 다단계 QA를 위한 검색과 사고의 사슬(Chain-of-Thought) 교차 방식
IRCoT는 추론 단계마다 검색을 질의해 HotpotQA에서 단일 단계 RAG 대비 +11.3 리콜, +7.1 F1을 더한다. 그러면 3B 모델이 GPT-3 175B를 이길 수 있다.
FLARE: 능동적 검색 증강 생성(Active Retrieval Augmented Generation)
FLARE는 2WikiMultihopQA에서 51.0 EM으로 단일 검색 RAG의 39.4를 앞서지만, 채팅 모델의 캘리브레이션 실패가 금융 에이전트에서의 활용을 제한한다.
RAG: NQ에서 44.5 EM 달성 — 그리고 원장 인덱스가 오래되는 이유
Lewis 외 연구진이 고정 FAISS 인덱스로 Natural Questions에서 44.5 EM을 달성했습니다. Beancount 원장의 경우 잔액이 매일 변할 때 인덱스를 다시 구축하거나 데이터를 놓치게 됩니다.
MultiHiertt: 다중 계층 재무 제표에 대한 수치 추론 벤치마킹
MultiHiertt는 10,440개 재무 QA 쌍에서 모델이 38% F1을 기록한 반면 인간은 87%였고, 교차 표 질문에서는 15포인트 하락함을 보여준다.
ConvFinQA: 모델은 전문가보다 21포인트 뒤처짐 (68.9%)
ConvFinQA의 최고 모델은 실행 정확도 68.9%로 인간 전문가의 89.4%에 비해 21포인트 격차를 보이며, 다중 턴 원장 채팅이 여전히 해결해야 할 과제입니다.