본문으로 건너뛰기

Bean Labs 연구 로그

TAT-LLM: 파인튜닝된 7B LLaMA 2, 금융 QA에서 GPT-4를 능가하다

게시됨 마지막 업데이트 약 4분Mike ThriftMike Thrift
TAT-LLM: 파인튜닝된 7B LLaMA 2, 금융 QA에서 GPT-4를 능가하다

논문: https://arxiv.org/abs/2401.13223

이 페이지에서

검색과 지식 주입에 집중한 한 주를 보낸 뒤, 질문의 다른 측면을 살펴보고 싶었다: 과제가 잘 정의되어 있을 때 표적화된 파인튜닝이 실제로 무엇을 제공하는가? TAT-LLM(arXiv:2401.13223, ICAIF 2024)은 이에 대한 명확한 답 중 하나다: 구조화된 파이프라인으로 LLaMA 2를 금융 표-텍스트 QA 벤치마크에서 파인튜닝하여 GPT-4를 능가한다. 핵심은 늘 그렇듯 세부 사항에 있다.

논문​

NUS의 NExT++ 소속 Fengbin Zhu, Ziyang Liu, Fuli Feng, Chao Wang, Moxin Li, Tat-Seng Chua는 표와 텍스트가 혼합된 데이터에 대한 이산 추론을 위해 파인튜닝된 LLaMA 2 모델인 TAT-LLM을 제시한다. 핵심 문제는 금융 보고서에 관한 수치적 질문에 답하는 것이다 — 표에서 특정 행을 찾아 두 개의 숫자를 추출하고, 다단계 산술 연산을 수행하여 답에 도달해야 하는 종류의 질문이다. 이는 사람들이 10-K 공시 자료를 읽을 때 하는 일과 정확히 같다.

저자들은 대형 모델을 종단 간(end-to-end)으로 구동하는 대신, 과제를 세 가지 명시적 단계로 분해한다: 문서에서 관련 수치 증거를 식별하는 추출기(Extractor), 산술 표현식을 작성하는 추론기(Reasoner), 그리고 표현식을 결정론적으로 평가하는 실행기(Executor)다. 훈련 데이터는 기존의 전문가 주석 데이터셋 — FinQA, TAT-QA, TAT-DQA — 으로부터 각 인스턴스에 중간 추출 및 추론 단계를 주석화하여 자동으로 생성된다. 파인튜닝은 7B, 13B, 70B 세 가지 LLaMA 2 규모에 걸쳐 LoRA를 사용한다.

핵심 아이디어​

  • 파이프라인 분해가 종단 간보다 우수하다: 외부 실행기(결정론적 산술)만으로도 7B 모델의 FinQA에서 +16.66 EM 포인트가 추가된다. 산술은 모델이 수행하기 더 어려운 것이 아니다 — 단지 자연어로 일어날 때 극도로 불안정할 뿐이다.
  • 7B가 세 벤치마크 모두에서 GPT-4를 능가한다: TAT-LLM 7B는 FinQA에서 64.60% EM(GPT-4의 63.91% 대비), TAT-QA에서 74.56% EM(71.92% 대비), TAT-DQA에서 69.45% EM(64.46% 대비)을 기록한다. TAT-DQA에서의 격차가 거의 5포인트로 가장 설득력 있다.
  • 추출이 제한적 실패 모드다: 오류 분석에 따르면 오류의 48%가 잘못된 증거 추출에서 비롯된다 — 모델이 잘못된 행, 잘못된 열을 선택하거나 익숙하지 않은 금융 용어 때문에 숫자를 잘못 읽는 것이다. 잘못된 연산자는 19%에 불과하다.
  • 규모는 제한적으로 도움이 된다: 공동 훈련된 70B 변형(TAT-LLM-All)은 FinQA를 76.81% EM으로, TAT-QA를 81.42% F1으로 끌어올리며 이는 의미 있는 개선이다. 그러나 7B 모델이 이미 GPT-4를 능가한다는 것은 파이프라인 구조가 파라미터 수보다 더 중요함을 시사한다.
  • 인간 전문가는 여전히 훨씬 앞서 있다: TAT-QA에서 인간 성능은 90.8% F1이고, TAT-LLM의 최고 결과는 81.42% F1이다. 이 격차는 실재하며 논문에서도 인정된다.

견고한 부분 — 그리고 그렇지 않은 부분​

핵심 기술적 기여는 탄탄하다: 산술을 결정론적 실행기에 위임하는 것은 분명히 올바른 선택이며, 소거 실험(ablation)이 이를 설득력 있게 입증한다. 이는 PAL과 유사한 연구에서 나온 잘 알려진 교훈이지만, 특정 금융 벤치마크에서 정량화된 것(+16.66 포인트)을 보는 것은 가치 있는 확인이다.

내가 더 회의적인 부분은 "GPT-4를 능가한다"는 헤드라인 주장이다. FinQA에서의 차이는 0.69 EM 포인트로 — 사실상 오차 범위 내이며, GPT-4 수치는 제로샷 또는 가볍게 프롬프팅된 평가를 반영한 것이지, 사고의 연쇄(chain-of-thought), 퓨샷 예시 또는 자체 코드 인터프리터를 갖춘 GPT-4가 아니다. Python 도구 사용으로 프롬프팅된 GPT-4라면 거의 확실히 이 수치들을 능가할 것이다. 비교가 틀린 것은 아니지만, 초록이 시사하는 "전문화가 이긴다"는 이야기와는 정확히 일치하지 않는다.

평가 누출(evaluation leakage)에 대한 상당한 우려도 있다. 모델은 FinQA, TAT-QA, TAT-DQA의 훈련 분할에서 파인튜닝되고 그들의 테스트 분할에서 평가된다. 이는 좁은 분포 내(in-distribution) 설정이다. 논문에는 모델이 훈련 중에 한 번도 보지 못한 홀드아웃 금융 QA 과제가 포함되어 있지 않으므로, 새로운 문서 유형이나 새로운 산술 패턴으로의 일반화는 입증되지 않은 채로 남는다.

4,096 토큰 컨텍스트 제한은 실제 금융 보고서에 있어 실질적인 결정적 장애물이다. 전형적인 10-K는 100페이지를 넘고, 단일 분기 보고서조차 종종 4,096 토큰을 초과한다. 설명된 모델은 청킹 없이는 설계된 입력을 처리할 수 없으며, 논문은 증거가 여러 청크에 분산될 때 추출이 어떻게 저하되는지 다루지 않는다.

이것이 금융 AI에 중요한 이유​

추출기-추론기-실행기 분해는 Beancount 에이전트에 직접 적용된다. 사용자가 "2025년 1분기 총 식비 지출은 2024년 1분기와 비교해 얼마였나?"라고 물을 때, 자연스러운 구조는 다음과 같다: 관련 거래를 찾고(추출), 집계 표현식을 작성하고(추론), 원장에 대해 실행한다(실행). TAT-LLM의 오류 분석은 구체적인 예측을 한다: Beancount 에이전트가 가장 자주 실패하는 곳은 추출 단계 — 잘못된 계정 범주, 누락된 거래, 잘못 읽은 금액 — 이지 산술이 아니다.

LoRA 파인튜닝 접근 방식은 Beancount 전용 모델을 구축하는 사람에게도 관련이 있다. 훈련 데이터 생성 전략 — 전문가 주석 QA 쌍을 가져와 중간 단계로 주석화하는 것 — 은 원장 전용 추론 데이터셋을 구축하는 바로 그 방법이다. 원장 항목의 소스 데이터가 있으므로 (질문, 추출, 표현식, 답) 튜플을 자동으로 생성할 수 있다.

컨텍스트 제한이 가장 큰 장애물이다. 프로덕션 수준의 Beancount 에이전트는 수년치 항목에 대해 추론해야 한다. 논문의 모델은 그렇게 하지 못한다; 그것은 실용적으로 사용 가능해지려면 청킹, 검색 또는 더 큰 컨텍스트 윈도우로 확장되어야 하는 단문 문서 QA를 위한 강력한 기준선이다.

다음에 읽을 것​

  • FinQA (arXiv:2109.00122, EMNLP 2021) — TAT-LLM이 평가되는 원래 벤치마크; 이를 읽으면 "금융 데이터에 대한 이산 추론"이 정확히 무엇을 의미하는지, 그리고 LLM 이전의 초기 최신 기술이 어땠는지가 명확해진다.
  • TAGOP (TAT-QA 논문의 일부, arXiv:2105.07624, ACL 2021) — TAT-QA 과제를 정의한 표 인식 연산자 모델; 규칙 기반 연산자 선택이 어떤 모습인지 이해하면 LLM 기반 추론기 단계가 대체하는 것에 대한 참조점을 얻을 수 있다.
  • AuditCopilot (arXiv:2512.02726) — 실제 원장 데이터에 대한 분개 시험 이상 탐지에서 LLaMA와 Gemma를 벤치마킹한다; TAT-LLM 이후의 자연스러운 후속 질문은 동일한 파인튜닝 접근 방식이 QA 대신 이상 탐지로 전이되는지 여부다.

출처: https://beancount.io/ko/bean-labs/research-logs/2026/05/21/tat-llm-specialized-language-model-discrete-reasoning-tabular-textual

게시됨: 2026년 5월 21일

마지막 업데이트: 2026년 11월 14일