AD-LLM 벤치마크: GPT-4o, 텍스트 이상 탐지에서 제로샷 AUROC 0.93+ 달성

이 시리즈의 지난 두 게시물에서는 표 형식 이상 탐지에 대한 미세 조정(fine-tuned) 및 프롬프트 엔지니어링 접근 방식인 AnoLLM과 CausalTAD를 다루었습니다. 이러한 방식들을 실제 운영 환경에 배포하기 전에, 더 넓은 범위의 이상 탐지 패러다임에서 LLM이 실제로 어느 위치에 있는지 파악해야 합니다. 이것이 바로 AD-LLM의 명시적인 목표입니다. AD-LLM은 제로샷 탐지기(zero-shot detector), 데이터 증강 엔진(data augmentation engine), 모델 선택 조언자(model selection advisor)라는 세 가지 별개의 역할에 걸쳐 LLM을 벤치마킹합니다. 비록 표 형식의 장부 항목보다는 NLP 텍스트 데이터에 초점을 맞추고 있지만, 방법론적 교훈은 그대로 전이됩니다.

논문 소개

USC와 Texas A&M의 Tiankai Yang, Yi Nian 및 동료들은 NLP 데이터셋의 세 가지 이상 탐지 패러다임에서 LLM을 체계적으로 평가하는 최초의 벤치마크인 AD-LLM(arXiv:2412.11142, ACL Findings 2025)을 소개했습니다. 설정은 1클래스 분류(one-class classification)입니다. 즉, 훈련 데이터에는 정상 샘플만 포함되며, 모델은 테스트 시점에 이상 징후를 식별해야 합니다. 사용된 5개의 데이터셋(AG News, BBC News, IMDB Reviews, N24 News, SMS Spam)은 모두 하나의 카테고리를 이상치로 지정한 텍스트 분류 작업에서 파생되었습니다. 이 논문은 GPT-4o와 Llama 3.1 8B Instruct라는 두 가지 LLM을 엔드투엔드 방식(CVDD, DATE) 및 2단계 임베딩+탐지기 조합(OpenAI 임베딩 + LUNAR, LOF, Isolation Forest 등)을 포함하는 18개의 기존 비지도 학습 베이스라인과 비교합니다.

주요 개념

• 텍스트에 대한 제로샷 탐지가 효과적입니다. GPT-4o는 정상+이상 설정의 5개 데이터셋에서 0.9293–0.9919의 AUROC를 기록했으며, Llama 3.1은 0.8612–0.9487에 도달했습니다. 가장 우수한 기존 베이스라인인 OpenAI + LUNAR는 AG News에서 약 0.92를 기록했는데, GPT-4o는 훈련 없이도 이를 능가하거나 대등한 성능을 보였습니다.
• 합성 데이터 증강이 일관되게, 하지만 소폭으로 도움이 됩니다. LLM이 생성한 합성 샘플은 5개 데이터셋 모두에서 OpenAI + LUNAR 파이프라인을 개선했습니다. 카테고리 설명 증강 또한 대부분의 베이스라인을 개선했지만, 이득은 불균등했습니다. Llama 3.1은 IMDB Reviews에서 AUROC를 0.07 향상시켰으나 다른 곳에서는 그 효과가 더 작았습니다.
• 모델 선택이 취약한 고리입니다. GPT-o1-preview는 대부분의 데이터셋에서 평균 베이스라인 성능을 넘어서는 모델을 추천하며, 때때로 최상의 방식에 근접하기도 했습니다(예: IMDB Reviews 및 SMS Spam). 그러나 최고 성능의 모델을 안정적으로 식별하지는 못했으며, 저자들은 추천이 데이터셋별 통계가 부족한 단순한 입력을 기반으로 한다는 점을 인정했습니다.
• 오픈소스와 상용 모델 간의 격차가 실재합니다. Llama 3.1 8B에 대한 GPT-4o의 AUROC 우위는 데이터셋에 따라 4~13포인트였으며, 이는 제로샷 표 형식 이상 탐지 논문에서 보여준 패턴과 일치합니다.
• NLP 이상 탐지에는 여전히 결정적인 벤치마크가 부족합니다. 분류 코퍼스에서 파생된 5개의 데이터셋은 다소 부족합니다. 자매 논문인 NLP-ADBench(EMNLP Findings 2025)는 8개의 데이터셋과 19개의 알고리즘으로 확장되었으나, 여전히 의미론적 범주를 이상치로 간주하는 구성을 사용하고 있어 이러한 작업들이 다소 인위적일 수 있습니다.

유효한 점과 그렇지 않은 점

제로샷 결과는 신뢰할 수 있습니다. 레이블이 지정된 이상 데이터 없이 LLM을 점수 측정기로 사용하는 것은 스팸 메시지와 일반 메시지의 차이처럼 이상 범주가 의미론적으로 일관될 때 진정으로 유용합니다. 이는 잘 훈련된 언어 모델이 이해할 수 있는 방식이기 때문입니다. AUROC 수치는 높으며, 강력한 OpenAI 임베딩 기반 베이스라인과의 비교도 공정합니다.

하지만 논문에서 과소평가된 측면에서 그 범위가 좁습니다. 5개의 데이터셋 모두 이상치를 다른 주제 카테고리로 인코딩합니다(예: 스팸 대 일반 SMS, 특정 언론사 뉴스 대 분포 내 뉴스). 이는 LLM이 본질적으로 주제 분류(topic classification)를 수행하고 있음을 의미하며, 이는 LLM이 명시적으로 사전 학습된 작업입니다. 이 벤치마크는 동일한 계정 유형 내의 비정상적인 거래와 같이 단일 범주 내의 의미론적 이상치를 포함하지 않는데, 이는 금융 감사에서 정확히 중요한 종류의 이상 징후입니다.

데이터 증강 및 모델 선택 작업도 동일한 5개 데이터셋에서 평가되므로, 결과적으로 이 논문은 LLM이 동일한 좁은 문제의 약간 다른 측면을 아주 조금 더 낫게 만들 수 있는지 벤치마킹하는 셈이 됩니다. 저자들은 모델 선택을 위해 단순한 입력에 의존하고, 소수샷(few-shot) 및 미세 조정 방식을 제외하며, 일부 LLM만 테스트했다는 점을 포함하여 6가지 한계점을 솔직하게 나열했습니다. 이는 학술적으로 정직하지만, 이 벤치마크가 얼마나 초기 단계인지를 보여주기도 합니다.

회의적인 시각에서 주목할 만한 결과가 하나 있습니다. 두 모델 모두 AUPRC 점수가 AUROC보다 상당히 낮다는 점입니다. BBC News에서 Llama 3.1은 AUROC 0.8612에 도달했지만 AUPRC는 0.3960에 불과했는데, 이는 1클래스 설정에서의 클래스 불균형을 반영합니다. 높은 정밀도가 요구되는 감사 환경에서는 AUPRC가 더 의미 있는 지표이며, 이 지표로 보면 상황은 덜 낙관적입니다.

금융 AI에 이것이 중요한 이유

Bean Labs의 아젠다에는 두 가지 이상 탐지 사용 사례가 포함됩니다. 실시간으로 비정상적인 장부 항목을 포착하는 것(표 형식, 구조화 데이터)과 송장, 메모 또는 고객 지원 티켓에서 의심스러운 서술형 텍스트를 식별하는 것(비구조화 NLP)입니다. AD-LLM은 두 번째 사례에 직접적으로 해당하며 현실적인 상한선을 제시합니다. GPT-4o는 깨끗하고 균형 잡힌 데이터셋에서 0.93 이상의 AUROC로 텍스트의 주제 수준 이상치를 제로샷으로 탐지할 수 있습니다. 이는 유용한 사전 지식이지만, 장부 적요(narrative) 이상치는 더 미묘합니다. 일상적인 서비스를 설명하지만 의심스러운 패턴으로 플래그가 지정된 공급업체에 속한 송장 메모는 주제 분류 문제가 아닙니다. 이 벤치마크는 시작점일 뿐 정답은 아닙니다.

모델 선택 결과는 시스템 설계 측면에서 별도로 흥미롭습니다. LLM에게 "이 데이터셋에 어떤 이상 탐지기를 사용해야 할까?"라고 묻고 신뢰할 수 있는 답변을 얻으려는 꿈은 아직 실현되지 않았습니다. 즉, AnoLLM 스타일의 미세 조정, CausalTAD 스타일의 인과 프롬프팅 또는 전통적인 임베딩 방법 중 무엇을 선택할지는 여전히 인간의 판단이나 체계적인 실증적 평가가 필요하며, 이를 LLM 조언자에게 위임할 수 없습니다.

다음 읽을거리

• NLP-ADBench (arXiv:2412.04784, EMNLP Findings 2025) — 같은 그룹의 자매 벤치마크로, 8개의 데이터셋과 19개의 알고리즘을 다룹니다. AD-LLM의 5개 데이터셋 규모가 제공하지 못하는 더 넓은 전통적 베이스라인 컨텍스트를 제공합니다.
• Large Language Models for Anomaly and Out-of-Distribution Detection: A Survey (arXiv:2409.01980, NAACL Findings 2025) — 텍스트, 이미지 및 표 형식 양식에 걸친 LLM 기반 이상 탐지 접근 방식의 전체 환경을 조사합니다. 이전 작업들에 비해 AD-LLM이 차지하는 위치를 보충해 줍니다.
• AnoLLM: Large Language Models for Tabular Anomaly Detection (OpenReview:7VkHffT5X2, ICLR 2025) — 표 형식 데이터에 대한 대응물입니다. 이 논문의 우도 기반(likelihood-based) 접근 방식과 AD-LLM의 프롬프트 기반 제로샷 전략을 비교하면 Beancount 장부 항목에 어떤 패러다임이 더 적합한지 명확해집니다.