지난달, AI 크롤러가 당신이 게시한 모든 글 — 사용 방법 가이드, 제품 리뷰, 3년치 아카이브 — 를 단 몇 분 만에 읽었을 수도 있습니다. 그것은 당신에게 아무것도 지불하지 않았고, 대가로 거의 어떤 독자도 보내주지 않았습니다. 만약 그 문장이 당신의 속을 뒤집어놓았다면, 이 글은 바로 당신을 위한 것입니다.
수년 동안 소규모 발행인들은 비참한 이중 선택에 직면했습니다: AI 봇을 완전히 차단하여 라이선스 수익이나 추천 트래픽의 기회를 포기하거나, 문을 열어두고 당신의 작업이 무료로 수확되는 것을 지켜보는 것이었습니다. 그 시대는 끝나고 있습니다. 약 5개 웹사이트 중 1개 앞에 있는 네트워크인 Cloudflare가 AI 크롤러를 위한 통행료 징수소를 구축했으며, 이제 거대 미디어 회사뿐만 아니라 일반 사이트 소유자도 사용할 수 있게 되었습니다. 크롤링당 가격을 설정하고, 월별 지급금을 수령하며, 검색 엔진이 정상적으로 작동하도록 유지할 수 있습니다.
이 가이드는 종량제 크롤링이 어떻게 작동하는지, 새로운 차단 기본값이 트래픽에 어떤 의미를 갖는지, 그리고 — 대부분의 보도가 빠뜨리는 부분 — 이 새로운 소액 결제 수익을 장부에 어떻게 기록하여 세금 신고 시즌의 골칫거리가 되지 않도록 하는지 설명합니다.
무엇이 바뀌었나: "가져가든 차단하든"에서 "가격표"로
지난 1년간의 인프라 역사를 짧게 요약하면 다음과 같습니다:
- 2025년 7월 — "콘텐츠 독립 기념일." Cloudflare는 신규 사이트의 기본 설정을 뒤집었습니다: 달리 명시하지 않는 한 알려진 AI 크롤러는 차단됩니다. 더 이상 방화벽 규칙을 뒤져서 옵트아웃(opt-out)할 필요가 없습니다; 옵트아웃이 기본 입장이 되었습니다.
- 종량제 크롤링(비공개 베타, 이후 광범위 출시). Cloudflare 뒤에 있는 사이트 소유자는 전체 도메인에 대해 단일 요청당 가격을 설정할 수 있습니다. AI 크롤러가 나타나면 크롤러당 세 가지 선택지가 있습니다: 허용(무료), 과금(당신의 가격), 또는 차단(완전히). 지불하지 않는 봇은 HTTP
402 Payment Required응답을 받습니다 — 수십 년 동안 거의 사용되지 않다가 이 사용 사례가 부활시킨 상태 코드입니다. - AI 크롤 제어(일반 공개). 이 모든 것을 위한 대시보드 도구인 AI 크롤 제어(이전 명칭: AI 감사)는 이제 어떤 AI 크롤러가 방문하는지, 무엇을 가져가는지 보여주며, 당신의 메시지와 조건을 담은 맞춤형 402 응답을 보낼 수 있게 해줍니다. 이를 통해 크롤러 운영자가 당신에게 연락하여 협상할 수 있습니다.
- 2026년 9월 — 광고 페이지 차단 기본값. Cloudflare는 "혼합 사용" 크롤러 — AI 검색 에이전트 사용과 모델 훈련을 결합한 봇 — 가 기본적으로 광고를 게재하는 페이지에서 차단된다고 발표했습니다. 이는 AI 요약이 광고 기반 페이지가 의존하는 클릭 수익을 빼앗아 간다는 비난을 널리 받고 있기 때문입니다. 이 새로운 기본값은 신규 고객, 기존 고객의 신규 사이트, 그리고 기존 무료 요금제 고객에게 적용됩니다.
- 종량제 크롤링은 "종량제 사용"으로 진화하고 있습니다. 단순히 페이지를 가져올 때만 과금하는 대신, 다음 단계는 당신의 콘텐츠가 AI 답변에 표시될 때 — 즉 실제로 가치를 창출할 때 — 발행인에게 보상하는 것을 목표로 합니다. 이 버전은 아직 초기 단계이지만, 모델이 나아가는 방향을 보여줍니다.
결론: 개인 블로거나 틈새 발행인도 이제 대형 미디어 브랜드가 AI 회사와 콘텐츠 라이선스 계약을 맺을 때 사용하는 것과 동일한 기본 도구 — 가격, 게이트, 지급 파이프라인 — 를 변호사 고용이나 결제 인프라 구축 없이 사용할 수 있게 되었습니다.
종량제 크롤링은 실제로 어떻게 작동하나
메커니즘은 의도적으로 단순합니다:
- 도메인당 하나의 가격을 설정합니다. Cloudflare 대시보드에서 전체 사이트에 적용되는 단일 요청당 고정 가격을 정의합니다. 공개된 최소 금액은 크롤링당 1센트($0.01)입니다.
- 각 크롤러를 분류합니다: 허용, 과금, 또는 차단. 검색 엔진 크롤러는 검색 노출에 필수적이므로 허용 상태를 유지합니다. 알려진 AI 훈련 크롤러는 과금하거나 차단합니다 — 당신의 선택입니다.
- Cloudflare가 판매자 역할을 합니다. 당신은 결제 게이트웨이를 통합하거나, AI 회사에 청구서를 보내거나, 대금을 추적할 필요가 없습니다. Cloudflare가 크롤러 운영자로부터 대금을 징수하고, 소액 청구를 집계하고 조정한 후 월별 지급 일정에 따라 당신에게 송금합니다.
- 미지급 크롤러는 402 응답을 받습니다. 당신의 콘텐츠 대신, 그들은 당신의 가격과 메시지를 담은 "Payment Required" 응답을 받습니다 — 이는 지불하고 다시 오라는 기계가 읽을 수 있는 초대장입니다.
두 가지 실용적인 참고 사항. 첫째, 이 시스템은 스스로를 식별하고 규칙을 따르는 봇에게만 적용됩니다; IP를 바꾸고 사용자 에이전트를 위장하는 진정한 악성 스크레이퍼는 별개의 봇 관리 문제입니다. 둘째, 대부분의 사이트에서 수익은 처음에 작습니다 — 크롤링당 1센트는 트래픽이 많을 때만 의미 있는 금액이 됩니다 — 따라서 이를 추적할 새로운 항목으로 생각하되, 은퇴 자금으로 생각하지 마십시오.
트래픽을 망가뜨리지 않고 설정하기
가장 큰 위험은 너무 적게 버는 것이 아닙니다. 가장 큰 위험은 통제 장치를 잘못 설정하여 실제로 당신의 청구서를 지불하는 인간 방문자와 검색 트래픽을 실수로 질식시키는 것입니다. 이 체크리스트를 순서대로 따르십시오:
1. 무엇이든 건드리기 전에 먼저 재고를 파악하십시오
한 달치 분석 데이터를 뽑으십시오: 트래픽 중 검색에서 오는 비중은 얼마인지, AI 추천에서 오는 비중은 얼마인지, 그리고 어떤 페이지에 광고가 게재되는지 확인하십시오. 광고를 게재하는 페이지는 가장 엄격한 설정이 필요합니다 — 방문자가 AI 요약으로 빠져나가는 모든 방문은 당신이 결코 보지 못할 수익이기 때문입니다.
2. 검색 크롤러는 계속 허용하십시오
AI 크롤러와 검색 크롤러는 서로 다른 집단입니다. 모델을 훈련시키는 봇을 겨냥하면서 당신을 검색 결과에 노출시키는 봇을 차단하지 마십시오. 대시보드에서 허용 목록이 주요 검색 크롤러(Googlebot, Bingbot 등)를 포함하는지 확인한 후에 다른 어떤 것을 과금하거나 차단하십시오.
3. 훈련 크롤러에는 "과금"부터 시작하고, "차단"은 신중하게만 사용하십시오
차단은 만족감을 주지만 문을 닫는 행위입니다: 차단된 크롤러는 지불 고객이 될 수도 없고 추천 소스를 제공할 수도 없습니다. 명확한 402 메시지("라이선스 문의: [email protected]")와 함께 과금하면 협상의 창을 열어둡니다. 당신이 어떤 관계도 원하지 않는 운영자에게만 완전 차단을 예약하십시오.
4. 혼합 사용 크롤러와 광고 페이지에 대한 입장을 결정하십시오
2026년 9월 기본값에 따라, 혼합 사용 크롤러는 광고를 게재하는 페이지에서 자동으로 차단됩니다. 이 기본값은 광고 수익을 보호하지만, AI 쇼핑 어시스턴트나 에이전트가 당신의 제품 페이지에 구매 전환 트래픽을 보낸다면 특정 크롤러를 그곳에서 허용하고 싶을 수도 있습니다. 전역 규칙 하나를 수용하기보다 페이지 유형별로(블로그 콘텐츠 대 쇼퍼페이스) 설정을 검토하십시오.
5. 처음 30일은 매처럼 주시하십시오
과금을 활성화한 후 매주 세 가지 지표를 모니터링하십시오: 봇별 크롤링 볼륨, 대시보드의 지급 발생액, 그리고 검색 및 AI 소스의 인간 추천 트래픽. 검색 노출이 감소하면 당신이 과도하게 차단한 것입니다. 지급액이 발생하지만 도착하지 않으면 지급 상태와 최소 지급 기준을 확인하십시오.
장부 정리: 크롤 수익을 혼란 없이 기록하는 방법
아무도 말해주지 않는 부분이 있습니다: 소액 결제 수익은 아무렇게나 취급하면 회계상 골칫거리가 됩니다. 수백 건의 1센트 단위 청구가 하나의 월별 지급금으로 집계되는 것은 저절로 조정되지 않습니다. 첫날부터 파이프라인을 구축하십시오.
자체 수익 계정을 할당하십시오
크롤 지급금을 일반 "기타 수입"에 섞거나 광고 수익과 혼합하지 마십시오. 그들은 다르게 행동합니다 — 지급인이 다르고, 문서가 다르며, 성장 스토리가 다릅니다 — 그리고 나중에 "이게 그만한 가치가 있나?"라는 질문에 실제 숫자로 답하고 싶을 것입니다. 일반 텍스트 원장에서 이렇게 보입니다:
2026-09-01 * "Cloudflare" "8월 종량제 크롤링 지급금"
Assets:Bank:Checking 18.42 USD
Income:ContentLicensing:PayPerCrawl -18.42 USD나중에 라이선스 계약이나 종량제 사용 지급금을 추가한다면 각각에 자체 하위 계정을 할당하십시오. 지금 계정과목표를 설계하는 데 10분을 투자하면 나중에 수 시간의 정리 작업을 절약할 수 있습니다. 문서에서 수익 계층 구조를 설정하는 방법을 안내합니다. 아직 구축한 적이 없다면 참고하십시오.
대시보드 발생액과 은행 입금액을 조정하십시오
Cloudflare는 소액 청구를 집계하여 월별로 지급하므로, 대시보드의 발생 총액과 당신의 은행 입금액은 같은 달에 1센트까지 일치하는 경우가 거의 없습니다 — 그 사이에는 시점 차이, 조정, 그리고 수수료가 있습니다. 지급금이 실제로 입금되었을 때 장부에 기록하고, 간단한 월별 조정 메모를 유지하십시오: 발생액, 조정액, 수령액, 미결제 잔액. 격차가 몇 퍼센트를 초과한다면 어깨를 으쓱하지 말고 조사하십시오.
지급금을 Cloudflare 청구서와 상계하지 마십시오
호스팅이나 보안 서비스 비용을 Cloudflare에 지불한다면, 지급금은 수익으로, 구독료는 비용으로 별도로 기록하십시오. 이를 하나의 숫자로 상계하면 수익과 비용 모두를 과소 계상하고, 마진을 왜곡하며, 정확히 그것을 평가하려고 할 때 수익 흐름을 보이지 않게 만듭니다.
일반 소득으로 처리하고 서류를 보관하십시오
크롤 지급금은 일반 사업 소득입니다. 선물도 아니고 전통적인 의미의 출판사 로열티도 아닙니다. Cloudflare가 판매자로서 당신에게 송금하므로, 해당 연도의 세금 문서가 지급 파이프라인에서 나올 것으로 예상하십시오 — 모든 월별 지급 명세서를 광고 네트워크 1099를 보관하는 것과 같은 방식으로 세금 서류와 함께 보관하십시오. 1년 차에 지급액이 적더라도 여전히 소득입니다. "너무 작아서 무시해도 된다"는 생각이 바로 과소 신고 벌금이 시작되는 지점입니다.
분기별로 트래픽 비용과 대조하여 검토하십시오
크롤 수익에는 숨겨진 반대 항목이 있습니다: 봇이 방문자를 보내는 대신 당신의 콘텐츠에서 질문에 답할 때 잃게 되는 독자 트래픽입니다. 분기마다 가장 많이 크롤링된 페이지의 지급액 총액을 광고 및 제휴 수익 추세와 비교하십시오. Fava 같은 대시보드를 사용하면 라이선스 수익 흐름을 광고 수익 옆에 차트로 표시하여 그 거래가 실제로 수익성이 있는지 — 아니면 광고 페이지에 대한 더 엄격한 차단이 더 많은 수익을 가져다줄지 — 쉽게 확인할 수 있습니다.
조용히 이익을 잠식하는 실수들
- AI 크롤러와 함께 검색 크롤러를 차단하는 것. 가장 비용이 많이 드는 단일 설정 오류입니다. 변경 후마다 검색 노출을 확인하십시오.
- 크롤 지급금을 광고 수익과 혼합하는 것. 과금이 차단보다 나은지 판단할 수 있는 능력을 잃게 되고, 세무사는 이름 없는 덩어리를 받게 됩니다.
- 세금 신고 시 소득을 잊는 것. 작은 월별 입금액은 11개월 후에 쉽게 간과됩니다. 전용 원장 계정이 당신의 알림 역할을 합니다.
- 가격을 설정하고 다시 검토하지 않는 것. 크롤링당 1센트는 비용이 많이 드는 심층 조사 기사에는 너무 낮은 가치일 수 있고, 상품성 콘텐츠에는 너무 높은 가격일 수 있습니다. 종량제 사용 모델이 성숙해짐에 따라 가격을 재검토하십시오.
- 광고 페이지 기본값을 무시하는 것. 광고를 운영한다면 혼합 사용 크롤러 차단이 해당 페이지에서 활성화되어 있는지 확인하십시오 — 그 기본값은 클릭 수익을 보호하기 위해 특별히 존재합니다.
첫날부터 콘텐츠 수익을 체계적으로 관리하십시오
종량제 크롤링은 당신의 아카이브를 비용 센터에서 미터링된 자산으로 바꿔줍니다 — 단, 그것이 무엇을 버는지 볼 수 있을 때만 가능합니다. 광고, 제휴, 구독과 함께 새로운 소액 결제 흐름을 추적하는 것은 스프레드시트에서 지저분해지기 쉬운 다중 수익원 장부 관리의 전형적인 예입니다. Beancount.io는 재무 데이터에 대한 완전한 투명성과 통제권을 제공하는 일반 텍스트 회계를 제공합니다 — 블랙박스 없음, 벤더 종속 없음. 무료로 시작하기 개발자와 금융 전문가들이 왜 일반 텍스트 회계로 전환하고 있는지 직접 확인해 보십시오.