여기 한번 생각해볼 만한 숫자가 있습니다: 2026년 중반 기준, 자동화된 요청은 웹 전체 HTML 트래픽의 57% 이상을 차지하며, 인터넷 역사상 처음으로 실제 인간 방문자 수를 넘어섰습니다. 그리고 그 트래픽 중 상당하고 빠르게 성장하는 부분은 Googlebot이 검색 결과에 표시되도록 사이트를 색인하는 것이 아닙니다. 이는 블로그 게시물, 제품 페이지, 문서를 긁어 모아 모델을 훈련시키거나 챗봇에서 질문에 답변하는 AI 크롤러로, 종종 인간이 실제로 사이트를 클릭하는 경우는 전혀 없습니다.
Cloudflare 뒤에서 웹사이트를 운영한다면 (그리고 중소기업 웹의 상당 부분이 그렇습니다, 알든 모르든) 2026년 9월 15일에 적용되는 정책 변경은 누가 귀하의 콘텐츠를 무료로 읽을 수 있고, 누가 비용을 지불해야 하며, 누가 아예 차단되는지를 조용히 재편할 것입니다. 그 전에 설정을 확인하지 않으면 Cloudflare가 대신 결정을 내릴 것입니다.
다음은 실제로 무슨 일이 일어나고 있는지, 그것이 귀하의 수익에 왜 중요한지, 그리고 어떻게 대처해야 하는지입니다 — Cloudflare 대시보드를 한 번도 열어본 적이 없더라도 말입니다.
Cloudflare가 실제로 변경한 사항
Cloudflare는 콘텐츠 전송 네트워크 및 보안 계층으로서 인터넷의 상당 부분 앞에 위치하여, 봇 트래픽을 대규모로 보고 제어할 수 있는 독특한 위치에 있습니다. 2025년, 이는 Pay Per Crawl이라는 실험적 기능을 출시했습니다: 사이트 소유자는 스위치를 켜고 AI 회사가 크롤러가 페이지를 가져올 때마다 페이지당 수수료를 청구할 수 있으며, 모호한 HTTP 402 Payment Required 상태 코드를 사용하여 봇에게 "돈을 내지 않으면 들어올 수 없다"고 알립니다.
그 실험은 이후 Pay Per Use라는 더 광범위한 개념으로 발전했으며, 새로운 Monetization Gateway와 결합되었습니다. 사고의 전환은 미묘하지만 중요합니다: 봇이 단순히 페이지를 가져올 때마다 AI 회사에 요금을 청구하는 대신 (이는 조작하기 쉽고 실제 가치를 반영하지 않음), 새로운 모델은 귀하의 콘텐츠가 실제로 가치를 창출할 때 요금을 청구하는 방향으로 전환됩니다. 예를 들어, AI 생성 답변에서 인용되거나, AI 에이전트가 사용자를 위해 특정 작업을 완료하기 위해 특정 데이터를 가져올 때입니다. 이 접근 방식을 취하는 초기 파트너에는 콘텐츠가 결과에 표시될 때 게시자에게 비용을 지불하는 AI 검색 제품이 있습니다.
이러한 전환과 함께, Cloudflare는 귀하의 사이트에서 AI 봇이 허용되는 방식을 기본적으로 강화하고 있습니다. 2026년 9월 15일부터 Cloudflare는 크롤러를 세 가지 범주로 분류합니다:
- 검색 봇 — AI 기반 검색 결과를 지원하며 일반적으로 여전히 인간 방문자를 귀하의 사이트로 보내는 크롤러입니다. 이들은 여전히 발견과 트래픽을 유도하므로 기본적으로 허용됩니다.
- 에이전트 봇 — 사용자를 위해 작업을 완료하는 AI 에이전트를 대신하여 행동하는 크롤러입니다 (예약, 가격 비교, 페이지 요약).
- 훈련 봇 — 전적으로 귀하의 콘텐츠를 긁어 모아 모델을 훈련시키는 것이 목적이며, 귀하에게 방문자 유발 혜택이 전혀 없는 크롤러입니다.
논란의 여지가 있는 부분은 Cloudflare가 "혼합 용도" 크롤러라고 부르는 것입니다 — 이러한 목적 중 둘 이상을 혼합한 봇으로, 특정 요청이 귀하에게 고객을 보낼지 아니면 단순히 콘텐츠를 무료로 채굴할지 판단하기 어렵게 만듭니다. 9월 15일부터 Cloudflare는 사이트 소유자가 수동으로 설정을 변경하지 않은 경우 광고를 게재하는 모든 페이지에서 혼합 용도 크롤러를 기본적으로 차단합니다. 이 새로운 기본값은 신규 Cloudflare 고객, 기존 고객이 생성한 신규 사이트, 그리고 특히 모든 무료 요금제 계정에 적용되며, 이는 수많은 중소기업 및 개인 사이트를 포함합니다.
이러한 설정을 한 번도 건드린 적이 없어도 중요한 이유
이것을 "대형 게시자 문제"로 치부하고 넘어가고 싶을 수 있습니다. 그렇지 않습니다. 이 변화가 중소기업 소유주에게 직접적으로 영향을 미치는 몇 가지 이유는 다음과 같습니다:
아무것도 하지 않아도 기본값이 곧 변경됩니다. 귀하의 사이트에 광고가 게재되고 (제휴 링크나 디스플레이 광고 네트워크처럼 아주 소박한 것이라도) Cloudflare의 무료 요금제를 사용 중이거나 9월 15일 이후에 새 사이트를 시작한다면, 새로운 차단 동작이 자동으로 적용됩니다. 영향을 받으려면 동의할 필요가 없습니다 — 동의하지 않으면 해제를 선택해야 합니다.
AI 기반 트래픽은 귀하가 어떻게 분류되는지에 따라 증가하거나 감소하고 있습니다. AI 크롤러 행동에 대한 최근 데이터에 따르면, 확인된 봇 트래픽의 약 20%가 이제 AI 크롤러에서 발생하며, 추가로 6-7%는 AI 검색 봇에서 발생합니다. 그리고 AI 관련 크롤러 요청은 1년 조금 넘는 기간 동안 크롤러 트래픽에서 차지하는 비중이 두 배 이상 증가했습니다. 이 트래픽 중 일부는 진정으로 가치가 있습니다 (귀하의 페이지를 인용하고 독자를 보내는 AI 답변 엔진). 일부는 순수한 추출입니다 — 귀하의 콘텐츠를 데이터 세트에 복사하여 단 한 명의 방문자도 보내지 않을 훈련 봇입니다.
무차별적으로 차단하면 귀하에게도 해가 될 수 있습니다. "AI가 내 사이트를 무료로 긁어가고 있다"는 말을 듣고 모든 것을 차단하고 싶어질 수 있습니다. 하지만 AI 답변 엔진을 지원하는 검색 지향 봇을 실수로 차단하면 점점 더 중요한 발견 채널에서 사라질 수 있습니다 — Googlebot을 차단하면 유기적 검색 트래픽이 폭락하는 것과 같은 이치입니다. 새로운 버킷 시스템의 요점은 모든 것을 다 허용하거나 차단하는 대신 선택적으로 할 수 있게 하는 것입니다.
이제 실제로 비용을 받을 수 있는 메커니즘이 생겼습니다. 수년 동안 거래는 암묵적이고 일방적이었습니다: 크롤러가 귀하의 콘텐츠를 가져가고, 인간이 링크를 클릭하지 않는 한 귀하는 아무것도 얻지 못했습니다. Pay Per Use는 그 계산을 바꾸기 위한 최초의 주류 인프라 수준의 시도입니다 — 웹사이트가 AI 접근에 실제 가격표를 붙일 수 있게 하여, 페이월이 인간 접근에 가격을 붙이는 것과 같습니다.
9월 15일 이전에 실제로 해야 할 일
하룻밤 사이에 봇 트래픽 전문가가 될 필요는 없습니다. 대부분의 중소기업 사이트의 경우, 올바른 접근 방식은 무시하거나 모든 것에 요금을 청구하는 극단 중 하나가 아니라, 짧고 신중한 감사입니다.
1. Cloudflare가 귀하의 사이트 앞에 있는지 확인하세요
개발자, 에이전시 또는 웹사이트 플랫폼이 호스팅이나 DNS를 설정한 경우 Cloudflare가 관련되어 있는지조차 모를 수 있습니다. DNS 제공업체를 확인하거나 사이트 인프라를 관리하는 사람에게 물어보세요. Cloudflare를 사용하지 않는다면 아직 직접적으로 적용되지 않습니다 — 하지만 업계 추세를 고려할 때 다른 CDN도 유사한 전략을 따를 것으로 예상됩니다.
2. AI 봇 관리 설정을 찾으세요
Cloudflare 대시보드에서 이 설정은 영역 설정의 봇 관리 / AI 크롤 제어 영역에 있습니다. 여기서 검색 / 에이전트 / 훈련 분류와 각각이 사이트에서 어떻게 처리되는지에 대한 제어를 볼 수 있습니다.
3. 범주별로 신중하게 결정하세요
- 검색 지향 AI 봇은 허용 상태로 유지하세요. 이들은 AI 기반 답변이나 검색 결과를 통해 방문자를 보낼 가능성이 가장 높습니다. 온라인에서 발견되기를 원하는 비즈니스의 경우 이를 차단하는 것은 일반적으로 역효과를 냅니다.
- 에이전트 봇에 대해 신중히 생각하세요. 전자상거래 사이트나 가격/예약 데이터가 있는 사이트를 운영한다면, AI 에이전트가 고객을 대신하여 가격을 비교하거나 구매를 완료할 수 있습니다. 차단하면 그렇지 않으면 얻을 수 있었던 판매를 잃을 수 있고, 허용하면 가격 정보를 무료로 제공할 수 있습니다. 여기에는 보편적인 정답이 없습니다 — 비즈니스 모델에 따라 다릅니다.
- 순수 훈련 봇은 더 편하게 차단하세요, 특히 공개 참조 문서가 아닌 페이지에서 더욱 그렇습니다. 이들은 귀하에게 거의 비즈니스 이점을 제공하지 않으므로, Cloudflare가 도입하는 광고 게재 페이지에 대한 "기본 차단" 동작은 대부분의 소규모 사이트에 합리적인 기본값이며, 무조건 재정의할 사항이 아닙니다.
4. 접근에 대한 요금 청구를 서두르지 마세요
Monetization Gateway는 크고 가치 있는 콘텐츠 라이브러리나 독점 데이터 세트를 가진 게시자를 대상으로 합니다 — 대형 미디어 회사, 연구 데이터베이스, 또는 다른 곳에서는 없는 콘텐츠를 가진 플랫폼을 생각하면 됩니다. 일반적인 중소기업 사이트 (서비스 비즈니스의 블로그, 지역 상점의 제품 페이지, 틈새 뉴스레터)의 경우, 정직한 조언은 아직은 아닙니다입니다. AI 접근에 대해 공격적으로 요금을 청구하면 미래의 고객이 전통적인 검색 대신 점점 더 많이 사용하는 AI 생성 답변에서 조용히 제외될 수 있습니다 — 가시성이 여전히 우선순위라면 원하는 것과 반대입니다.
5. 머릿속이 아닌 달력에 알림을 설정하세요
새로운 기본값이 무료 요금제 및 신규 계정에 자동으로 적용되고, 이는 분명히 진화하는 영역이기 때문에 (Cloudflare는 이미 약 1년 안에 "Pay Per Crawl"에서 "Pay Per Use"로 이동했습니다), 이를 일회성 수정이 아닌 정기적인 점검으로 취급하세요. 광고 지출이나 가격을 재검토하는 것처럼 분기마다 봇 설정을 다시 확인하세요.
더 큰 패턴: AI 트래픽이 비용 항목이 되고 있습니다
한 걸음 물러서면, 이것은 실제로 처음으로 등장하는 새로운 비즈니스 경제학 범주에 대한 이야기입니다: 인간 트래픽의 동인으로서의 콘텐츠와는 별개로, AI 시스템에 대한 수익화 가능한 입력으로서의 콘텐츠. Pay Per Use를 활성화하든 안 하든, 근본적인 변화는 현실입니다 — 귀하의 웹사이트가 창출하는 가치의 일부는 이제 인간 대신 기계에 의해 소비되고 있으며, 마침내 그 가치에 가격을 매길 수 있는 인프라가 등장하고 있습니다.
이는 귀하의 장부를 어떻게 생각해야 하는지에 직접적인 영향을 미칩니다. AI 콘텐츠 수익화를 결국 활성화한다면 (심지어 소액의 Pay Per Use 수익이라도), 이는 광고 수익, 제휴 수입 또는 제품 판매와는 별도로 계정과목표에서 고유한 라인이 필요한 진정한 수입입니다. 이를 일반적인 "기타 수입" 버킷에 혼합하면 1년 후에 간단한 질문에 답하기가 훨씬 어려워집니다: 이것이 실제로 운영 오버헤드 가치가 있는지, 아니면 잡음인지? 동일한 논리가 새로운 생소한 수익 흐름에도 적용됩니다 — 지금 깔끔하게 분리하면 나중에 조정 문제를 방지할 수 있습니다. 특히 Stripe와 같은 결제 처리업체가 관련되어 있고, 정산 보고서를 은행 계좌에 실제로 입금된 금액과 일치시켜야 할 때 더욱 그렇습니다.
콘텐츠 전략만큼 장부도 깔끔하게 유지하세요
어떤 봇을 들여보내고 어떤 봇에 요금을 청구할지 결정하는 것은 비즈니스 결정입니다 — 그리고 다른 비즈니스 결정과 마찬가지로, 그 뒤에 있는 기록만큼만 좋습니다. Beancount.io는 일반 텍스트, 버전 관리 가능한 회계를 제공하므로, AI 콘텐츠 수익화와 같은 새로운 수익 흐름이 스프레드시트에서 길을 잃는 대신 처음부터 깔끔하고 감사 가능한 고유 라인을 얻습니다. 문서를 확인하여 다른 모든 것과 함께 새로운 수입원을 추적하는 것이 얼마나 쉬운지 알아보거나, Fava 대시보드를 탐색하여 수익이 실제로 어디서 오는지 시각적으로 확인하세요. 무료로 시작하기 및 재무 기록을 기술 스택의 나머지 부분만큼 투명하게 유지하세요.