少し考えてみてほしい数字がある：2026年半ばの時点で、ウェブ上の全HTMLトラフィックの57%以上を自動化されたリクエストが占めており、インターネット史上初めて実際の人間の訪問者数を上回っている。そのトラフィックのかなりの部分であり、急速に成長しているのは、あなたのサイトをインデックスして検索結果に表示させるGooglebotではない。AIクローラーがあなたのブログ記事、製品ページ、ドキュメントをスクレイピングして、モデルを訓練したりチャットボットで質問に答えたりしているのだ。多くの場合、人間があなたのサイトを実際にクリックして訪れることは一切ない。
あなたがCloudflareの背後でウェブサイトを運営しているなら（そして中小企業のウェブのかなりの部分が、知っているかどうかにかかわらずそうである）、2026年9月15日に施行されるポリシー変更により、誰があなたのコンテンツを無料で読めるのか、誰が支払う必要があるのか、誰が完全にブロックされるのかが、静かに再形成される。それまでに設定を確認しなければ、Cloudflareがあなたに代わって決定を下すことになる。
ここでは、実際に何が起こっているのか、それがあなたの収益にどのような影響を与えるのか、そしてそれに対して何をすべきかを説明する。たとえCloudflareのダッシュボードを一度も開いたことがなくても関係ない。
Cloudflareが実際に変更したこと
Cloudflareは、コンテンツ配信ネットワークおよびセキュリティレイヤーとしてインターネットのかなりの割合の前に位置しており、大規模なボットトラフィックを確認し、制御できる独自の立場にある。2025年、同社はPay Per Crawlと呼ばれる実験的な機能を開始した。サイト所有者はスイッチを切り替えることで、AI企業がクローラーがコンテンツを取得するたびにページごとの料金を請求できるようになる。これは、HTTPのあまり知られていない402 Payment Requiredステータスコードを使用して、「支払うか、入場を拒否するか」をボットに伝えるものだ。
この実験はその後、Pay Per Useと呼ばれるより広範なものへと進化し、新しいMonetization Gatewayと組み合わされている。考え方の変化は微妙だが重要だ。つまり、ボットが単にページを取得するたびにAI企業に課金する（これは簡単に悪用され、実際の価値を反映しない）のではなく、あなたのコンテンツが実際に価値を生み出すときに課金する方向にシフトしている。例えば、AIが生成した回答であなたのコンテンツが引用されたり、AIエージェントがユーザーのタスクを完了するために特定のデータを取得したりした場合だ。このアプローチを採用している初期のパートナーには、コンテンツが検索結果に表示された際にパブリッシャーに支払うAI検索製品が含まれている。
このシフトと並行して、CloudflareはAIボットがあなたのサイトでどのように振る舞うことを許可するかについてのデフォルトの動作を厳格化している。2026年9月15日より、Cloudflareはクローラーを3つのカテゴリに分類する。
- 検索ボット — AI支援検索結果を動かし、一般的には依然として人間の訪問者をあなたのサイトに送り込むクローラー。これらはデフォルトで許可されたままである。これは、それらが依然として発見とトラフィックを促進するからだ。
- エージェントボット — ユーザーに代わってタスク（予約、価格比較、ページの要約など）を完了するAIエージェントに代わって動作するクローラー。
- トレーニングボット — その唯一の目的があなたのコンテンツをかき集めてモデルを訓練することであり、訪問者を生み出すというあなたへの利益を一切もたらさないクローラー。
議論を呼んでいるのは、Cloudflareが**「混合利用」クローラーと呼ぶものだ。これは、これら複数の目的を組み合わせたボットであり、特定のリクエストが顧客をあなたに送り込むのか、それとも単にあなたのコンテンツを無料で収奪するだけなのかを判断するのを難しくする。2026年9月15日より、Cloudflareは、サイト所有者が手動で設定を変更していない限り、広告を掲載しているすべてのページで、混合利用クローラーをデフォルトでブロックする。この新しいデフォルトは、新規のCloudflare顧客、既存顧客が作成する新しいサイト、そして特筆すべきはすべての無料プランアカウント**に適用され、これには多数の中小企業や個人のサイトが含まれる。
これらの設定に一度も触れたことがなくても、これが重要な理由
これは「大手パブリッシャーの問題」として片付けてしまいたくなるかもしれない。そうではない。これが中小企業のオーナーに直接及ぶ理由をいくつか挙げる。
あなたが何もしなくても、デフォルト設定が変わろうとしている。 あなたのサイトが広告を掲載している（アフィリエイトリンクやディスプレイ広告ネットワークのような控えめなものでも）場合、かつあなたがCloudflareの無料プランにいるか、2026年9月15日以降に新しいサイトを立ち上げる場合、新しいブロック動作が自動的に適用される。影響を受けるためにオプトインする必要はない。同意しないのであれば、オプトアウトする必要がある。
あなたのサイトへのAI駆動型トラフィックは、どのように分類されるかによって増加または減少している。 AIクローラーの行動に関する最近のデータでは、検証済みボットトラフィックの約20%がAIクローラーからのものであり、さらに6〜7%がAI検索ボットからのものである。そしてAI関連のクローラーリクエスト全体は、わずか1年余りでクローラートラフィックに占める割合が2倍以上になっている。このトラフィックの一部は真に価値がある（あなたのページを引用し、読者を送り込むAI回答エンジン）。一部は純粋な収奪である。つまり、あなたに一人の訪問者も送り込むことのないデータセットにあなたのコンテンツをコピーするトレーニングボットだ。
無差別にブロックすると、あなた自身も傷つく可能性がある。 「AIが私のサイトを無料でスクレイピングしている」と聞いて、すべてをブロックしたくなるのは簡単だ。しかし、AI回答エンジンを動かす検索指向のボットを誤ってブロックすると、ますます重要になるディスカバリーチャネルから姿を消す可能性がある。これは、Googlebotをブロックするとオーガニック検索トラフィックが壊滅するのと同じだ。新しいカテゴリシステムのポイントは、オール・オア・ナッシングではなく、選択的に対応できるようにすることだ。
今や実際に報酬を得るためのメカニズムが存在する。 長年にわたり、この取引は暗黙的で一方的だった。つまり、クローラーはあなたのコンテンツを取得し、人間が最終的にリンクをクリックしない限り、あなたは何も得られなかった。Pay Per Useは、この計算式を変えるための最初の主流でインフラレベルの試みであり、ウェブサイトがAIによるコンテンツアクセスに実際の価格を設定できるようにする。これは、ペイウォールが人間のアクセスに価格を設定するのと同じだ。
2026年9月15日までに実際に行うべきこと
一夜にしてボットトラフィックの専門家になる必要はない。ほとんどの中小企業サイトにとって、正しい行動は「完全に無視する」か「すべてに課金するために慌てる」という両極端ではなく、短く意図的な監査を行うことだ。
1. Cloudflareがあなたのサイトの前にあるか確認する
あなたの開発者、代理店、またはウェブサイトプラットフォームがホスティングやDNSを設定した場合、Cloudflareが関与していることさえ知らないかもしれない。DNSプロバイダーを確認するか、サイトのインフラを管理している人に尋ねてほしい。Cloudflareを使用していない場合、これはまだ直接あなたには適用されない。ただし、業界の動向を考えると、他のCDNも同様の計画に従うと予想される。
2. AIボット管理設定を見つける
Cloudflareダッシュボードでは、これはゾーン設定のボット管理/AI Crawl Controlエリアにある。ここで、検索/エージェント/トレーニングの分類と、それぞれがサイト上でどのように扱われるかの制御が表示される。
3. カテゴリごとに意図的に決定する
- 検索指向のAIボットは許可したままにする。 これらは、AIを活用した回答や検索結果を介して訪問者を送り込む可能性が最も高い。これらをブロックすることは、オンラインで見つけてもらおうとしているビジネスにとって、通常は逆効果だ。
- エージェントボットについてはよく考える。 Eコマースサイトや価格/予約データを扱うサイトを運営している場合、AIエージェントは顧客に代わって価格比較をしたり、購入を完了したりする可能性がある。これらをブロックすることは、本来得られるはずの販売を逃すことを意味するかもしれない。許可することは、価格情報を無料で提供することを意味するかもしれない。ここに普遍的な正解はない。ビジネスモデル次第だ。
- 純粋なトレーニングボットは、特に公開リファレンス文書として意図されていないページでは、より安心してブロックできる。 これらはあなたにほとんどビジネス上の利益をもたらさない。そのため、Cloudflareが展開している広告掲載ページに対する「デフォルトでブロック」という動作は、ほとんどの小規模サイトにとって合理的なデフォルトであり、反射的に上書きすべきものではない。
4. アクセス課金に慌てて飛びつかない
Monetization Gatewayは、大規模で価値のあるコンテンツライブラリや独自データセットを持つパブリッシャー（大規模メディア企業、研究データベース、他にないコンテンツを持つプラットフォームなど）を対象としている。典型的な中小企業サイト（サービス業のブログ、地元商店の製品ページ、ニッチなニュースレター）にとって、正直なアドバイスはまだすべきではないということだ。AIアクセスに積極的に課金すると、将来の顧客が従来の検索の代わりにますます使用するAI生成回答から、静かにあなたを締め出す可能性がある。可視性が依然として優先事項である場合、これは望ましいことの逆だ。
5. 頭の中だけでなく、カレンダーにもリマインダーを設定する
新しいデフォルトは無料プランと新規アカウントに対して自動的にロールアウトされ、これは明らかに進化している分野であるため（Cloudflareはすでに約1年で「Pay Per Crawl」から「Pay Per Use」に移行している）、これを一度限りの修正としてではなく、定期的なチェックインとして扱う。広告費や価格設定を見直すのと同じように、四半期ごとにボット設定を再確認する。
大きなパターン：AIトラフィックが費用項目になりつつある
一歩下がって見ると、これは実際には、新しいカテゴリのビジネス経済が初めて登場する物語である。つまり、人間のトラフィックの推進力としてのコンテンツとは区別され、AIシステムへの収益化可能なインプットとしてのコンテンツである。Pay Per Useを決して有効にしなくても、根底にあるシフトは現実のものだ。つまり、あなたのウェブサイトが生み出す価値の一部が、今や人間ではなく機械によって消費されており、それに価格を設定するためのインフラがようやく登場しつつあるのだ。
これは、あなたが帳簿をどのように考えるべきかに直接的な影響を与える。もし最終的にAIコンテンツマネタイズを有効にするなら（たとえ控えめなPay Per Use収入でも）、それは広告収入、アフィリエイト収入、製品販売とは別に、勘定科目表に独自の行を必要とする本物の収入である。それを曖昧な「その他収入」のバケツに混ぜてしまうと、1年後に「これは実際に運用コストに見合うのか、それともノイズなのか？」という単純な質問に答えるのがはるかに難しくなる。同じ論理は、新しくて馴染みのない収入源にも当てはまる。特にStripeのような決済プロセッサーが関与し、決済レポートと実際に銀行口座に入金された額を照合する必要がある場合、今きれいに分離しておくことで、後々の照合作業の頭痛の種を減らせる。
コンテンツ戦略と同じくらい明確に帳簿を保つ
どのボットを許可し、どれに課金するかを決めるのはビジネス上の判断だ。そして他のビジネス上の判断と同様、それはそれを支える記録と同じくらい良いものに過ぎない。Beancount.ioは、プレーンテキストでバージョン管理された会計を提供するので、AIコンテンツマネタイズのような新しい収入源は、最初からスプレッドシートに埋もれることなく、独自のクリーンで監査可能な行を得ることができる。ドキュメントをチェックして、新しい収入源を他のものと一緒に追跡することがどれほど簡単か確認してほしい。または、Favaダッシュボードを探索して、収益が実際にどこから来ているかを視覚的に確認してほしい。無料で始める そして、テクノロジースタックの他の部分と同じくらい透明性のある財務記録を維持してほしい。