Вот цифра, над которой стоит задуматься: по состоянию на середину 2026 года автоматизированные запросы составляют более 57% всего HTML-трафика в интернете — впервые в истории интернета превысив число реальных человеческих посетителей. Значительная и быстрорастущая часть этого трафика — это не индексация вашего сайта Googlebot для появления в результатах поиска. Это ИИ-сканеры, собирающие ваши записи в блоге, страницы товаров и документацию для обучения моделей или ответов на вопросы в чат-ботах, зачастую без того, чтобы человек вообще когда-либо перешел по ссылке на ваш сайт.
Если ваш сайт работает через Cloudflare — а значительная часть веб-сайтов малого бизнеса использует его, даже если вы об этом не знаете, — то 15 сентября 2026 года вступают в силу изменения политики, которые незаметно изменят правила игры: кто сможет читать ваш контент бесплатно, кому придется платить, а кто будет заблокирован. Если вы не проверите свои настройки до этого срока, Cloudflare примет решение за вас.
Вот что на самом деле происходит, почему это важно для вашего бюджета и что с этим делать — даже если вы ни разу в жизни не открывали панель управления Cloudflare.
Что именно изменил Cloudflare
Cloudflare выступает в роли сети доставки контента и уровня безопасности для значительной части интернета, что дает ей уникальную возможность видеть и контролировать бот-трафик в масштабе. В 2025 году компания запустила экспериментальную функцию под названием Pay Per Crawl («Плати за обход»): владельцы сайтов могли включить переключатель и начать взимать с ИИ-компаний плату за каждую загрузку их сканером страницы, используя редкий HTTP-статус-код 402 Payment Required, чтобы сообщить боту: «Плати или не войдешь».
С тех пор этот эксперимент превратился в нечто более масштабное под названием Pay Per Use («Плати по факту использования») в сочетании с новым шлюзом монетизации (Monetization Gateway). Сдвиг в мышлении тонкий, но важный: вместо взимания платы с ИИ-компаний каждый раз, когда бот просто загружает страницу (чем легко манипулировать, и это не отражает реальной ценности), новая модель ориентирована на взимание платы, когда ваш контент действительно создает ценность — например, когда он цитируется в ответе, сгенерированном ИИ, или когда ИИ-агент извлекает конкретные данные для выполнения задачи своего пользователя. Ранние партнеры, применяющие этот подход, включают продукты ИИ-поиска, которые платят издателям, когда их контент появляется в результатах.
Наряду с этим сдвигом Cloudflare ужесточает поведение ИИ-ботов на вашем сайте по умолчанию. Начиная с 15 сентября 2026 года, Cloudflare будет разделять сканеры на три категории:
- Поисковые боты — сканеры, обеспечивающие работу результатов поиска на основе ИИ, которые, как правило, по-прежнему отправляют на ваш сайт реальных посетителей. Они остаются разрешенными по умолчанию, поскольку по-прежнему способствуют поиску и трафику.
- Агентные боты — сканеры, действующие от имени ИИ-агента, выполняющего задачу для пользователя (бронирование чего-либо, сравнение цен, обобщение страницы).
- Обучающие боты — сканеры, единственная цель которых — собирать ваш контент для обучения модели, не принося вам никакой выгоды в виде посещений.
Спорным моментом является то, что Cloudflare называет «сканерами смешанного назначения» (mixed-use crawlers) — боты, совмещающие более одной из этих целей, что затрудняет понимание того, приведет ли конкретный запрос к вам клиента или просто позволит бесплатно выкачать ваш контент. Начиная с 15 сентября Cloudflare будет по умолчанию блокировать сканеры смешанного назначения на любых страницах, содержащих рекламу, если владелец сайта не изменил настройки вручную. Это новое поведение по умолчанию применяется к новым клиентам Cloudflare, новым сайтам, созданным существующими клиентами, и — что примечательно — ко всем аккаунтам бесплатного тарифа, что охватывает огромное количество сайтов малого бизнеса и личных сайтов.
Почему это важно, даже если вы никогда не трогали эти настройки
Может возникнуть соблазн отнести это к категории «проблема крупных издателей» и забыть. Это не так. Вот несколько причин, по которым это напрямую касается владельцев малого бизнеса:
Ваши настройки по умолчанию скоро изменятся без вашего участия. Если на вашем сайте есть реклама (даже скромная партнерская ссылка или сеть медийной рекламы), и вы используете бесплатный тариф Cloudflare, или вы создадите новый сайт после 15 сентября, новое поведение блокировки применится автоматически. Вам не нужно соглашаться, чтобы это повлияло на вас — вам нужно отказаться от этого, если вы с этим не согласны.
ИИ-трафик на ваш сайт либо растет, либо сокращается в зависимости от того, как вы классифицированы. Недавние данные о поведении ИИ-сканеров показывают, что около 20% подтвержденного бот-трафика сейчас поступает от ИИ-сканеров, плюс еще 6-7% от ИИ-поисковых ботов — и общее количество запросов, связанных с ИИ, увеличилось более чем вдвое в доле трафика сканеров чуть более чем за год. Часть этого трафика действительно ценна (ИИ-поисковик, который цитирует вашу страницу и приводит читателя). Часть — это чистое извлечение: обучающий бот копирует ваш контент в набор данных, который никогда не приведет к вам ни одного посетителя.
Неизбирательная блокировка может навредить и вам. Легко услышать «ИИ выкачивает мой сайт бесплатно» и захотеть заблокировать всё. Но если вы случайно заблокируете поисковых ботов, питающих ИИ-поисковики, вы можете исчезнуть из этого все более важного канала обнаружения — точно так же, как блокировка Googlebot обрушила бы ваш органический поисковый трафик. Смысл новой системы категорий в том, чтобы вы могли выбирать выборочно, а не по принципу «все или ничего».
Теперь появился реальный механизм получения оплаты. Годами сделка была негласной и односторонней: сканеры забирали ваш контент, вы не получали ничего, пока человек в итоге не нажимал на ссылку. Pay Per Use — это первая попытка на уровне инфраструктуры изменить эту математику, позволяя веб-сайту установить реальную цену на доступ ИИ к своему контенту, точно так же, как платный доступ устанавливает цену на доступ человека.
Что на самом деле нужно сделать до 15 сентября
Вам не нужно становиться экспертом по бот-трафику за одну ночь. Для большинства сайтов малого бизнеса правильным шагом будет короткий целенаправленный аудит, а не какая-то из крайностей (полностью проигнорировать или броситься взимать плату за всё).
1. Убедитесь, использует ли ваш сайт Cloudflare
Если ваш разработчик, агентство или платформа сайта настраивали хостинг или DNS, вы можете даже не знать, что Cloudflare участвует в этом. Проверьте у своего DNS-провайдера или спросите того, кто управляет инфраструктурой вашего сайта. Если вы не используете Cloudflare, это напрямую вас пока не касается — хотя ожидайте, что другие CDN последуют аналогичному сценарию, учитывая, куда движется индустрия.
2. Найдите настройки управления ИИ-ботами
В панели управления Cloudflare это находится в разделе управления ботами / AI Crawl Control в настройках вашей зоны. Здесь вы увидите категоризацию «Поиск / Агент / Обучение» и элементы управления тем, как каждый из них обрабатывается на вашем сайте.
3. Примите осознанное решение по каждой категории
- Оставьте разрешенными поисковые ИИ-боты. Именно они с наибольшей вероятностью приведут к вам посетителя через ответ или результат поиска на основе ИИ. Блокировка их обычно контрпродуктивна для бизнеса, который хочет, чтобы его находили в интернете.
- Хорошо подумайте об агентных ботах. Если у вас сайт электронной коммерции или сайт с данными о ценах/бронировании, ИИ-агенты могут сравнивать покупки или совершать покупки от имени клиента. Их блокировка может означать потерю продажи, которую вы в противном случае получили бы; их разрешение может означать бесплатную раздачу вашей информации о ценах. Универсального правильного ответа здесь нет — это зависит от вашей бизнес-модели.
- С большей уверенностью блокируйте чистые обучающие боты, особенно на любых страницах, которые не являются публичными справочными документами. Они приносят вам почти нулевую бизнес-выгоду, поэтому поведение «блокировать по умолчанию» для страниц с рекламой, которое внедряет Cloudflare, является разумным стандартом для большинства небольших сайтов, а не чем-то, что нужно немедленно отменять.
4. Не торопитесь вводить плату за доступ
Шлюз монетизации ориентирован на издателей с большими, ценными библиотеками контента или собственными наборами данных — думайте о крупных медиакомпаниях, исследовательских базах данных или платформах с контентом, которого больше ни у кого нет. Для типичного сайта малого бизнеса (блог сервисной компании, страницы товаров местного магазина, нишевая рассылка) честный совет: пока нет. Агрессивное взимание платы за доступ ИИ может незаметно исключить вас из ответов, генерируемых ИИ, которые ваши будущие клиенты все чаще используют вместо традиционного поиска — это прямо противоположно тому, что вам нужно, если видимость все еще является вашим приоритетом.
5. Поставьте напоминание в календарь, а не только в голове
Поскольку новые настройки по умолчанию применяются автоматически для бесплатных и новых аккаунтов, и поскольку это, очевидно, развивающаяся область (Cloudflare перешел от «Pay Per Crawl» к «Pay Per Use» примерно за год), относитесь к этому как к регулярной проверке, а не как к одноразовому исправлению. Пересматривайте свои настройки ботов каждый квартал, так же как вы пересматриваете свои расходы на рекламу или цены.
Общая картина: ИИ-трафик становится статьей расходов
Если посмотреть шире, это история о появлении новой категории бизнес-экономики: контент как монетизируемый ресурс для ИИ-систем, в отличие от контента как двигателя человеческого трафика. Включите вы Pay Per Use или нет, основной сдвиг реален — часть ценности, создаваемой вашим сайтом, теперь потребляется машинами, а не людьми, и наконец-то появляется инфраструктура, чтобы установить на это цену.
Это имеет прямое значение для того, как вы должны вести свою бухгалтерию. Если вы в конечном итоге включите монетизацию контента для ИИ — даже скромный доход от Pay Per Use — это реальный доход, который требует отдельной строки в вашем плане счетов, отдельно от дохода от рекламы, партнерского дохода или продаж продуктов. Смешивание его в общую категорию «прочие доходы» значительно усложнит ответ на простой вопрос через год: стоит ли это на самом деле операционных затрат или это просто шум? Та же логика применима к любому новому, незнакомому источнику дохода — чистое разделение сейчас избавит от головной боли при сверке позже, особенно когда в дело вступает платежный процессор, такой как Stripe, и вам нужно сопоставить отчеты о расчетах с тем, что фактически поступило на ваш банковский счет.
Ведите свою бухгалтерию с той же ясностью, что и контент-стратегию
Решение о том, каких ботов пускать, а с кого взимать плату, — это бизнес-решение. И, как любое бизнес-решение, оно настолько хорошо, насколько хороши записи, стоящие за ним. Beancount.io предоставляет вам бухгалтерию в открытом текстовом формате под управлением версий, чтобы такой новый источник дохода, как монетизация контента для ИИ, с самого первого дня получил свою чистую, проверяемую строку, а не затерялся в электронной таблице. Ознакомьтесь с документацией, чтобы увидеть, как легко отслеживать новый источник дохода наряду со всем остальным, или изучите панель управления Fava для визуального представления о том, откуда на самом деле поступает ваш доход. Начните бесплатно и сделайте свою финансовую отчетность такой же прозрачной, как и остальную часть вашего технологического стека.
