В прошлом месяце ИИ-краулер мог прочитать каждую статью, которую вы когда-либо публиковали — ваши руководства, обзоры продуктов, три года архивов — за считанные минуты. Он не заплатил вам ни цента и не привёл почти ни одного читателя. Если от этой мысли у вас свело живот — этот пост для вас.
Годами небольшие издатели стояли перед мучительным выбором: либо блокировать ИИ-ботов полностью и отказываться от любых лицензионных доходов и реферального трафика, либо оставить двери открытыми и смотреть, как ваш труд используют бесплатно. Эта эпоха заканчивается. Cloudflare — сеть, через которую проходит примерно каждый пятый сайт в интернете — построила «шлагбаум» для ИИ-краулеров, и теперь он доступен обычным владельцам сайтов, а не только крупным медиакомпаниям. Вы можете установить цену за каждый обход, получать ежемесячные выплаты и при этом не мешать работе поисковых систем.
Это руководство объясняет, как работает оплата за сканирование, что новые настройки блокировки по умолчанию означают для вашего трафика, и — та часть, которую обычно пропускают — как отражать этот новый странный доход от микроплатежей в вашей бухгалтерии, чтобы он не превратился в налоговую загадку.
Что изменилось: от «берите или блокируйте» к прейскуранту
Вот краткая версия истории за последний год:
- Июль 2025 — «День независимости контента». Cloudflare изменила настройки по умолчанию для новых сайтов: известные ИИ-краулеры блокируются, если вы явно не разрешили иное. Больше не нужно рыться в правилах файрвола, чтобы отказаться от сканирования; отказ стал отправной точкой.
- Оплата за сканирование (закрытая бета, затем широкий запуск). Владельцы сайтов за Cloudflare могут установить единую цену за каждый запрос для всего своего домена. Когда появляется ИИ-краулер, у вас есть три варианта на каждого: Разрешить бесплатно, Взимать плату по вашей цене или Заблокировать полностью. Боты, которые не платят, получают ответ HTTP
402 Payment Required— код статуса, который десятилетиями почти не использовался, пока этот случай не вернул его к жизни. - AI Crawl Control (общедоступная версия). Инструмент панели управления для всего этого — раньше назывался AI Audit — теперь показывает, какие ИИ-краулеры посещают ваш сайт, что они загружают, и позволяет отправлять настраиваемые ответы 402 с вашим собственным сообщением и условиями, чтобы оператор краулера знал, как с вами связаться для переговоров.
- Сентябрь 2026 — блокировка страниц с рекламой по умолчанию. Cloudflare объявила, что «смешанные» краулеры — боты, которые сочетают поисковый обход, использование ИИ-агентами и обучение моделей — по умолчанию блокируются на страницах, где показывается реклама, если вы не измените настройки. Это важно, потому что ИИ-саммари часто обвиняют в том, что они забирают клики, на которых живут сайты с рекламной моделью. Новое правило по умолчанию применяется к новым клиентам, новым сайтам существующих клиентов и существующим клиентам с бесплатным планом.
- Оплата за сканирование развивается в «оплату за использование». Вместо того чтобы взимать плату только за каждый загруженный файл, следующая итерация направлена на то, чтобы компенсировать издателям, когда их контент появляется в ответах ИИ — то есть когда он действительно создаёт ценность. Эта версия пока на ранней стадии, но она показывает, куда движется модель.
Итог: одинокий блогер или нишевый издатель теперь имеет доступ к той же базовой инфраструктуре, которую крупные медиабренды используют для лицензирования контента ИИ-компаниям — цена, шлюз и канал выплат — без необходимости нанимать юриста или строить собственную платёжную систему.
Как на самом деле работает оплата за сканирование
Механика намеренно проста:
- Вы устанавливаете одну цену за домен. В панели управления Cloudflare вы задаёте единую плоскую ставку за запрос, которая применяется ко всему вашему сайту. Опубликованный минимум — один цент ($0,01) за сканирование.
- Вы классифицируете каждого краулера: Разрешить, Взимать плату или Заблокировать. Поисковым краулерам, от которых зависит ваша видимость в выдаче, оставляете доступ. Известным ботам для обучения ИИ выставляете счёт или блокируете их — на ваше усмотрение.
- Cloudflare выступает в роли платёжного агента. Вам не нужно интегрировать платёжный шлюз, выставлять счета ИИ-компаниям или бегать за неплательщиками. Cloudflare взимает плату с оператора краулера и переводит вам деньги по ежемесячному графику, предварительно агрегируя и сверяя все микроплатежи.
- Неплатящие краулеры получают ответ 402. Вместо вашего контента они получают ответ «Требуется оплата» с вашей ценой и сообщением — машиночитаемое приглашение вернуться с деньгами.
Два практических замечания. Первое: это работает только с ботами, которые честно себя идентифицируют и соблюдают правила; по-настоящему злонамеренные скраперы, которые меняют IP-адреса и подделывают user-agent, — это отдельная проблема защиты от ботов. Второе: для большинства сайтов доход на первых порах будет небольшим — центы за сканирование превращаются в заметные суммы только при больших объёмах трафика — так что рассматривайте это как новую статью учёта, а не как источник пенсии.
Настройка без ущерба для трафика
Самый большой риск — не то, что вы заработаете слишком мало. Риск в том, что вы неправильно настроите параметры и случайно задушите человеческий и поисковый трафик, который на самом деле приносит вам деньги. Пройдитесь по этому чек-листу:
1. Сначала проведите инвентаризацию того, что у вас есть
Посмотрите статистику за месяц: какая доля трафика приходит из поиска, какая — от ИИ-рефералов, и на каких страницах показывается реклама. Страницы с рекламой заслуживают самых строгих настроек, поскольку каждый визит, перехваченный ИИ-саммари, — это доход, который вы никогда не увидите.
2. Не блокируйте поисковых краулеров
ИИ-краулеры и поисковые боты — это разные категории. Не блокируйте ботов, которые приводят вас в результаты поиска, целясь в ботов, которые обучают модели. В панели управления убедитесь, что в белый список входят все основные поисковые краулеры, прежде чем вводить плату или блокировки для кого-то ещё.
3. Начните с «Взимать плату» для обучающих краулеров, «Блокировать» — только осознанно
Блокировка приносит моральное удовлетворение, но закрывает двери: заблокированный краулер не сможет стать платящим клиентом или источником рефералов. Установите плату с чётким сообщением 402 («запросы на лицензирование: [email protected]») — это оставляет дверь для переговоров открытой. Полную блокировку приберегите для операторов, с которыми вы точно не хотите иметь никаких отношений.
4. Определите свою позицию по смешанным краулерам и страницам с рекламой
Согласно настройкам по умолчанию с сентября 2026 года, смешанные краулеры автоматически блокируются на ваших страницах с рекламой. Это защищает рекламный доход, но если, например, ИИ-шопинг-ассистент приводит вам покупателей на страницы товаров, вы можете захотеть разрешить его именно там. Настройте правила для каждого типа страниц — блог отдельно, витрина магазина отдельно — вместо того чтобы принимать единое глобальное правило.
5. Внимательно следите за первыми 30 днями
Каждую неделю после включения платы проверяйте три показателя: объём сканирования по каждому боту, начисленные выплаты в панели управления и человеческий реферальный трафик из поиска и ИИ-источников. Если поисковые показы упали — вы перестарались с блокировками. Если выплаты начисляются, но не приходят — проверьте статус выплат и минимальные пороги.
Бухучёт: как отражать доход от сканирования без хаоса
Вот та часть, о которой никто не рассказывает: доход от микроплатежей — это головная боль для бухгалтера, если относиться к нему небрежно. Сотни платежей на уровне центов, агрегированные в одну ежемесячную выплату, сами себя не сведут. Настройте учёт с первого дня.
Выделите для него отдельный счёт доходов
Не сваливайте выплаты за сканирование в общий «прочий доход» и не смешивайте с рекламной выручкой. У них разная природа — другой плательщик, другие документы, другая история роста — и позже вы захотите ответить на вопрос «а стоит ли оно того?», имея реальные цифры. В текстовой бухгалтерской книге это выглядит так:
2026-09-01 * "Cloudflare" "Выплата за сканирование за август"
Assets:Bank:Checking 18.42 USD
Income:ContentLicensing:PayPerCrawl -18.42 USDЕсли позже появятся лицензионные сделки или выплаты за использование — заведите для каждого отдельный субсчёт. Десять минут на проектирование плана счетов сейчас сэкономят часы на распутывание ошибок потом. В документации описано, как настроить иерархию доходов, если вы ещё этого не делали.
Сверяйте начисления в панели управления с банковскими поступлениями
Cloudflare агрегирует микроплатежи и платит раз в месяц, поэтому итоговая сумма в панели и сумма на вашем банковском счёте почти никогда не совпадут до цента в одном и том же месяце — между ними стоят временные отсечки, корректировки и возможные комиссии. Отражайте выплату в момент её поступления и ведите простую ежемесячную записку о сверке: начисленная сумма, корректировки, полученная сумма, остаток к получению. Если расхождение когда-нибудь превысит несколько процентов — разберитесь, а не отмахивайтесь.
Никогда не зачитывайте выплаты против счёта Cloudflare
Если вы также платите Cloudflare за хостинг или услуги безопасности, отражайте выплату как доход, а подписку — как расход, отдельно. Взаимозачёт в одной сумме занижает и вашу выручку, и ваши затраты, искажает маржу и делает поток дохода невидимым именно в тот момент, когда вы пытаетесь его оценить.
Считайте это обычным доходом и храните документы
Выплаты за сканирование — это обычный предпринимательский доход, а не подарок и не авторские отчисления в традиционном смысле. Поскольку Cloudflare выступает платёжным агентом и переводит вам деньги, ожидайте налоговых документов от платёжной системы за год — храните каждый ежемесячный отчёт о выплатах вместе с налоговыми документами, так же, как вы храните 1099 от рекламных сетей. Если в первый год выплаты небольшие, они всё равно облагаются налогом; «слишком мало, чтобы обращать внимание» — так начинаются штрафы за недоплату.
Раз в квартал оценивайте окупаемость с учётом стоимости трафика
У дохода от сканирования есть скрытая статья расхода: та читательская аудитория, которую вы теряете, когда боты отвечают на вопросы, используя ваш контент, вместо того чтобы приводить посетителей на сайт. Раз в квартал сравнивайте суммы выплат с динамикой рекламных и партнёрских доходов на ваших самых сканируемых страницах. Панель вроде Fava позволяет легко построить график дохода от лицензирования рядом с доходом от рекламы и увидеть, выгодна ли такая сделка — или, может быть, более строгая блокировка рекламных страниц принесла бы вам больше.
Ошибки, которые незаметно съедают вашу выгоду
- Блокировка поисковых краулеров вместе с ИИ-краулерами. Самая дорогостоящая ошибка в настройке. После каждого изменения проверяйте видимость в поисковиках.
- Смешивание выплат за сканирование с рекламным доходом. Вы теряете возможность оценить, что выгоднее — взимать плату или блокировать, а ваш налоговый консультант получает безымянную общую сумму.
- Забыть указать доход в налоговой декларации. Небольшие ежемесячные поступления легко упустить из виду одиннадцать месяцев спустя. Выделенный счёт в учётной книге — ваше напоминание.
- Установить цену один раз и больше к ней не возвращаться. Один цент за сканирование может быть заниженной ценой за дорогостоящее журналистское расследование и завышенной за товарный контент. Пересматривайте цены по мере развития модели оплаты за использование.
- Игнорировать настройку по умолчанию для страниц с рекламой. Если вы показываете рекламу, убедитесь, что блокировка смешанных краулеров активна на этих страницах — это правило по умолчанию существует именно для защиты дохода от кликов.
Держите учёт дохода от контента в порядке с первого дня
Оплата за сканирование превращает ваш архив из центра затрат в измеримый актив — но только если вы видите, сколько он приносит. Отслеживание нового потока микроплатежей наряду с рекламой, партнёрками и подписками — это как раз та многопоточная бухгалтерия, которая превращается в кашу в электронных таблицах. Beancount.io предлагает текстовую бухгалтерию, которая даёт вам полную прозрачность и контроль над вашими финансовыми данными — никаких чёрных ящиков, никакой привязки к вендору. Начните бесплатно и убедитесь, почему разработчики и финансовые специалисты переходят на текстовую бухгалтерию.