Минулого місяця AI-краулер міг прочитати кожну статтю, яку ви коли-небудь публікували — ваші інструкції, огляди продуктів, три роки архівів — за лічені хвилини. Він не заплатив вам нічого і не надіслав майже жодного читача натомість. Якщо від цього речення у вас похололо в животі, цей допис саме для вас.
Протягом багатьох років малі видавці стикалися з жахливою дилемою: повністю блокувати AI-ботів і відмовитися від будь-якого шансу на ліцензійний дохід або реферальний трафік, чи залишити двері відчиненими та спостерігати, як вашу роботу безкоштовно забирають. Ця епоха закінчується. Cloudflare — мережа, яка стоїть перед приблизно кожним п'ятим вебсайтом — побудувала платний пункт пропуску для AI-краулерів, і тепер він доступний звичайним власникам сайтів, а не лише гігантським медіакомпаніям. Ви можете встановити ціну за кожне сканування, отримувати щомісячні виплати та забезпечувати нормальну роботу пошукових систем.
Цей посібник пояснює, як працює Pay-per-Crawl, що нові стандартні налаштування блокування означають для вашого трафіку та — частина, яку більшість оглядів пропускає — як правильно записувати цей новий дивний дохід від мікроплатежів у ваші книги, щоб він не став загадкою в сезон подання податкових декларацій.
Що змінилося: від «бери або блокуй» до прейскуранта
Ось коротка версія історії інфраструктури за останній рік:
- Липень 2025 — «День незалежності контенту». Cloudflare змінив стандартне налаштування для нових сайтів: відомі AI-краулери блокуються, якщо ви не вкажете інше. Більше не потрібно копирсатися в правилах брандмауера, щоб відмовитися; відмова стала початковою позицією.
- Pay Per Crawl (закрите бета-тестування, потім ширший запуск). Власники сайтів, які використовують Cloudflare, можуть встановити єдину ціну за запит для всього свого домену. Коли з'являється AI-краулер, у вас є три варіанти для кожного краулера: Дозволити безкоштовно, Стягнути плату за вашою ціною або Заблокувати повністю. Боти, які не платять, отримують відповідь HTTP
402 Payment Required— код статусу, який майже не використовувався десятиліттями, доки цей випадок не відродив його. - AI Crawl Control (загальна доступність). Інструмент панелі керування для всього цього — раніше називався AI Audit — тепер показує, які AI-краулери відвідують сайт, що вони завантажують, і дозволяє надсилати налаштовувані відповіді 402 з вашим власним повідомленням та умовами, щоб оператор краулера знав, як з вами зв'язатися для переговорів.
- Вересень 2026 — стандартне блокування рекламних сторінок. Cloudflare оголосив, що краулери «змішаного використання» — боти, які поєднують пошуковий, AI-агентський та навчальний трафік — за замовчуванням блокуються на сторінках, які показують рекламу, якщо ви не зміните налаштування. Це важливо, оскільки AI-підсумки широко звинувачують у перехопленні кліків, на яких живуть сторінки з рекламою. Нове стандартне налаштування застосовується до нових клієнтів, нових сайтів існуючих клієнтів та існуючих клієнтів з безкоштовним планом.
- Pay Per Crawl розвивається у «Pay Per Use». Замість стягнення плати лише за завантаження сторінки, наступна ітерація має на меті компенсувати видавцям, коли їхній контент з'являється в AI-відповідях — коли він фактично створює цінність. Ця версія ще рання, але вона показує, у якому напрямку рухається модель.
Підсумок: одинокий блогер або нішевий видавець тепер має той самий базовий механізм, що й великі медіабренди для ліцензування контенту AI-компаніям — ціну, шлюз і канал виплат — без найму юриста чи створення платіжної інфраструктури.
Як насправді працює Pay-per-Crawl
Механіка навмисно проста:
- Ви встановлюєте одну ціну для домену. У панелі керування Cloudflare ви визначаєте фіксовану ціну за запит, яка застосовується до всього вашого сайту. Опублікований мінімум — один цент ($0,01) за сканування.
- Ви класифікуєте кожен краулер: Дозволити, Стягнути плату або Заблокувати. Пошукові краулери, від яких залежить ваш трафік, залишаються дозволеними. Відомі AI-навчальні краулери отримують плату або блокування — на ваш розсуд.
- Cloudflare виступає як мерчант. Ви не інтегруєте платіжний шлюз, не виставляєте рахунки AI-компаніям і не ганяєтеся за квитанціями. Cloudflare збирає кошти з оператора краулера та переказує їх вам за щомісячним графіком виплат після агрегування та звірки платежів мікроплатежів.
- Краулери, які не платять, отримують 402. Замість вашого контенту вони отримують відповідь «Потрібна оплата» з вашою ціною та повідомленням — машинозчитуване запрошення повернутися з оплатою.
Дві практичні нотатки. По-перше, це стосується лише ботів, які ідентифікують себе та дотримуються правил; справді зловмисні скрапери, які змінюють IP-адреси та підробляють user agents, — це окрема проблема керування ботами. По-друге, дохід для більшості сайтів починається з малого — копійки за сканування накопичуються лише з обсягом — тому сприймайте це як новий рядок для відстеження, а не як план на пенсію.
Налаштуйте без шкоди для трафіку
Найбільший ризик — не те, що заробите замало. Це неправильне налаштування контролю та випадкове удушення людського та пошукового трафіку, який насправді оплачує ваші рахунки. Пройдіться цим чеклистом:
1. Проінвентаризуйте все, що маєте, перш ніж чіпати
Витягніть аналітику за місяць: яка частка трафіку з пошуку, яка з AI-рефералів та які сторінки показують рекламу. Ваші сторінки з рекламою заслуговують найсуворіших налаштувань, оскільки кожен візит, перенаправлений в AI-підсумок, — це дохід, якого ви ніколи не бачите.
2. Тримайте пошукові краулери дозволеними
AI-краулери та пошукові краулери — різні популяції. Не блокуйте ботів, які приводять вас у результати пошуку, цілячись у ботів, які тренують моделі. У панелі керування переконайтеся, що список дозволених охоплює основних пошукових краулерів, перш ніж стягувати плату чи блокувати щось інше.
3. Почніть зі «Стягнути плату» для навчальних краулерів, «Блокувати» лише свідомо
Блокування приносить задоволення, але закриває двері: заблокований краулер не може стати платним клієнтом або джерелом рефералів. Стягнення плати з чітким повідомленням 402 («ліцензійні запити: [email protected]») залишає переговори відкритими. Резервуйте повне блокування для операторів, з якими ви ніколи не хотіли б мати стосунків.
4. Визначте свою позицію щодо краулерів змішаного використання та рекламних сторінок
Відповідно до стандартного налаштування вересня 2026 року, краулери змішаного використання автоматично блокуються на ваших сторінках з рекламою. Це стандартне налаштування захищає дохід від реклами, але якщо AI-помічник для покупок або агент приводить конверсійний трафік на ваші сторінки продуктів, ви можете захотіти дозволити певних краулерів там. Переглядайте налаштування для кожного типу сторінок окремо — блог проти магазину — а не приймайте одне глобальне правило.
5. Пильно стежте за першими 30 днями
Щотижня після ввімкнення плати моніторте три показники: обсяг сканування за ботом, накопичення виплат у панелі керування та людський реферальний трафік із пошуку та AI-джерел. Якщо покази в пошуку падають — ви переблокували. Якщо виплати накопичуються, але не надходять — перевірте статус виплат і мінімальні пороги.
Бухгалтерія: як записувати дохід від сканування без безладу
Ось частина, про яку ніхто не розповідає: дохід від мікроплатежів — це бухгалтерський головний біль, якщо ставитися до нього поверхово. Сотні платіжних операцій на копійки, агрегованих в одну щомісячну виплату, самі себе не звірять. Налаштуйте систему з першого дня.
Створіть окремий рахунок доходу
Не звалюйте виплати за сканування в загальний «інший дохід» і не змішуйте з доходом від реклами. Вони поводяться по-різному — інший платник, інша документація, інша історія зростання — і ви захочете відповісти на питання «чи варте воно того?» реальними цифрами пізніше. У текстовій бухгалтерській книзі це виглядає так:
2026-09-01 * "Cloudflare" "Виплата Pay-per-crawl за серпень"
Assets:Bank:Checking 18.42 USD
Income:ContentLicensing:PayPerCrawl -18.42 USDЯкщо пізніше ви додасте ліцензійні угоди або виплати pay-per-use, створіть для кожного окремий субрахунок. Десять хвилин проєктування плану рахунків зараз заощадить години розплутування пізніше. У документації описано, як налаштувати ієрархію доходів, якщо ви ще цього не робили.
Звіряйте накопичення в панелі керування з банківськими депозитами
Cloudflare агрегує мікроплатежі та платить щомісяця, тому накопичена сума в панелі керування та ваш банківський депозит майже ніколи не збігатимуться до копійки того самого місяця — між ними стоять часові межі, коригування та комісії. Записуйте виплату, коли вона надходить, і ведіть просту щомісячну нотатку звірки: накопичена сума, коригування, отримана сума, непогашений залишок. Якщо різниця колись перевищить кілька відсотків — розслідуйте, а не відмахуйтеся.
Ніколи не зменшуйте виплати на ваш рахунок у Cloudflare
Якщо ви також платите Cloudflare за хостинг або сервіси безпеки, записуйте виплату як дохід, а підписку як витрату окремо. Зведення їх в одне число занижує і ваш дохід, і ваші витрати, спотворює маржу та робить потік доходу невидимим саме тоді, коли ви намагаєтеся його оцінити.
Вважайте це звичайним доходом і зберігайте документацію
Виплати за сканування — це звичайний бізнес-дохід, не подарунки, не роялті від видавця в традиційному розумінні. Оскільки Cloudflare виступає як мерчант і переказує кошти вам, очікуйте податкову документацію від платіжного каналу за рік — зберігайте кожен щомісячний звіт про виплати з податковими файлами, так само, як зберігаєте 1099 від рекламних мереж. Якщо виплати в перший рік малі, вони все одно враховуються; «замало, щоб мати значення» — так починаються штрафи за недоповідання.
Переглядайте щоквартально з урахуванням витрат на трафік
Дохід від сканування має приховану контра-статтю: втрата читацького трафіку, коли боти відповідають на питання з вашого контенту замість того, щоб надсилати відвідувачів. Раз на квартал порівнюйте суми виплат із трендами доходу від реклами та партнерських програм на ваших найбільш сканованих сторінках. Панель, як-от Fava, дозволяє легко побудувати графік потоку ліцензійного доходу поруч із доходом від реклами та побачити, чи вигідна ця угода насправді — або чи суворіші блокування рекламних сторінок принесуть вам більше.
Помилки, які тихо знищують здобутки
- Блокування пошукових краулерів разом з AI-краулерами. Найдорожча помилка в налаштуванні. Перевіряйте видимість у пошуку після кожної зміни.
- Змішування виплат за сканування з доходом від реклами. Ви втрачаєте здатність оцінювати, чи стягнення плати краще за блокування, а ваш податковий консультант отримує непозначену купу.
- Забуття доходу під час податкового сезону. Малі щомісячні депозити легко пропустити одинадцять місяців потому. Окремий рахунок у книзі — це ваше нагадування.
- Встановлення ціни та відмова від перегляду. Один цент за сканування може занижувати вартість дорогого журналістського матеріалу та завищувати вартість масового контенту. Переглядайте ціну в міру розвитку моделі pay-per-use.
- Ігнорування стандартного налаштування для рекламних сторінок. Якщо ви показуєте рекламу, підтвердьте, що блокування краулерів змішаного використання активне на цих сторінках — це стандартне налаштування існує саме для захисту доходу від кліків.
Тримайте дохід від контенту організованим із першого дня
Pay-per-crawl перетворює ваш архів із центру витрат на вимірюваний актив — але лише якщо ви можете бачити, що він заробляє. Відстеження нового потоку мікроплатежів разом із рекламою, партнерськими програмами та підписками — це саме той вид багатопотокової бухгалтерії, який стає безладом у електронній таблиці. Beancount.io надає текстову бухгалтерію, яка дає вам повну прозорість і контроль над вашими фінансовими даними — без чорних скриньок, без прив'язки до вендора. Почніть безкоштовно і побачте, чому розробники та фінансові професіонали переходять на текстову бухгалтерію.