Ось цифра, над якою варто замислитися: станом на середину 2026 року автоматизовані запити становлять понад 57% усього HTML-трафіку в інтернеті — вперше в історії інтернету перевищивши кількість реальних людських відвідувачів. Значна і швидкозростаюча частка цього трафіку — це не Googlebot, який індексує ваш сайт, щоб він з'являвся в пошуку. Це AI-краулери, які збирають ваші блог-пости, сторінки товарів і документацію для навчання моделей або відповідей у чат-ботах, часто без жодного переходу людини на ваш сайт.
Якщо ваш сайт працює за Cloudflare — а значна частина малого бізнесу в інтернеті саме так і працює, навіть якщо ви цього не знаєте — 15 вересня 2026 року набуває чинності зміна політики, яка тихо змінить те, хто читає ваш контент безкоштовно, хто має платити, а кого буде заблоковано повністю. Якщо ви не перевірите свої налаштування до цього часу, Cloudflare ухвалить рішення за вас.
Ось що насправді відбувається, чому це впливає на ваш прибуток і що з цим робити — навіть якщо ви жодного разу не відкривали панель керування Cloudflare.
Що насправді змінив Cloudflare
Cloudflare стоїть перед значною частиною інтернету як мережа доставки контенту та рівень безпеки, що дає їй унікальну можливість бачити — і контролювати — бот-трафік у масштабах. У 2025 році компанія запустила експериментальну функцію під назвою Pay Per Crawl: власники сайтів могли перемкнути перемикач і почати стягувати з AI-компаній плату за кожну сторінку, яку завантажував їхній краулер, використовуючи маловідомий HTTP-статус 402 Payment Required, щоб сказати боту: «плати, або не зайдеш».
Цей експеримент відтоді еволюціонував у щось ширше під назвою Pay Per Use, доповнене новим шлюзом монетизації (Monetization Gateway). Зміна в підході тонка, але важлива: замість того щоб стягувати з AI-компаній плату щоразу, коли бот просто завантажує сторінку (це легко обійти і не відображає реальної цінності), нова модель орієнтована на оплату, коли ваш контент реально створює цінність — наприклад, коли він цитується в AI-генерованій відповіді або коли AI-агент отримує конкретні дані для виконання завдання для свого користувача. Серед ранніх партнерів такого підходу — AI-пошукові продукти, які платять видавцям, коли їхній контент з'являється в результатах.
Поруч із цим зрушенням Cloudflare посилює поведінку за замовчуванням щодо того, як AI-боти взагалі можуть поводитися на вашому сайті. Починаючи з 15 вересня 2026 року, Cloudflare розподілятиме краулерів на три категорії:
- Пошукові боти — краулери, що забезпечують роботу AI-пошукових результатів і, загалом, все ще приводять людських відвідувачів на ваш сайт. Вони залишаються дозволеними за замовчуванням, оскільки все ще забезпечують видимість і трафік.
- Боти-агенти — краулери, що діють від імені AI-агента, який виконує завдання для користувача (бронювання, порівняння цін, підсумовування сторінки).
- Навчальні боти — краулери, єдина мета яких — збирати ваш контент для навчання моделі, без жодної вигоди для вас у вигляді відвідувань.
Суперечливим елементом є те, що Cloudflare називає «змішаними» краулерами — боти, які поєднують більш ніж одну з цих цілей, що ускладнює визначення, чи приведе конкретний запит вам клієнта, чи просто безкоштовно вичерпає ваш контент. Починаючи з 15 вересня, Cloudflare блокуватиме змішаних краулерів за замовчуванням на будь-якій сторінці, що містить рекламу, якщо власник сайту не змінив налаштування вручну. Це нове правило за замовчуванням застосовується до нових клієнтів Cloudflare, нових сайтів, створених існуючими клієнтами, і — що важливо — до всіх акаунтів безкоштовного тарифу, що охоплює величезну кількість сайтів малого бізнесу та особистих сайтів.
Чому це важливо, навіть якщо ви ніколи не торкалися цих налаштувань
Спокусливо списати це як «проблему великих видавців» і рухатися далі. Але це не так. Ось кілька причин, чому це безпосередньо стосується власників малого бізнесу:
Ваші налаштування за замовчуванням зміняться без жодних дій з вашого боку. Якщо ваш сайт показує рекламу (навіть щось скромне, як партнерське посилання чи медійна рекламна мережа) і ви на безкоштовному тарифі Cloudflare, або ви створюєте новий сайт після 15 вересня, нова поведінка блокування застосовується автоматично. Вам не потрібно погоджуватися, щоб це вплинуло на вас — вам доведеться відмовитися від цього, якщо ви не згодні.
AI-трафік на ваш сайт або зростає, або падає залежно від того, до якої категорії вас віднесено. Нещодавні дані про поведінку AI-краулерів показують, що приблизно 20% перевіреного бот-трафіку тепер надходить від AI-краулерів, плюс ще 6–7% від AI-пошукових ботів — а частка AI-пов'язаних запитів краулерів загалом більш ніж подвоїлася за трохи більше ніж рік. Частина цього трафіку справді цінна (AI-пошукова система, яка цитує вашу сторінку і приводить читача). Частина — це чисте вилучення: навчальний бот копіює ваш контент у датасет, який ніколи не приведе вам жодного відвідувача.
Безрозбірне блокування також може зашкодити вам. Легко почути «AI краде мій контент безкоштовно» і захотіти заблокувати все. Але якщо ви випадково заблокуєте пошукових ботів, що живлять AI-пошукові системи, ви можете зникнути з дедалі важливішого каналу видимості — так само, як блокування Googlebot знищило б ваш органічний пошуковий трафік. Сенс нової системи категорій — дати вам змогу бути вибірковими, а не обирати «все або нічого».
Тепер з'явився реальний механізм отримання оплати. Роками угода була негласною і односторонньою: краулери забирали ваш контент, а ви нічого не отримували, поки людина не натискала на посилання. Pay Per Use — це перша спроба на рівні інфраструктури змінити цю математику — дозволити сайту встановити реальну ціну на AI-доступ до свого контенту, так само як пейвол стягує плату за людський доступ.
Що насправді зробити до 15 вересня
Вам не потрібно за одну ніч ставати експертом із бот-трафіку. Для більшості сайтів малого бізнесу правильний крок — це короткий обдуманий аудит, а не крайнощі (повністю ігнорувати або кидатися стягувати плату за все).
1. Переконайтеся, чи стоїть Cloudflare перед вашим сайтом
Якщо ваш розробник, агенція або платформа сайту налаштували хостинг чи DNS, ви можете навіть не знати, що Cloudflare задіяний. Перевірте свого DNS-провайдера або запитайте того, хто керує інфраструктурою вашого сайту. Якщо ви не на Cloudflare, це вас поки що безпосередньо не стосується — хоча очікуйте, що інші CDN підуть подібним шляхом, з огляду на напрямок розвитку індустрії.
2. Знайдіть свої налаштування керування AI-ботами
У панелі керування Cloudflare це розташовано в розділі керування ботами / AI Crawl Control у налаштуваннях вашої зони. Саме тут ви побачите категоризацію «Пошук / Агент / Навчання» та елементи керування тим, як кожна категорія обробляється на вашому сайті.
3. Ухвалюйте рішення свідомо, категорія за категорією
- Залиште пошукових AI-ботів дозволеними. Це ті, хто найімовірніше приведе вам відвідувача через AI-генеровану відповідь або пошуковий результат. Блокування їх зазвичай шкодить бізнесу, який хоче бути знайденим в інтернеті.
- Добре подумайте про ботів-агентів. Якщо у вас інтернет-магазин або щось із даними про ціни чи бронювання, AI-агенти можуть порівнювати ціни або завершувати покупки від імені клієнта. Їхнє блокування може означати втрату продажу, який ви могли б отримати; дозвіл може означати безкоштовну віддачу вашої цінової інформації. Універсальної правильної відповіді тут немає — усе залежить від вашої бізнес-моделі.
- Будьте спокійніші щодо блокування чисто навчальних ботів, особливо на будь-якій сторінці, яка не призначена бути публічним довідковим документом. Вони дають вам майже нульову бізнес-вигоду, тому поведінка «блокувати за замовчуванням» для сторінок із рекламою, яку впроваджує Cloudflare, є розумним стандартом для більшості малих сайтів, а не чимось, що варто автоматично скасовувати.
4. Не поспішайте стягувати плату за доступ
Шлюз монетизації орієнтований на видавців із великими, цінними бібліотеками контенту або власними датасетами — подумайте про великі медіакомпанії, наукові бази даних або платформи з контентом, якого немає більше ніде. Для типового сайту малого бізнесу (блог сервісної компанії, сторінки товарів місцевого магазину, нішева розсилка) чесна порада: ще не час. Агресивне стягнення плати за AI-доступ може тихо виключити вас із AI-генерованих відповідей, якими ваші майбутні клієнти дедалі частіше користуються замість традиційного пошуку — це протилежне тому, чого ви хочете, якщо видимість досі є вашим пріоритетом.
5. Поставте нагадування в календар, а не просто в голові
Оскільки нові налаштування за замовчуванням застосовуються автоматично для безкоштовних і нових акаунтів, і оскільки це явно сфера, що розвивається (Cloudflare уже перейшов від «Pay Per Crawl» до «Pay Per Use» приблизно за рік), ставтеся до цього як до регулярної перевірки, а не разового виправлення. Переглядайте налаштування ботів щокварталу, так само як переглядаєте рекламний бюджет чи ціни.
Ширша картина: AI-трафік стає статтею витрат
Відступивши на крок, це насправді історія про нову категорію бізнес-економіки, яка з'являється вперше: контент як монетизований ресурс для AI-систем, окремо від контенту як рушія людського трафіку. Чи ввімкнете ви коли-небудь Pay Per Use, базовий зсув реальний — частина цінності, яку створює ваш сайт, тепер споживається машинами, а не людьми, і інфраструктура нарешті з'являється, щоб встановити на це ціну.
Це має прямі наслідки для того, як ви маєте думати про свою бухгалтерію. Якщо ви зрештою ввімкнете монетизацію AI-контенту — навіть скромний дохід від Pay Per Use — це реальний дохід, який потребує окремого рядка у вашому плані рахунків, окремого від рекламного доходу, партнерських доходів чи продажів товарів. Змішування його із загальним «іншим доходом» значно ускладнить відповідь на просте запитання через рік: чи справді це варте операційних витрат, чи це просто шум? Та сама логіка застосовується до будь-якого нового, незнайомого потоку доходу — чисте розділення зараз заощадить головний біль із звіркою пізніше, особливо коли в процесі задіяний платіжний процесор на кшталт Stripe і вам потрібно зіставити звіти про розрахунки з тим, що реально надійшло на ваш банківський рахунок.
Тримайте свою бухгалтерію такою ж прозорою, як і контент-стратегію
Рішення, яких ботів пускати, а з кого стягувати плату, — це бізнес-рішення — і, як будь-яке бізнес-рішення, воно настільки гарне, наскільки гарні записи, що його підтримують. Beancount.io дає вам бухгалтерію у відкритому текстовому форматі з контролем версій, тож такий новий потік доходу, як монетизація AI-контенту, отримує власний чистий, контрольований рядок із першого дня, а не губиться в електронній таблиці. Перегляньте документацію, щоб побачити, як легко відстежувати нове джерело доходу поруч з усім іншим, або дослідіть панель Fava для візуального огляду того, звідки реально надходить ваш дохід. Почніть безкоштовно і тримайте свої фінансові записи такими ж прозорими, як і решту вашого технологічного стеку.
