Миналия месец AI обхождач може да е прочел всяка статия, която някога сте публикували — вашите помагала, вашите продуктови ревюта, вашите три години архиви — за няколко минути. Не ви е платил нищо и не ви е изпратил почти никакви читатели в замяна. Ако това изречение ви е свило стомаха, вие сте точно този, за когото е тази публикация.
С години малките издатели бяха изправени пред неприятен двоен избор: да блокират напълно AI ботовете и да се откажат от всякакъв шанс за приходи от лицензиране или реферален трафик, или да оставят вратата отворена и да гледат как работата им се жъне безплатно. Тази ера приключва. Cloudflare — мрежата, която стои пред приблизително всеки пети уебсайт — е изградила една будка за такси за AI обхождачи и тя вече е достъпна за обикновени собственици на сайтове, не само за гигантски медийни компании. Можете да зададете цена за обхождане, да събирате месечни плащания и да поддържате търсачките да работят нормално.
Това ръководство обяснява как работи pay-per-crawl, какво означават новите настройки за блокиране по подразбиране за вашия трафик и — частта, която повечето статии пропускат — как да запишете тези странни нови приходи от микроплащания в книгите си, така че да не се превърнат в мистерия през данъчния сезон.
Какво се промени: от „вземи или блокирай" към ценова листа
Ето кратката версия на последната година от инфраструктурната история:
- Юли 2025 г. — „Ден на независимостта на съдържанието". Cloudflare обърна настройката по подразбиране за нови сайтове: известните AI обхождачи се блокират, освен ако не кажете друго. Вече не се ровиш из firewall правила, за да се откажеш; отказът стана началната позиция.
- Pay Per Crawl (частна бета версия, след това по-широко разпространение). Собствениците на сайтове зад Cloudflare могат да зададат единична цена за заявка за целия си домейн. Когато се появи AI обхождач, имате три възможности за всеки обхождач: да го Разрешите безплатно, да го Таксувате с вашата цена или да го Блокирате напълно. Ботовете, които не плащат, получават HTTP
402 Payment Requiredотговор — статус код, който стоя почти неизползван от десетилетия, докато този случай на употреба не го възроди. - AI Crawl Control (обща наличност). Инструментът в таблото за всичко това — преди известен като AI Audit — вече показва кои AI обхождачи посещават, какво извличат и ви позволява да изпращате персонализирани 402 отговори със собствено съобщение и условия, така че операторът на обхождача да знае как да се свърже с вас за преговори.
- Септември 2026 г. — блокиране по подразбиране на страници с реклами. Cloudflare обяви, че „обхождачи със смесено предназначение" — ботове, които смесват търсене, използване от AI агенти и обучение на модели — се блокират по подразбиране от страници, които хостват реклами, освен ако не коригирате настройката. Това е важно, защото AI обобщенията са широко обвинявани за отклоняването на кликовете, от които живеят страниците с реклами. Новата настройка по подразбиране се прилага за нови клиенти, нови сайтове на съществуващи клиенти и съществуващи клиенти на безплатния план.
- Pay Per Crawl се развива в „Pay Per Use". Вместо да се таксува само когато страница бъде извлечена, следващата итерация има за цел да компенсира издателите, когато тяхното съдържание се появи в AI отговори — когато то действително създава стойност. Тази версия е все още ранна, но показва накъде се движи моделът.
Изводът: самостоятелен блогър или нишов издател вече разполага със същата основна машинерия, която големите медийни марки използват, за да лицензират съдържание на AI компании — цена, портал и тръбопровод за плащания — без да наема адвокат или да изгражда билинг инфраструктура.
Как всъщност работи pay-per-crawl
Механиката е умишлено проста:
- Задавате една цена за домейн. В таблото на Cloudflare определяте плоска цена за заявка, която се прилага за целия ви сайт. Публикуваният минимум е един цент ($0,01) за обхождане.
- Класифицирате всеки обхождач: Разрешаване, Таксуване или Блокиране. Обхождачите на търсачки, от които зависите за откриваемост, остават разрешени. Известните AI обхождачи за обучение се таксуват или блокират — ваш избор.
- Cloudflare действа като търговец на запис. Не интегрирате платежен шлюз, не фактурирате AI компании и не гоните разписки. Cloudflare събира от оператора на обхождача и ви превежда сумите по месечен график на плащания, след агрегиране и съпоставяне на таксите за микроплащания.
- Неплащащите обхождачи получават 402. Вместо вашето съдържание, те получават отговор „Изисква се плащане", носещ вашата цена и съобщение — машинночетима покана да се върнат с плащане.
Две практически бележки. Първо, това управлява само ботове, които се идентифицират и спазват правилата; наистина злонамерените скрейпъри, които сменят IP адреси и фалшифицират user agents, са отделен проблем за управление на ботове. Второ, приходите започват малки за повечето сайтове — стотинки за обхождане се натрупват само с обем — така че мислете за това като за нов ред за проследяване, а не като план за пенсиониране.
Настройте го, без да нарушите трафика си
Най-големият риск не е да печелите твърде малко. Той е да конфигурирате грешно контролите и случайно да задушите човешкия и търсещия трафик, който всъщност плаща сметките ви. Преминете през този списък:
1. Направете инвентаризация на каквото имате, преди да пипнете нещо
Извадете месец анализи: какъв дял от трафика идва от търсене, какъв дял от AI реферали и кои страници носят реклами. Вашите страници с реклами заслужават най-строгите настройки, тъй като всяко посещение, отклонено в AI обобщение, е приход, който никога не виждате.
2. Запазете разрешени обхождачите на търсачките
AI обхождачите и обхождачите на търсачки са различни групи. Не блокирайте ботовете, които ви показват в резултатите от търсенето, докато се целите в ботовете, които обучават модели. В таблото проверете дали списъкът с разрешени покрива основните обхождачи на търсачки, преди да таксувате или блокирате нещо друго.
3. Започнете с „Таксуване" за обхождачи за обучение, „Блокиране" само умишлено
Блокирането е удовлетворяващо, но затваря врати: блокиран обхождач не може да стане плащащ клиент или източник на реферали. Таксуването с ясно 402 съобщение („въпроси за лицензиране: [email protected]") държи преговорите отворени. Запазете пълните блокировки за оператори, с които никога не искате връзка.
4. Определете позицията си относно обхождачите със смесено предназначение и страниците с реклами
Съгласно настройката по подразбиране от септември 2026 г., обхождачите със смесено предназначение автоматично се блокират от вашите страници с реклами. Тази настройка по подразбиране защитава приходите от реклами, но ако AI асистент за пазаруване или агент генерира конвертиращ трафик към вашите продуктови страници, може да поискате да разрешите конкретни обхождачи там. Прегледайте настройката по тип страница — блог съдържание спрямо витрина — вместо да приемате едно глобално правило.
5. Следете първите 30 дни като ястреб
Следете три показателя седмично след активирането на таксуването: обем на обхожданията по бот, натрупани плащания в таблото и човешки реферален трафик от търсене и AI източници. Ако впечатленията от търсене спаднат, значи сте преблокирали. Ако плащанията се натрупват, но никога не пристигат, проверете статуса на плащанията и минималните прагове.
Осчетоводяване: как да записвате приходите от обхождания, без да създавате бъркотия
Ето частта, която никой не ви казва: приходите от микроплащания са счетоводно главоболие, ако се отнасяте към тях небрежно. Стотици такси от стотинки, агрегирани в едно месечно плащане, няма да се съгласуват сами. Изградете тръбопровода от първия ден.
Дайте му собствена приходна сметка
Не смесвайте плащанията от обхождания в общия „друг доход" или с приходите от реклами. Те се държат различно — различен платец, различна документация, различна история на растеж — и ще искате да отговорите на въпроса „струва ли си?" с реални числа по-късно. В обикновен текстов ledger това изглежда така:
2026-09-01 * "Cloudflare" "Pay-per-crawl плащане за август"
Assets:Bank:Checking 18.42 USD
Income:ContentLicensing:PayPerCrawl -18.42 USDАко по-късно добавите лицензионни сделки или плащания от pay-per-use, дайте на всяко собствена подсметка. Десет минути дизайн на сметкоплана сега спестяват часове разплитане по-късно. Документацията ви превежда през изграждането на йерархия на приходите, ако никога не сте я изграждали.
Съгласувайте натрупаните суми в таблото с банковите депозити
Cloudflare агрегира микротаксите и плаща месечно, така че натрупаната сума в таблото и вашият банков депозит почти никога няма да съвпаднат до стотинка през същия месец — между тях стоят времеви граници, корекции и евентуални такси. Осчетоводете плащането, когато пристигне, и водете проста месечна бележка за съгласуване: натрупана сума, корекции, получена сума, неизплатен баланс. Ако разликата някога надхвърли няколко процента, разследвайте, вместо да вдигате рамене.
Никога не приспадайте плащанията от сметката си за Cloudflare
Ако също плащате на Cloudflare за хостинг или сигурност, запишете плащането като приход, а абонамента като разход отделно. Приспадането им в едно число подценява както приходите, така и разходите ви, изкривява маржовете и прави потока от приходи невидим точно когато се опитвате да го оцените.
Третирайте го като обикновен доход и пазете документацията
Плащанията от обхождания са обикновен бизнес доход, не подаръци, не роялти от издател в традиционния смисъл. Тъй като Cloudflare действа като търговец на запис и ви превежда сумите, очаквайте данъчна документация от платежния тръбопровод за годината — пазете всяко месечно извлечение за плащане с данъчните си документи, както пазите 1099 формулярите от рекламните мрежи. Ако плащанията са малки през първата година, те пак се броят; „твърде малко, за да има значение" е начинът, по който започват санкциите за недеклариране.
Преглеждайте го тримесечно спрямо цената на трафика
Приходите от обхождания имат скрит контраразход: загубен читателски трафик, когато ботовете отговарят на въпроси от вашето съдържание, вместо да изпращат посетители. Веднъж на тримесечие сравнявайте общите плащания с тенденциите на приходите от реклами и партньорски програми на вашите най-обхождани страници. Табло като Fava улеснява изобразяването на потока от лицензионни приходи до прихода от реклами и виждате дали сделката е наистина изгодна — или дали по-строгите блокировки на страници с реклами биха ви донесли повече.
Грешки, които тихо заличават печалбите
- Блокиране на обхождачите на търсачки заедно с AI обхождачите. Най-скъпата грешна конфигурация. Проверявайте видимостта в търсенето след всяка промяна.
- Смесване на плащанията от обхождания с приходите от реклами. Губите способността да прецените дали таксуването превъзхожда блокирането, а вашият данъчен консултант получава немаркирана купчина.
- Забравяне на дохода при данъчно облагане. Малките месечни депозити лесно се пропускат единадесет месеца по-късно. Специална сметка в ledger-а е вашият напомнител.
- Задаване на цена и никога повече не я преразглеждате. Един цент за обхождане може да подцени скъпоструващо разследващо парче и да надцени стоково съдържание. Преразглеждайте цените, докато моделът pay-per-use съзрява.
- Игнориране на настройката по подразбиране за страници с реклами. Ако публикувате реклами, потвърдете, че блокирането на обхождачи със смесено предназначение е активно на тези страници — тази настройка по подразбиране съществува именно за защита на приходите от кликове.
Дръжте приходите от съдържанието си организирани от първия ден
Pay-per-crawl превръща архива ви от център на разходи в измерваем актив — но само ако можете да виждате какво печели. Проследяването на нов поток от микроплащания заедно с реклами, партньорски програми и абонаменти е точно онзи вид счетоводство с множество потоци, което става разхвърляно в електронна таблица. Beancount.io предоставя счетоводство в обикновен текст, което ви дава пълна прозрачност и контрол върху финансовите ви данни — без черни кутии, без привързване към доставчик. Започнете безплатно и вижте защо разработчици и финансови професионалисти преминават към счетоводство в обикновен текст.