Hier is een getal om even bij stil te staan: halverwege 2026 bestaat meer dan 57% van al het HTML-verkeer op het web uit geautomatiseerde verzoeken — voor het eerst in de internetgeschiedenis meer dan echte menselijke bezoekers. Een aanzienlijk en snelgroeiend deel van dat verkeer is niet Googlebot die jouw site indexeert zodat die in zoekresultaten verschijnt. Het zijn AI-crawlers die jouw blogposts, productpagina's en documentatie schrapen om modellen te trainen of vragen te beantwoorden in een chatbot, vaak zonder dat een mens ooit op jouw site doorklikt.
Als jouw website achter Cloudflare draait — en een groot deel van het web van kleine bedrijven doet dat, of je het nu weet of niet — dan staat er op 15 september 2026 een beleidswijziging gepland die stilletjes zal veranderen wie jouw content gratis mag lezen, wie moet betalen en wie volledig wordt geblokkeerd. Als je vóór die datum geen controle uitvoert op je instellingen, neemt Cloudflare de beslissing voor je.
Dit is wat er werkelijk gebeurt, waarom het uitmaakt voor jouw winstgevendheid en wat je eraan kunt doen — zelfs als je nog nooit een Cloudflare-dashboard hebt geopend.
Wat Cloudflare echt heeft veranderd
Cloudflare staat als content delivery network en beveiligingslaag voor een groot percentage van het internet, waardoor het een unieke positie heeft om botverkeer op grote schaal te zien — en te beheersen. In 2025 lanceerde het een experimentele functie genaamd Pay Per Crawl: site-eigenaren konden een schakelaar omzetten en AI-bedrijven een vergoeding per pagina laten betalen telkens wanneer hun crawler content ophaalde, met behulp van de obscure HTTP-statuscode 402 Payment Required om een bot te laten weten: "betaal, of je komt er niet in."
Dat experiment is inmiddels geëvolueerd naar iets breders genaamd Pay Per Use, gekoppeld aan een nieuwe Monetization Gateway. De verschuiving in denken is subtiel maar belangrijk: in plaats van AI-bedrijven te laten betalen telkens wanneer een bot een pagina alleen maar ophaalt (wat makkelijk te manipuleren is en geen echte waarde weerspiegelt), is het nieuwe model gericht op het in rekening brengen wanneer jouw content daadwerkelijk waarde creëert — bijvoorbeeld wanneer het wordt geciteerd in een AI-gegenereerd antwoord, of wanneer een AI-agent specifieke gegevens ophaalt om een taak voor zijn gebruiker te voltooien. Vroege partners die deze aanpak hanteren, zijn onder meer AI-zoekproducten die uitgevers betalen wanneer hun content in resultaten verschijnt.
Naast die verschuiving verstrakt Cloudflare ook het standaardgedrag voor hoe AI-bots zich op jouw site mogen gedragen. Vanaf 15 september 2026 sorteert Cloudflare crawlers in drie categorieën:
- Zoekbots — de crawlers die AI-ondersteunde zoekresultaten aandrijven en doorgaans nog steeds menselijke bezoekers naar jouw site sturen. Deze blijven standaard toegestaan omdat ze nog steeds ontdekking en verkeer stimuleren.
- Agentbots — crawlers die optreden namens een AI-agent die een taak voor een gebruiker voltooit (iets boeken, prijzen vergelijken, een pagina samenvatten).
- Trainingsbots — crawlers met als enige doel jouw content op te zuigen om een model te trainen, zonder enig bezoekgenererend voordeel voor jou.
Het controversiële onderdeel is wat Cloudflare "crawlers met gemengd gebruik" noemt — bots die meerdere van deze doelen combineren, waardoor het moeilijk te bepalen is of een bepaald verzoek je een klant stuurt of slechts je content gratis afgraaft. Vanaf 15 september zal Cloudflare crawlers met gemengd gebruik standaard blokkeren op elke pagina die advertenties bevat, tenzij de site-eigenaar de instelling handmatig heeft gewijzigd. Deze nieuwe standaard geldt voor gloednieuwe Cloudflare-klanten, nieuwe sites van bestaande klanten en — opmerkelijk — alle accounts op het gratis abonnement, wat een groot aantal kleine bedrijfs- en persoonlijke sites omvat.
Waarom dit ertoe doet, zelfs als je deze instellingen nog nooit hebt aangeraakt
Het is verleidelijk om dit onder "probleem van grote uitgevers" te scharen en door te gaan. Dat is het niet. Een paar redenen waarom dit direct invloed heeft op eigenaren van kleine bedrijven:
Je standaardinstellingen gaan veranderen zonder dat jij iets doet. Als jouw site advertenties bevat (zelfs iets bescheiden als een affiliate-link of een display-advertentienetwerk) en je gebruikt Cloudflare's gratis abonnement of je zet na 15 september een nieuwe site op, dan geldt het nieuwe blokkeergedrag automatisch. Je hoeft niet in te stemmen om geraakt te worden — je moet afmelden als je het er niet mee eens bent.
AI-gedreven verkeer naar jouw site groeit of krimpt afhankelijk van hoe je wordt gecategoriseerd. Recente gegevens over AI-crawler-gedrag tonen aan dat ongeveer 20% van het geverifieerde botverkeer nu afkomstig is van AI-crawlers, plus nog eens 6-7% van AI-zoekbots — en AI-gerelateerde crawlerverzoeken zijn in iets meer dan een jaar meer dan verdubbeld als aandeel van het crawlerverkeer. Een deel van dat verkeer is echt waardevol (een AI-antwoordengine die jouw pagina citeert en je een lezer stuurt). Een deel is pure extractie — een trainingsbot die jouw content kopieert naar een dataset die je nooit een bezoeker zal sturen.
Blindelings blokkeren kan jou ook schaden. Het is makkelijk om te horen "AI schraapt mijn site gratis" en alles te willen blokkeren. Maar als je per ongeluk de zoekgerichte bots blokkeert die AI-antwoordengines aandrijven, kun je verdwijnen uit een steeds belangrijker ontdekkingskanaal — op dezelfde manier waarop het blokkeren van Googlebot je organische zoekverkeer zou laten kelderen. Het punt van het nieuwe c categoriesysteem is dat je selectief kunt zijn in plaats van alles of niets.
Er is nu een daadwerkelijk mechanisme om betaald te krijgen. Jarenlang was de deal impliciet en eenzijdig: crawlers namen je content, jij kreeg niets tenzij een mens uiteindelijk op een link klikte. Pay Per Use is de eerste mainstream poging op infrastructuurniveau om die rekensom te veranderen — door een website een echte prijs te laten zetten op AI-toegang tot zijn content, op dezelfde manier als een betaalmuur een prijs op menselijke toegang zet.
Wat je vóór 15 september daadwerkelijk moet doen
Je hoeft niet van de ene op de andere dag een botverkeerexpert te worden. Voor de meeste kleine bedrijfssites is de juiste zet een korte, doordachte audit in plaats van een van beide uitersten (het volledig negeren, of haastig voor alles gaan vragen).
1. Bevestig of Cloudflare voor jouw site staat
Als jouw ontwikkelaar, bureau of websiteplatform hosting of DNS voor je heeft ingesteld, weet je misschien niet eens dat Cloudflare betrokken is. Controleer je DNS-provider of vraag degene die de infrastructuur van jouw site beheert. Als je niet bij Cloudflare zit, geldt dit nog niet direct voor jou — hoewel je kunt verwachten dat andere CDN's een vergelijkbare aanpak volgen gezien de richting waarin de industrie zich ontwikkelt.
2. Zoek je AI-botbeheerinstellingen op
In het Cloudflare-dashboard vind je deze onder het gebied voor botbeheer / AI Crawl Control in je zone-instellingen. Hier zie je de categorisering Zoeken / Agent / Training en de bedieningselementen voor hoe elk type op jouw site wordt behandeld.
3. Beslis bewust, categorie voor categorie
- Laat zoekgerichte AI-bots toegestaan. Dit zijn de bots die je het meest waarschijnlijk een bezoeker sturen via een AI-aangedreven antwoord of zoekresultaat. Ze blokkeren is meestal zelfvernietigend voor een bedrijf dat online gevonden wil worden.
- Denk goed na over agentbots. Als je een e-commerce site hebt of iets met prijs-/boekingsgegevens, kunnen AI-agents prijzen vergelijken of aankopen voltooien namens een klant. Ze blokkeren kan betekenen dat je een verkoop misloopt die je anders zou krijgen; ze toestaan kan betekenen dat je je prijsinformatie gratis weggeeft. Er is hier geen universeel juist antwoord — het hangt af van jouw bedrijfsmodel.
- Wees geruster over het blokkeren van pure trainingsbots, vooral op elke pagina die niet bedoeld is als openbaar naslagdocument. Ze bieden je vrijwel geen zakelijk voordeel, dus het "standaard blokkeren" van pagina's met advertenties dat Cloudflare uitrolt, is een redelijke standaard voor de meeste kleine sites, niet iets om reflexmatig te overschrijven.
4. Haast je niet om voor toegang te gaan vragen
De Monetization Gateway is gericht op uitgevers met grote, waardevolle contentbibliotheken of propriëtaire datasets — denk aan grote mediabedrijven, onderzoeksdatabases of platforms met content die niemand anders heeft. Voor een typische kleine bedrijfssite (een blog van een dienstverlenend bedrijf, productpagina's van een lokale winkel, een niche-nieuwsbrief) is het eerlijke advies: nog niet. Agressief vragen voor AI-toegang kan je stilletjes uitsluiten van de AI-gegenereerde antwoorden die jouw toekomstige klanten steeds vaker gebruiken in plaats van traditioneel zoeken — het tegenovergestelde van wat je wilt als zichtbaarheid nog steeds je prioriteit is.
5. Zet een herinnering in je agenda, niet alleen in je hoofd
Omdat de nieuwe standaardinstellingen automatisch worden uitgerold voor gratis abonnementen en nieuwe accounts, en omdat dit duidelijk een evoluerend gebied is (Cloudflare is in ongeveer een jaar van "Pay Per Crawl" naar "Pay Per Use" gegaan), behandel dit als een terugkerende controle in plaats van een eenmalige fix. Bekijk je botinstellingen elk kwartaal opnieuw, op dezelfde manier als je je advertentie-uitgaven of je prijzen zou herzien.
Het grotere patroon: AI-verkeer wordt een kostenpost
Als je een stap terug doet, is dit eigenlijk een verhaal over een nieuwe categorie bedrijfseconomie die voor het eerst opduikt: content als monetiseerbare input voor AI-systemen, los van content als aandrijver van menselijk verkeer. Of je Pay Per Use nu ooit inschakelt of niet, de onderliggende verschuiving is reëel — een deel van de waarde die jouw website creëert, wordt nu door machines geconsumeerd in plaats van door mensen, en er komt eindelijk infrastructuur om daar een prijs op te zetten.
Dat heeft een directe implicatie voor hoe je over je boekhouding moet denken. Als je uiteindelijk AI-contentmonetisatie inschakelt — zelfs een bescheiden bedrag aan Pay Per Use-inkomsten — dan is dat echte inkomsten die een eigen regel in je rekeningschema nodig hebben, los van advertentie-inkomsten, affiliate-inkomsten of productverkoop. Door het in een generieke "overige inkomsten"-post te mengen, wordt het veel moeilijker om over een jaar een simpele vraag te beantwoorden: is dit de operationele overhead echt waard, of is het ruis? Dezelfde logica geldt voor elke nieuwe, onbekende inkomstenstroom — een schone scheiding nu bespaart later een reconciliatiehoofdpijn, vooral zodra een betaalverwerker zoals Stripe erbij komt en je afwikkelingsrapporten moet matchen met wat er daadwerkelijk op je bankrekening is binnengekomen.
Houd je boeken zo helder als je contentstrategie
Beslissen welke bots je binnenlaat en welke je laat betalen is een zakelijke beslissing — en zoals elke zakelijke beslissing is die alleen zo goed als de administratie erachter. Beancount.io geeft je boekhouding in platte tekst, met versiebeheer, zodat een gloednieuwe inkomstenstroom zoals AI-contentmonetisatie vanaf dag één een eigen, schone en controleerbare regel krijgt in plaats van verloren te gaan in een spreadsheet. Bekijk de documentatie om te zien hoe gemakkelijk het is om een nieuwe inkomstenbron bij te houden naast alles andere, of verken het Fava-dashboard voor een visueel overzicht van waar je inkomsten daadwerkelijk vandaan komen. Start gratis en houd je financiële administratie zo transparant als de rest van je technische stack.