Hier ist eine Zahl, die zum Nachdenken anregt: Mitte 2026 machen automatisierte Anfragen mehr als 57 % des gesamten HTML-Traffics im Web aus – und übertreffen damit zum ersten Mal in der Internetgeschichte die tatsächlichen menschlichen Besucher. Ein bedeutender und schnell wachsender Teil dieses Traffics stammt nicht von Googlebot, der Ihre Seite indexiert, damit sie in der Suche erscheint. Es sind KI-Crawler, die Ihre Blogbeiträge, Produktseiten und Dokumentationen absaugen, um Modelle zu trainieren oder Fragen in einem Chatbot zu beantworten, oft ohne dass ein Mensch jemals auf Ihre Seite klickt.
Wenn Sie eine Website hinter Cloudflare betreiben – und ein großer Teil des kleinen Business-Webs tut dies, ob Sie es wissen oder nicht – tritt am 15. September 2026 eine Richtlinienänderung in Kraft, die leise neu definiert, wer Ihre Inhalte kostenlos lesen darf, wer zahlen muss und wer komplett blockiert wird. Wenn Sie Ihre Einstellungen nicht vorher überprüfen, wird Cloudflare die Entscheidung für Sie treffen.
Hier erfahren Sie, was tatsächlich passiert, warum es für Ihr Geschäftsergebnis wichtig ist und was Sie dagegen tun können – selbst wenn Sie noch nie ein Cloudflare-Dashboard geöffnet haben.
Was Cloudflare tatsächlich geändert hat
Cloudflare sitzt als Content Delivery Network und Sicherheitsschicht vor einem großen Teil des Internets, was es in eine einzigartige Position versetzt, Bot-Traffic in großem Maßstab zu sehen – und zu kontrollieren. 2025 startete das Unternehmen eine experimentelle Funktion namens Pay Per Crawl: Website-Betreiber konnten einen Schalter umlegen und KI-Unternehmen eine Gebühr pro Seite berechnen, jedes Mal, wenn ihr Crawler Inhalte abrief, wobei der obskure HTTP-Statuscode 402 Payment Required verwendet wurde, um einem Bot mitzuteilen: "Zahlen oder du kommst nicht rein."
Dieses Experiment hat sich seitdem zu etwas Breiterem namens Pay Per Use entwickelt, gepaart mit einem neuen Monetarisierungs-Gateway. Der Denkwandel ist subtil, aber wichtig: Anstatt KI-Unternehmen jedes Mal zu belasten, wenn ein Bot lediglich eine Seite abruft (was leicht zu manipulieren ist und keinen tatsächlichen Wert widerspiegelt), ist das neue Modell darauf ausgerichtet, zu belasten, wenn Ihre Inhalte tatsächlich einen Mehrwert schaffen – zum Beispiel, wenn sie in einer KI-generierten Antwort zitiert werden oder wenn ein KI-Agent bestimmte Daten abruft, um eine Aufgabe für seinen Benutzer zu erledigen. Zu den frühen Partnern, die diesen Ansatz verfolgen, gehören KI-Suchprodukte, die Publisher bezahlen, wenn ihre Inhalte in den Ergebnissen auftauchen.
Begleitend zu dieser Verschiebung verschärft Cloudflare sein Standardverhalten dafür, wie KI-Bots auf Ihrer Website überhaupt agieren dürfen. Ab dem 15. September 2026 sortiert Cloudflare Crawler in drei Kategorien:
- Such-Bots – die Crawler, die KI-gestützte Suchergebnisse antreiben und im Allgemeinen immer noch menschliche Besucher auf Ihre Website lenken. Diese bleiben standardmäßig erlaubt, da sie weiterhin Auffindbarkeit und Traffic fördern.
- Agenten-Bots – Crawler, die im Auftrag eines KI-Agenten handeln, der eine Aufgabe für einen Benutzer erledigt (etwas buchen, Preise vergleichen, eine Seite zusammenfassen).
- Trainings-Bots – Crawler, deren einziger Zweck darin besteht, Ihre Inhalte aufzusaugen, um ein Modell zu trainieren, ohne dass Sie davon einen besuchergenerierenden Nutzen haben.
Der umstrittene Punkt ist, was Cloudflare als "Crawler mit gemischter Nutzung" bezeichnet – Bots, die mehr als einen dieser Zwecke vereinen, was es schwierig macht zu erkennen, ob eine bestimmte Anfrage Ihnen einen Kunden bringt oder Ihre Inhalte nur kostenlos abgräbt. Ab dem 15. September wird Cloudflare Crawler mit gemischter Nutzung standardmäßig auf jeder Seite blockieren, die Werbung enthält, es sei denn, der Website-Betreiber hat die Einstellung manuell geändert. Diese neue Voreinstellung gilt für brandneue Cloudflare-Kunden, neue Websites bestehender Kunden und – bemerkenswerterweise – alle Free-Tier-Konten, was eine große Anzahl von kleinen Business- und persönlichen Websites abdeckt.
Warum das wichtig ist, selbst wenn Sie diese Einstellungen nie berührt haben
Es ist verlockend, dies als "Problem der großen Publisher" abzutun und weiterzumachen. Das ist es nicht. Einige Gründe, warum dies kleine Business-Inhaber direkt betrifft:
Ihre Voreinstellungen werden sich ändern, ohne dass Sie etwas tun. Wenn Ihre Website Werbung schaltet (auch etwas so Bescheidenes wie einen Affiliate-Link oder ein Display-Werbenetzwerk) und Sie sich im Cloudflare-Free-Tier befinden oder nach dem 15. September eine neue Website erstellen, gilt das neue Blockierverhalten automatisch. Sie müssen nicht zustimmen, um betroffen zu sein – Sie müssen widersprechen, wenn Sie anderer Meinung sind.
KI-gesteuerter Traffic auf Ihrer Website wächst oder schrumpft, je nachdem, wie Sie kategorisiert werden. Aktuelle Daten zum Verhalten von KI-Crawlern zeigen, dass etwa 20 % des verifizierten Bot-Traffics nun von KI-Crawlern stammt, plus weitere 6-7 % von KI-Such-Bots – und KI-bezogene Crawler-Anfragen insgesamt haben sich als Anteil am Crawler-Traffic in etwas mehr als einem Jahr mehr als verdoppelt. Ein Teil dieses Traffics ist wirklich wertvoll (eine KI-Antwort-Engine, die Ihre Seite zitiert und Ihnen einen Leser schickt). Ein Teil davon ist reine Extraktion – ein Trainings-Bot, der Ihre Inhalte in einen Datensatz kopiert, der Ihnen nie einen einzigen Besucher schicken wird.
Unüberlegtes Blockieren kann Ihnen auch schaden. Es ist leicht, "KI scraped meine Website kostenlos" zu hören und alles blockieren zu wollen. Aber wenn Sie versehentlich die suchorientierten Bots blockieren, die KI-Antwort-Engines antreiben, können Sie aus einem zunehmend wichtigen Auffindbarkeitskanal verschwinden – genauso wie das Blockieren von Googlebot Ihren organischen Such-Traffic einbrechen lassen würde. Der Sinn des neuen Kategoriesystems ist es, Ihnen zu ermöglichen, selektiv zu sein, anstatt alles oder nichts zu tun.
Es gibt jetzt einen tatsächlichen Mechanismus, um bezahlt zu werden. Jahrelang war der Deal implizit und einseitig: Crawler nahmen Ihre Inhalte, Sie bekamen nichts, es sei denn, ein Mensch klickte schließlich auf einen Link. Pay Per Use ist der erste Mainstream-Versuch auf Infrastrukturebene, diese Rechnung zu ändern – der einer Website ermöglicht, einen echten Preis für den KI-Zugriff auf ihre Inhalte zu setzen, genauso wie eine Paywall einen Preis für den menschlichen Zugriff setzt.
Was Sie vor dem 15. September tatsächlich tun sollten
Sie müssen nicht über Nacht zum Bot-Traffic-Experten werden. Für die meisten kleinen Business-Websites ist der richtige Schritt ein kurzes, bewusstes Audit, anstatt in eines der Extreme zu verfallen (ignorieren oder überstürzt alles in Rechnung stellen).
1. Bestätigen Sie, ob Cloudflare vor Ihrer Website sitzt
Wenn Ihr Entwickler, Ihre Agentur oder Ihre Website-Plattform das Hosting oder DNS für Sie eingerichtet haben, wissen Sie vielleicht gar nicht, dass Cloudflare involviert ist. Überprüfen Sie Ihren DNS-Anbieter oder fragen Sie den, der Ihre Website-Infrastruktur verwaltet. Wenn Sie nicht bei Cloudflare sind, betrifft Sie dies noch nicht direkt – erwarten Sie jedoch, dass andere CDNs angesichts der Branchenentwicklung einem ähnlichen Muster folgen werden.
2. Finden Sie Ihre KI-Bot-Verwaltungseinstellungen
Im Cloudflare-Dashboard befindet sich dies im Bereich Bot-Management / KI-Crawl-Kontrolle Ihrer Zoneneinstellungen. Hier sehen Sie die Kategorisierung in Suche / Agent / Training und die Steuerungselemente dafür, wie jede auf Ihrer Website behandelt wird.
3. Entscheiden Sie bewusst, Kategorie für Kategorie
- Lassen Sie suchorientierte KI-Bots erlaubt. Diese werden Ihnen am wahrscheinlichsten einen Besucher über eine KI-gestützte Antwort oder ein Suchergebnis schicken. Das Blockieren ist in der Regel kontraproduktiv für ein Unternehmen, das online gefunden werden möchte.
- Denken Sie gründlich über Agenten-Bots nach. Wenn Sie eine E-Commerce-Website oder etwas mit Preis-/Buchungsdaten betreiben, vergleichen KI-Agenten möglicherweise Preise oder führen Einkäufe im Namen eines Kunden durch. Das Blockieren könnte bedeuten, einen Verkauf zu verlieren, den Sie sonst bekommen hätten; das Erlauben könnte bedeuten, Ihre Preisintelligenz kostenlos preiszugeben. Es gibt keine universelle richtige Antwort – es hängt von Ihrem Geschäftsmodell ab.
- Seien Sie eher bereit, reine Trainings-Bots zu blockieren, insbesondere auf Seiten, die nicht als öffentliche Referenzdokumente gedacht sind. Sie bieten Ihnen nahezu keinen geschäftlichen Nutzen, daher ist das "standardmäßig blockieren"-Verhalten für werbeführende Seiten, das Cloudflare einführt, eine vernünftige Voreinstellung für die meisten kleinen Websites, die Sie nicht reflexartig überschreiben sollten.
4. Stürzen Sie sich nicht überstürzt in die Berechnung von Zugängen
Das Monetarisierungs-Gateway richtet sich an Publisher mit großen, wertvollen Inhaltsbibliotheken oder proprietären Datensätzen – denken Sie an große Medienunternehmen, Forschungsdatenbanken oder Plattformen mit Inhalten, die niemand sonst hat. Für eine typische kleine Business-Website (ein Blog eines Dienstleistungsunternehmens, die Produktseiten eines lokalen Geschäfts, ein Nischen-Newsletter) lautet der ehrliche Rat: noch nicht. Aggressives Berechnen des KI-Zugangs kann Sie leise aus den KI-generierten Antworten ausschließen, die Ihre zukünftigen Kunden zunehmend anstelle einer traditionellen Suche verwenden – das Gegenteil von dem, was Sie wollen, wenn Sichtbarkeit noch Ihre Priorität ist.
5. Setzen Sie eine Erinnerung in Ihren Kalender, nicht nur in Ihren Kopf
Da die neuen Voreinstellungen automatisch für Free-Tier- und neue Konten ausgerollt werden und da dies eindeutig ein sich entwickelndes Gebiet ist (Cloudflare ist bereits in etwa einem Jahr von "Pay Per Crawl" zu "Pay Per Use" übergegangen), behandeln Sie dies als wiederkehrenden Check-in und nicht als einmalige Lösung. Überprüfen Sie Ihre Bot-Einstellungen vierteljährlich, so wie Sie Ihre Werbeausgaben oder Ihre Preise überprüfen würden.
Das größere Muster: KI-Traffic wird zu einer Kostenstelle
Treten Sie einen Schritt zurück, und dies ist wirklich eine Geschichte über eine neue Kategorie der Geschäftsökonomie, die zum ersten Mal auftaucht: Inhalte als monetarisierbarer Input für KI-Systeme, getrennt von Inhalten als Treiber menschlichen Traffics. Ob Sie Pay Per Use jemals einschalten oder nicht, die zugrunde liegende Verschiebung ist real – ein Teil des Werts, den Ihre Website schafft, wird jetzt von Maschinen statt von Menschen konsumiert, und es entsteht endlich eine Infrastruktur, um einen Preis dafür zu setzen.
Das hat eine direkte Auswirkung darauf, wie Sie über Ihre Bücher denken sollten. Wenn Sie schließlich die KI-Inhalte-Monetarisierung aktivieren – selbst eine bescheidene Menge an Pay Per Use-Einnahmen – ist das echtes Einkommen, das eine eigene Zeile in Ihrem Kontenplan benötigt, getrennt von Werbeeinnahmen, Affiliate-Einnahmen oder Produktverkäufen. Das Vermischen in einen allgemeinen "sonstigen Einkünfte"-Topf macht es viel schwieriger, eine einfache Frage in einem Jahr zu beantworten: Ist das tatsächlich den operativen Aufwand wert oder nur Rauschen? Dieselbe Logik gilt für jede neue, unbekannte Einnahmequelle – eine saubere Trennung jetzt erspart später einen Abstimmungskopfschmerz, besonders sobald ein Zahlungsabwickler wie Stripe involviert ist und Sie Abrechnungsberichte mit dem abgleichen müssen, was tatsächlich auf Ihrem Bankkonto gelandet ist.
Halten Sie Ihre Bücher so klar wie Ihre Content-Strategie
Zu entscheiden, welche Bots Sie hereinlassen und welche Sie berechnen, ist eine Geschäftsentscheidung – und wie jede Geschäftsentscheidung ist sie nur so gut wie die Aufzeichnungen dahinter. Beancount.io bietet Ihnen Klartext-, versionierbare Buchhaltung, sodass eine brandneue Einnahmequelle wie die KI-Inhalte-Monetarisierung von Anfang an ihre eigene saubere, prüfbare Zeile bekommt, anstatt in einer Tabelle verloren zu gehen. Schauen Sie in die Dokumentation, um zu sehen, wie einfach es ist, eine neue Einkommensquelle neben allem anderen zu verfolgen, oder erkunden Sie das Fava-Dashboard für eine visuelle Darstellung, woher Ihre Einnahmen tatsächlich kommen. Starten Sie kostenlos und halten Sie Ihre Finanzaufzeichnungen so transparent wie den Rest Ihres Tech-Stacks.