این یک عدد قابل تأمل است: از اواسط سال ۲۰۲۶، درخواستهای خودکار بیش از ۵۷٪ از کل ترافیک HTML در وب را تشکیل میدهند - برای اولین بار در تاریخ اینترنت از بازدیدکنندگان واقعی انسانی پیشی گرفتهاند. بخش قابل توجه و رو به رشدی از این ترافیک، گوگلبات نیست که سایت شما را ایندکس کند تا در نتایج جستجو ظاهر شود. این خزندههای هوش مصنوعی هستند که پستهای وبلاگ، صفحات محصول و مستندات شما را برای آموزش مدلها یا پاسخ به سوالات در یک چتبات استخراج میکنند، اغلب بدون اینکه یک انسان هرگز روی سایت شما کلیک کند.
اگر وبسایت شما پشت کلودفلر اجرا میشود - و بخش بزرگی از وب کسبوکارهای کوچک اینگونه است، چه بدانید چه ندانید - یک تغییر خطمشی در ۱۵ سپتامبر ۲۰۲۶ اعمال میشود که به طور بیصدا شکل میدهد که چه کسی میتواند محتوای شما را رایگان بخواند، چه کسی باید پرداخت کند، و چه کسی به طور کامل مسدود میشود. اگر قبل از آن تاریخ تنظیمات خود را بررسی نکنید، کلودفلر تصمیم را برای شما خواهد گرفت.
در اینجا آنچه واقعاً در حال رخ دادن است، چرایی اهمیت آن برای سود شما، و اقداماتی که باید انجام دهید - حتی اگر هرگز داشبورد کلودفلر را باز نکرده باشید، آورده شده است.
کلودفلر واقعاً چه چیزی را تغییر داد
کلودفلر به عنوان یک شبکه تحویل محتوا و لایه امنیتی در مقابل درصد زیادی از اینترنت قرار دارد، که آن را در موقعیت منحصر به فردی برای دیدن - و کنترل - ترافیک ربات در مقیاس بزرگ قرار میدهد. در سال ۲۰۲۵، این شرکت یک ویژگی آزمایشی به نام پرداخت به ازای خزش راهاندازی کرد: صاحبان سایت میتوانستند یک سوئیچ را بزنند و شروع به دریافت هزینه به ازای هر صفحه از شرکتهای هوش مصنوعی کنند، هر بار که خزنده آنها محتوا را واکشی میکرد، با استفاده از کد وضعیت HTTP 402 «پرداخت الزامی» برای گفتن به ربات که «پرداخت کن، وگرنه راهی نداری».
این آزمایش از آن زمان به چیزی گستردهتر به نام پرداخت به ازای استفاده تبدیل شده است، همراه با یک درگاه درآمدزایی جدید. تغییر در تفکر ظریف اما مهم است: به جای اینکه از شرکتهای هوش مصنوعی هر بار که یک ربات صرفاً یک صفحه را واکشی میکند (که به راحتی قابل دور زدن است و ارزش واقعی را منعکس نمیکند) هزینه دریافت کنید، مدل جدید به سمت دریافت هزینه زمانی که محتوای شما واقعاً ارزش ایجاد میکند جهتگیری شده است - به عنوان مثال، زمانی که در یک پاسخ تولید شده توسط هوش مصنوعی ذکر میشود، یا زمانی که یک عامل هوش مصنوعی دادههای خاصی را برای تکمیل یک وظیفه برای کاربر خود استخراج میکند. شرکای اولیه این رویکرد شامل محصولات جستجوی هوش مصنوعی هستند که زمانی که محتوای آنها در نتایج ظاهر میشود، به ناشران پرداخت میکنند.
در کنار این تغییر، کلودفلر در حال سختگیری در رفتار پیشفرض خود برای نحوه عملکرد خزندههای هوش مصنوعی در سایت شما است. از ۱۵ سپتامبر ۲۰۲۶، کلودفلر خزندهها را به سه گروه دستهبندی میکند:
- رباتهای جستجو - خزندههایی که نتایج جستجوی بهبود یافته با هوش مصنوعی را قدرت میبخشند و عموماً هنوز بازدیدکنندگان انسانی را به سایت شما میفرستند. اینها به طور پیشفرض مجاز باقی میمانند زیرا همچنان باعث کشف و ترافیک میشوند.
- رباتهای عامل - خزندههایی که به نمایندگی از یک عامل هوش مصنوعی در حال تکمیل یک وظیفه برای کاربر هستند (رزرو چیزی، مقایسه قیمتها، خلاصه کردن یک صفحه).
- رباتهای آموزش - خزندههایی که هدف تمام عیار آنها جمعآوری محتوای شما برای آموزش یک مدل است، بدون هیچ سود بازدیدزایی برای شما.
بخش جنجالی چیزی است که کلودفلر آن را خزندههای «با کاربرد مختلط» مینامد - رباتهایی که بیش از یک هدف را ترکیب میکنند، که تشخیص اینکه آیا یک درخواست خاص شما را به یک مشتری میفرستد یا فقط محتوای شما را رایگان استخراج میکند، دشوار میکند. از ۱۵ سپتامبر، کلودفلر خزندههای با کاربرد مختلط را به طور پیشفرض در هر صفحهای که حاوی تبلیغات است مسدود میکند، مگر اینکه صاحب سایت به صورت دستی تنظیمات را تغییر داده باشد. این پیشفرض جدید برای مشتریان جدید کلودفلر، سایتهای جدید ایجاد شده توسط مشتریان فعلی، و - قابل توجه - همه حسابهای رایگان اعمال میشود، که تعداد زیادی از سایتهای کسبوکار کوچک و شخصی را پوشش میدهد.
چرا این موضوع حتی اگر هرگز این تنظیمات را لمس نکرده باشید اهمیت دارد
وسوسه انگیز است که این را یک «مشکل ناشر بزرگ» بدانیم و ادامه دهیم. اینطور نیست. چند دلیل وجود دارد که این موضوع مستقیماً به صاحبان کسبوکار کوچک میرسد:
پیشفرضهای شما بدون اینکه شما کاری انجام دهید در شرف تغییر هستند. اگر سایت شما تبلیغات اجرا میکند (حتی چیزی به سادگی یک لینک وابسته یا یک شبکه تبلیغاتی نمایشی) و شما در سطح رایگان کلودفلر هستید یا بعد از ۱۵ سپتامبر یک سایت جدید راهاندازی میکنید، رفتار مسدودسازی جدید به طور خودکار اعمال میشود. شما مجبور نیستید برای تأثیرپذیر شدن انتخاب کنید - اگر با آن مخالف هستید باید انصراف دهید.
ترافیک مبتنی بر هوش مصنوعی به سایت شما بسته به نحوه دستهبندی شما در حال رشد یا کاهش است. دادههای اخیر در مورد رفتار خزندههای هوش مصنوعی نشان میدهد که تقریباً ۲۰٪ از ترافیک ربات تأیید شده اکنون از خزندههای هوش مصنوعی میآید، به علاوه ۶-۷٪ دیگر از رباتهای جستجوی هوش مصنوعی - و درخواستهای خزنده مربوط به هوش مصنوعی به طور کلی سهم خود را از ترافیک خزنده در کمی بیش از یک سال بیش از دو برابر کرده است. برخی از این ترافیک واقعاً ارزشمند است (یک موتور پاسخ هوش مصنوعی که صفحه شما را ذکر میکند و یک خواننده برای شما میفرستد). برخی از آن استخراج محض است - یک ربات آموزشی که محتوای شما را در مجموعه دادهای کپی میکند که هرگز یک بازدیدکننده برای شما نخواهد فرستاد.
مسدود کردن بیرویه همچنین میتواند به شما آسیب برساند. شنیدن «هوش مصنوعی در حال استخراج رایگان سایت من است» و خواستن مسدود کردن همه چیز آسان است. اما اگر به طور تصادفی رباتهای جستجوگر که موتورهای پاسخ هوش مصنوعی را قدرت میبخشند مسدود کنید، میتوانید از یک کانال کشف به طور فزاینده مهم ناپدید شوید - همانطور که مسدود کردن گوگلبات ترافیک جستجوی ارگانیک شما را کاهش میدهد. نکته سیستم دستهبندی جدید این است که به شما اجازه میدهد انتخابی عمل کنید به جای همه یا هیچ.
اکنون یک مکانیسم واقعی برای دریافت پول وجود دارد. برای سالها، معامله ضمنی و یک طرفه بود: خزندهها محتوای شما را میگرفتند، شما چیزی دریافت نمیکردید مگر اینکه یک انسان در نهایت روی یک لینک کلیک کند. پرداخت به ازای استفاده اولین تلاش اصلی و سطح زیرساخت برای تغییر این معادله است - به یک وبسایت اجازه میدهد یک برچسب قیمت واقعی بر دسترسی هوش مصنوعی به محتوای خود بگذارد، همانطور که یک دیوار پرداخت قیمتی بر دسترسی انسان میگذارد.
کارهایی که واقعاً باید قبل از ۱۵ سپتامبر انجام دهید
شما نیازی ندارید یک شبه متخصص ترافیک ربات شوید. برای اکثر سایتهای کسبوکار کوچک، حرکت درست یک حسابرسی کوتاه و عمدی است به جای هر یک از دو افراط (یا کاملاً نادیده گرفتن، یا عجله برای دریافت هزینه از همه چیز).
۱. تأیید کنید که آیا کلودفلر در مقابل سایت شما قرار دارد یا خیر
اگر توسعهدهنده، آژانس یا پلتفرم وبسایت شما میزبانی یا DNS را برای شما تنظیم کرده است، ممکن است حتی ندانید که کلودفلر درگیر است. ارائهدهنده DNS خود را بررسی کنید یا از کسی که زیرساخت سایت شما را مدیریت میکند بپرسید. اگر در کلودفلر نیستید، هیچیک از اینها مستقیماً برای شما اعمال نمیشود - اگرچه انتظار داشته باشید سایر CDNها با توجه به جایی که صنعت در حال حرکت است، از یک رویکرد مشابه پیروی کنند.
۲. تنظیمات مدیریت ربات هوش مصنوعی خود را پیدا کنید
در داشبورد کلودفلر، این تنظیمات در بخش مدیریت ربات / کنترل خزش هوش مصنوعی از تنظیمات منطقه شما قرار دارد. این جایی است که دستهبندی جستجو / عامل / آموزش و کنترلهای نحوه برخورد با هر یک در سایت خود را خواهید دید.
۳. به طور عمدی، دسته به دسته تصمیم بگیرید
- رباتهای جستجوی مبتنی بر هوش مصنوعی را مجاز نگه دارید. اینها آنهایی هستند که به احتمال زیاد از طریق یک پاسخ یا نتیجه جستجوی مبتنی بر هوش مصنوعی یک بازدیدکننده برای شما میفرستند. مسدود کردن آنها معمولاً برای یک کسبوکار که سعی در پیدا شدن در فضای آنلاین دارد، خودشکن است.
- در مورد رباتهای عامل خوب فکر کنید. اگر یک سایت تجارت الکترونیک یا هر چیزی با دادههای قیمتگذاری/رزرو اجرا میکنید، عوامل هوش مصنوعی ممکن است به نمایندگی از یک مشتری در حال مقایسه قیمتها یا تکمیل خرید باشند. مسدود کردن آنها ممکن است به معنای از دست دادن فروشی باشد که در غیر این صورت دریافت میکردید؛ اجازه دادن به آنها ممکن است به معنای دادن رایگان اطلاعات قیمتگذاری شما باشد. هیچ پاسخ جهانی درستی در اینجا وجود ندارد - این به مدل کسبوکار شما بستگی دارد.
- در مسدود کردن رباتهای آموزشی محض راحتتر باشید، به خصوص در هر صفحهای که به عنوان یک سند مرجع عمومی در نظر گرفته نشده است. آنها تقریباً صفر سود تجاری برای شما ارائه میدهند، بنابراین رفتار «مسدود کردن به طور پیشفرض» برای صفحات حاوی تبلیغات که کلودفلر در حال اجرای آن است، یک پیشفرض معقول برای اکثر سایتهای کوچک است، نه چیزی که به طور بازتابی نادیده گرفته شود.
۴. برای دریافت هزینه برای دسترسی عجله نکنید
درگاه درآمدزایی برای ناشران با کتابخانههای محتوای بزرگ و ارزشمند یا مجموعه دادههای اختصاصی در نظر گرفته شده است - مانند شرکتهای رسانهای بزرگ، پایگاههای داده تحقیقاتی، یا پلتفرمهایی با محتوایی که هیچ کس دیگری ندارد. برای یک وبسایت معمولی کسبوکار کوچک (وبلاگ یک کسبوکار خدماتی، صفحات محصول یک فروشگاه محلی، یک خبرنامه تخصصی)، توصیه صادقانه این است: هنوز نه. دریافت هزینه تهاجمی برای دسترسی هوش مصنوعی میتواند به طور بیصدا شما را از پاسخهای تولید شده توسط هوش مصنوعی که مشتریان آینده شما به طور فزاینده به جای جستجوی سنتی استفاده میکنند، حذف کند - برعکس آنچه اگر دید هنوز اولویت شماست، میخواهید.
۵. یک یادآوری در تقویم خود قرار دهید، نه فقط در ذهن خود
از آنجایی که پیشفرضهای جدید به طور خودکار برای حسابهای رایگان و جدید اعمال میشوند، و از آنجایی که این به وضوح یک زمینه در حال تحول است (کلودفلر قبلاً در حدود یک سال از «پرداخت به ازای خزش» به «پرداخت به ازای استفاده» حرکت کرده است)، با این به عنوان یک بررسی دورهای رفتار کنید نه یک رفع یکباره. هر سه ماه یکبار تنظیمات ربات خود را دوباره بررسی کنید، همانطور که هزینه تبلیغات یا قیمتگذاری خود را دوباره بررسی میکنید.
الگوی بزرگتر: ترافیک هوش مصنوعی در حال تبدیل شدن به یک ردیف هزینه است
یک قدم به عقب بردارید، و این واقعاً داستانی درباره یک دسته جدید از اقتصاد کسبوکار است که برای اولین بار ظاهر میشود: محتوای به عنوان ورودی قابل درآمدزایی برای سیستمهای هوش مصنوعی، جدا از محتوای به عنوان محرک ترافیک انسانی. چه هرگز پرداخت به ازای استفاده را فعال کنید یا نه، تغییر زیربنایی واقعی است - بخشی از ارزشی که وبسایت شما ایجاد میکند اکنون توسط ماشینها به جای انسانها مصرف میشود، و زیرساخت سرانجام در حال ظهور است تا قیمتی بر آن بگذارد.
این یک پیامد مستقیم برای نحوه تفکر شما در مورد کتابهایتان دارد. اگر در نهایت درآمدزایی از محتوای هوش مصنوعی را فعال کنید - حتی مقدار کمی درآمد پرداخت به ازای استفاده - این درآمد واقعی است که نیاز به خط خود در نمودار حسابهای شما دارد، جدا از درآمد تبلیغات، درآمد وابسته، یا فروش محصول. مخلوط کردن آن در یک سطل درآمد «سایر» عمومی پاسخ به یک سوال ساده را یک سال بعد بسیار دشوارتر میکند: آیا این واقعاً ارزش سربار عملیاتی را دارد، یا سر و صدا است؟ همین منطق برای هر جریان درآمد جدید و ناآشنا اعمال میشود - جداسازی تمیز اکنون باعث صرفهجویی در سردرد تطبیق بعداً میشود، به خصوص زمانی که یک پردازشگر پرداخت مانند استرایپ درگیر است و شما نیاز به تطبیق گزارشهای تسویه با آنچه واقعاً در حساب بانکی شما فرود آمده است دارید.
کتابهای خود را به اندازه استراتژی محتوایتان شفاف نگه دارید
تصمیم گیری در مورد اینکه کدام رباتها را راه دهید و از کدام یک هزینه دریافت کنید یک تصمیم تجاری است - و مانند هر تصمیم تجاری، فقط به اندازه سوابق پشت آن خوب است. Beancount.io حسابداری متنساده و تحت کنترل نسخه را به شما میدهد، بنابراین یک جریان درآمد کاملاً جدید مانند درآمدزایی از محتوای هوش مصنوعی از روز اول خط تمیز و قابل حسابرسی خود را دریافت میکند به جای اینکه در یک صفحه گسترده گم شود. مستندات را بررسی کنید تا ببینید پیگیری یک منبع درآمد جدید در کنار بقیه چقدر آسان است، یا داشبورد Fava را برای یک نمای بصری از اینکه درآمد شما واقعاً از کجا میآید، کاوش کنید. رایگان شروع کنید و سوابق مالی خود را به اندازه بقیه پشته فناوری خود شفاف نگه دارید.