上个月，一个 AI 爬虫可能读完了你发表过的每一篇文章——你的教程、你的产品评测、你三年的存档——用时不过几分钟。它没付你一分钱，也没给你带来几乎任何读者。如果这句话让你心头一紧，那你正是这篇文章的目标读者。
多年来，小型出版商一直面临一个痛苦的二元选择：要么彻底屏蔽 AI 机器人，放弃任何许可收入或引荐流量的机会；要么敞开门，眼睁睁看着你的作品被免费收割。这个时代正在终结。Cloudflare——这个大约五分之一的网站都在其背后的网络——已经为 AI 爬虫建起了一座收费站，而且现在普通网站所有者也能使用，不只限于大型媒体公司。你可以为每次爬取设定价格，按月收款，同时保持搜索引擎正常流动。
本指南将解释按次爬取付费的工作原理、新的默认拦截对你的流量意味着什么，以及——大多数报道忽略的部分——如何在你账簿中记录这种新奇的小额支付收入，使它不会成为报税季的谜团。
变化之处：从“要么接受，要么拦截”到价目表
以下是过去一年基础设施历史的简要版本：
- 2025 年 7 月——“内容独立日”。 Cloudflare 翻转了新网站的默认设置：已知的 AI 爬虫默认被拦截，除非你另行设置。不再需要翻防火墙规则来选择退出；退出成了起点。
- 按次爬取付费（先私有测试，后更广泛推出）。 位于 Cloudflare 背后的网站所有者可以为整个域名设置单一的每次请求价格。当 AI 爬虫出现时，你可以对每个爬虫有三个选择：允许它免费访问、收取你的价格、或拦截它。未付款的机器人会收到 HTTP
402 付款要求响应——这个状态码几十年来几乎闲置，直到这个用例让它重获新生。 - AI 爬虫控制（正式可用）。 这一切的仪表盘工具——以前叫 AI 审计——现在显示哪些 AI 爬虫访问、它们抓取了什么，并让你发送带有自定义消息和条款的 402 响应，以便爬虫运营者知道如何联系你进行协商。
- 2026 年 9 月——广告页面拦截默认设置。 Cloudflare 宣布，“混合用途”爬虫——即混合搜索、AI 助手使用和模型训练的机器人——默认被拦截在含广告的页面之外，除非你调整设置。这一点很重要，因为 AI 摘要被广泛指责吸走了广告支撑页面赖以生存的点击。新默认设置适用于新客户、现有客户的新站点以及现有的免费计划客户。
- 按次爬取付费正在演变为“按次使用付费”。 不再仅在页面被抓取时收费，下一个迭代旨在当你的内容出现在 AI 回答中时——即当它真正创造价值时——补偿出版商。那个版本还在早期，但它指明了模式的发展方向。
结果是：独立博主或小众出版商现在拥有了与大媒体品牌向 AI 公司许可内容相同的基本机制——一个价格、一道门和一个支付管道——无需聘请律师或构建计费基础设施。
按次爬取付费的实际运作方式
其机制刻意保持简单：
- 你为每个域名设定一个价格。 在 Cloudflare 仪表盘中，你定义一个适用于整个网站的每次请求统一价格。公布的最低价格为每次爬取一美分（0.01 美元）。
- 你对每个爬虫分类：允许、收费或拦截。 你依赖的用于发现的搜索引擎爬虫保持允许。已知的 AI 训练爬虫被收费或拦截，由你决定。
- Cloudflare 作为记录商户。 你无需集成支付网关、向 AI 公司开具发票或追逐收据。Cloudflare 向爬虫运营者收款，并在按月结算时间表上支付给你，在汇总和核对微支付费用之后。
- 未付款的爬虫收到 402。 它们不会得到你的内容，而是收到携带你价格和消息的“需要付款”响应——一个机器可读的邀请，让它们带着付款回来。
两个实际注意事项。首先，这只约束那些自报身份并遵守规则的机器人；真正的恶意爬虫会轮换 IP 和伪造用户代理，这是另一个机器人管理问题。其次，大多数网站的收入起初很小——每次爬取几美分只有累积起来才有意义——所以把它当作一个新的追踪项，而不是退休计划。
设置而不破坏你的流量
最大的风险不是赚得太少，而是错误配置控制项，意外扼杀了真正为你的账单买单的人类和搜索流量。请按以下清单操作：
1. 动任何东西之前先盘点你拥有的
拉取一个月的分析：多少流量来自搜索，多少来自 AI 引荐，哪些页面带广告。你带广告的页面最需要严格的设置，因为每次被转走进入 AI 摘要的访问都是你永远看不到的收入。
2. 保持搜索爬虫处于允许状态
AI 爬虫和搜索爬虫是不同的群体。不要一边瞄准训练模型的机器人，一边屏蔽那些把你放进搜索结果里的机器人。在仪表盘中，在收费或拦截其他任何东西之前，确认允许列表覆盖了主要的搜索爬虫。
3. 先对训练爬虫设为“收费”，只在深思熟虑后“拦截”
拦截感觉很解气，但会关闭大门：被拦截的爬虫无法成为付费客户或引荐来源。用清晰的 402 消息（“许可咨询：[email protected]”）收费可以保持谈判空间。把彻底拦截留给你永远不想有关系运营者。
4. 决定你对混合用途爬虫和广告页面的立场
根据 2026 年 9 月的默认设置，混合用途爬虫会自动被拦截在你的广告页面之外。该默认设置保护广告收入，但如果 AI 购物助手或代理为你的产品页面带来转化流量，你可能想在那里允许特定的爬虫。按页面类型——博客内容与店面——审查设置，而不是接受一个全局规则。
5. 像鹰一样盯着头 30 天
启用收费后每周监控三个数字：按机器人分类的爬取量、仪表盘中的应付累积额，以及来自搜索和 AI 来源的人类引荐流量。如果搜索展示量下降，你过度拦截了；如果应付额在累积但从不到账，请检查付款状态和最低门槛。
记账：如何记录爬取收入而不制造混乱
这是没人告诉你的部分：如果你随意对待，微支付收入是个会计难题。数百笔以美分计的收费汇总成一次按月支付，不会自行对账。第一天就建好管道。
给它一个独立的收入账户
不要把爬取付款混入一般“其他收入”或与广告收入混在一起。它们的行为不同——付款方不同、文档不同、增长故事不同——你以后会用真实数字回答“这值得吗？”。在纯文本账本中，看起来像这样：
2026-09-01 * "Cloudflare" "八月按次爬取付费"
Assets:Bank:Checking 18.42 USD
Income:ContentLicensing:PayPerCrawl -18.42 USD如果你以后增加许可交易或按次使用付费的付款，给每个单独子账户。现在花十分钟设计会计科目表，省去以后数小时的纠缠清理。如果你从未建过收入层级，文档会带你完成设置。
将仪表盘应付额与银行入账核对
Cloudflare 汇总微收费并每月支付，因此仪表盘中的应计总额和银行入账几乎永远不会在同一个月内精确匹配到分——结算截止、调整和任何费用都夹在其中。在到账时记账，并保留简单的每月核对记录：应计金额、调整项、收款金额、未结余额。如果差距超过几个百分点，去调查而不是耸耸肩。
绝不用付款抵扣你的 Cloudflare 账单
如果你还向 Cloudflare 支付托管或安全服务费用，把付款记为收入，把订阅记为费用，分开处理。把它们净额合并会低估你的收入和成本、扭曲利润率，并在你正试图评估它时使收入流不可见。
视其为普通收入并保留凭证
爬取付款是普通营业收入，不是赠品，也不是传统意义上的出版商版税。因为 Cloudflare 担任记录商户并向你汇款，预计年底会从支付管道收到税务文件——把每份月付款对账单与你的税务文件放在一起，就像保留广告网络 1099 表格一样。如果第一年付款很小，它们仍然算数；“小到无所谓”是漏报罚款的开始方式。
每季度对照流量成本审查一次
爬取收入有一个隐藏的抵消项：当机器人用你的内容回答问题而不是发送访客时，你损失的读者流量。每季度一次，将付款总额与你爬取最多的页面的广告和联盟收入趋势进行比较。像 Fava 这样的仪表盘能让你轻松地把许可收入流和广告收入一起画成图表，看看这种交易是否真的有利可图——或者对广告页面实施更严格的拦截是否会为你赚得更多。
悄然侵蚀收益的错误
- 连同 AI 爬虫一起屏蔽搜索爬虫。 最昂贵的错误配置。每次更改后都要验证搜索可见性。
- 将爬取付款与广告收入混在一起。 你失去了判断收费是否优于拦截的能力，你的税务申报员收到的是一笔未标注的 lump 款项。
- 报税时忘记这笔收入。 小额月存款十一个月后很容易被忽略。一个专用的账本账户就是你的提醒。
- 设定价格后永不复查。 每次爬取一美分可能低估高成本的调查文章，同时高估大众化内容。随着按次使用付费模式的成熟，重新审视定价。
- 忽视广告页面默认设置。 如果你投放广告，确认混合用途爬虫拦截在那些页面上处于启用状态——该默认设置的存在就是专门为了保护点击收入。
从第一天起保持内容收入有条理
按次爬取付费把你的档案从一个成本中心变成一个计量资产——但前提是你能看到它赚了什么。追踪一条新的微支付流与广告、联盟和订阅并存，正是那种在电子表格中会变得混乱的多渠道记账。Beancount.io 提供纯文本会计，让你对自己的财务数据拥有完全透明度和控制力——没有黑箱，没有供应商锁定。免费开始，看看为什么开发者和财务专业人士正在转向纯文本会计。