这里有一个值得深思的数字：截至 2026 年中，自动请求已占网络上所有 HTML 流量的 57% 以上——有史以来首次超过了真实的人类访客。这部分流量中，增长迅速且意义重大的部分并非 Googlebot 抓取你的网站以便其出现在搜索结果中，而是 AI 爬虫在抓取你的博客文章、产品页面和文档，用于训练模型或在聊天机器人中回答问题，而通常根本不会有真人点击进入你的网站。
如果你运营的网站使用了 Cloudflare——而无论你是否知晓，很大一部分小企业网站都是如此——一项政策变更将于 2026 年 9 月 15 日 生效，它将悄然重塑谁可以免费读取你的内容、谁需要付费、以及谁将直接被屏蔽。如果你在此之前不检查你的设置，Cloudflare 将替你做出决定。
以下将说明实际发生的情况、为何它对你的利润至关重要、以及你应该怎么做——即使你从未打开过 Cloudflare 的控制面板。
Cloudflare 实际改变了什么
Cloudflare 作为内容分发网络和安全层，存在于互联网很大一部分网站的前端，这使其处于一个独特的位置，能够大规模地观察并控制机器人流量。2025 年，它启动了一项名为 按爬取付费 的实验性功能：网站所有者可以打开一个开关，每当 AI 公司的爬虫获取内容时，就开始按页面向其收费，通过使用晦涩的 HTTP 402 Payment Required 状态码告诉机器人：“付费，否则不得进入。”
该实验后来演变为一个更广泛的名为 按使用付费 的模式，并搭配了一个新的 变现网关。这种思路的转变虽然微妙但很重要：从每当机器人仅仅抓取一个页面就向 AI 公司收费（这很容易被钻空子，并且不反映实际价值），转变为在你的内容实际创造价值时才收费——例如，当你的内容在 AI 生成的答案中被引用时，或者当 AI 代理提取特定数据以为其用户完成任务时。采用这种方法的早期合作伙伴包括一些 AI 搜索产品，当它们的结果中显示了你的内容时，会向发布者付费。
伴随这一转变，Cloudflare 正在收紧 AI 机器人被允许在你网站上行为的默认规则。自 2026 年 9 月 15 日 起，Cloudflare 将把爬虫分为三类：
- 搜索机器人 —— 为 AI 辅助搜索结果提供动力的爬虫，通常仍会向你的网站发送人类访客。这些爬虫默认保持允许状态，因为它们仍然能带来发现和流量。
- 代理机器人 —— 代表为完成用户任务（如预订、比价、总结页面）的 AI 代理而行动的爬虫。
- 训练机器人 —— 其全部目的就是大量收集你的内容来训练模型，对你而言完全没有带来访问量的好处的爬虫。
有争议的是 Cloudflare 所称的 “混合用途”爬虫——即混合了以上多种用途的机器人，使得很难判断某次请求是会给你带来客户，还是仅仅免费掠夺你的内容。从 9 月 15 日起，Cloudflare 将在任何带有广告的页面上默认屏蔽混合用途爬虫，除非网站所有者已手动更改该设置。此新默认设置适用于全新的 Cloudflare 客户、现有客户创建的新网站，以及——值得注意的是——所有免费版账户，这涵盖了大量的个人网站和小企业网站。
为何即使你从未动过这些设置，此事也至关重要
很容易将其归类为“大出版商的问题”然后就置之不理。但并非如此。以下几个原因直接影响到小企业主：
你的默认设置将在你不做任何操作的情况下发生变化。 如果你的网站有广告（即使是像联盟链接或展示广告网络这样简单的广告），并且你使用的是 Cloudflare 的免费版，或者你在 9 月 15 日之后创建了新网站，那么新的屏蔽行为将自动生效。你无需主动选择加入才会受影响——如果你不同意，你必须主动选择退出。
对你网站的 AI 驱动流量，根据你的分类方式，要么在增长，要么在萎缩。 关于 AI 爬虫行为的最新数据显示，大约 20% 的已验证机器人流量来自 AI 爬虫，另有 6-7% 来自 AI 搜索机器人——而在一年多的时间里，AI 相关爬虫请求在爬虫总流量中的占比已经翻了一番多。其中部分流量具有真实价值（例如，一个 AI 答案引擎引用了你的页面并向你发送了一位读者）。而另一些则是纯粹的攫取——一个训练机器人将你的内容复制到数据集中，永远不会给你带来一个访客。
不加区分地屏蔽也可能损害你自身。 听到“AI 在免费抓取我的网站”后想要屏蔽一切，这很容易理解。但如果你意外地屏蔽了为 AI 答案引擎提供动力的搜索导向机器人，你可能会从一个日益重要的发现渠道中消失——就像屏蔽 Googlebot 会毁掉你的自然搜索流量一样。新分类系统的意义在于让你能够有选择性地操作，而非全有或全无。
现在有了一个实际的收费机制。 多年来，这种交易一直是隐性的且单方面的：爬虫拿走你的内容，除非有人最终点击了链接，否则你一无所获。按使用付费是首次主流的、基础设施层面的尝试，旨在改变这种算账方式——让网站能够为 AI 访问其内容贴上真实的价格标签，就像付费墙为人类访问贴上价格标签一样。
在 9 月 15 日前实际要做的事
你不需要一夜之间成为机器人流量专家。对于大多数小企业网站来说，正确的做法是进行一次简短、审慎的审计，而不是走向任何一个极端（要么完全忽略，要么急于对所有内容收费）。
1. 确认 Cloudflare 是否位于你的网站前端
如果你的开发者、代理机构或网站平台为你设置了托管或 DNS，你甚至可能不知道 Cloudflare 参与其中。请检查你的 DNS 提供商，或询问负责你网站基础设施的人。如果你不使用 Cloudflare，那么这些变更目前对你没有直接影响——但鉴于行业趋势，预计其他 CDN 也会遵循类似的策略。
2. 找到你的 AI 机器人管理设置
在 Cloudflare 控制面板中，这位于你站点设置的机器人管理 / AI 爬虫控制区域。在这里你会看到搜索/代理/训练的分类，以及针对每种类型在你网站上处理方式的控制选项。
3. 有意识地、分门别类地做出决定
- 保持搜索导向的 AI 机器人处于允许状态。 这些是最有可能通过 AI 驱动的答案或搜索为你带来访客的机器人。对于一个试图在网上被发现的业务来说，屏蔽它们通常是自毁长城。
- 认真考虑代理机器人。 如果你经营电商网站或任何包含定价/预订数据的网站，AI 代理可能会代表客户进行比价或完成购买。屏蔽它们可能意味着失去一笔本可获得的销售；允许它们可能意味着免费泄露你的定价情报。这里没有普遍正确的答案——这取决于你的商业模式。
- 对于纯粹的训练机器人，更放心地予以屏蔽，尤其是在那些不是为了作为公共参考文档而设的页面上。它们为你带来的商业利益接近于零，因此 Cloudflare 正在推出的针对带广告页面的“默认屏蔽”行为，对大多数小网站来说是一个合理的默认设置，无需本能地去覆盖它。
4. 不要急于对访问收费
变现网关针对的是拥有大量有价值的内容库或专有数据集的发布商——比如大型媒体公司、研究数据库或拥有独家内容的平台。对于典型的小企业网站（服务型公司的博客、本地商店的产品页面、小众通讯），诚实的建议是：暂时不要。激进地对 AI 访问收费会悄无声息地将你排除在 AI 生成的答案之外，而你未来的客户正越来越倾向于使用这些答案来代替传统的搜索——如果你的主要目标仍然是曝光度，这完全与你的愿望背道而驰。
5. 在日历上设置提醒，而不仅仅记在脑子里
因为新的默认设置会自动应用于免费版和新账户，而且这显然是一个不断变化的领域（Cloudflare 在大约一年内已经从“按爬取付费”转向了“按使用付费”），请将其视为一个需要定期检查的事项，而不是一次性的修复。每个季度回顾一下你的机器人设置，就像你重新审视广告支出或定价策略一样。
更大的趋势：AI 流量正成为一个账目项目
退一步看，这实际上是一个关于一种新型商业经济学首次出现的故事：内容作为 AI 系统可货币化的输入，区别于内容作为人类流量的驱动力。无论你是否启用按使用付费，其背后的转变是真实存在的——你的网站创造的部分价值现在正在被机器而非人类消耗，而基础设施终于开始浮现，以便为这种价值定价。
这对你应该如何规划账目有着直接的影响。如果你最终确实启用了 AI 内容变现——即使是一点点按使用付费收入——那也是真实的收入，需要在你的会计科目表中拥有自己独立的条目，与广告收入、联盟收入或产品销售分开。将其混入一个泛泛的“其他收入”类别，会让你在一年后很难回答一个简单的问题：这实际上值得运营开销吗，还是仅仅是噪音？同样的逻辑适用于任何新的、不熟悉的收入来源——现在就进行清晰的分离可以避免日后的对账麻烦，特别是当涉及 Stripe 等支付处理商时，你需要将结算报告与真正进入你银行账户的款项进行匹配。
让你的账簿像你的内容策略一样清晰
决定让哪些机器人进入以及向哪些收费，是一个商业决策——和其他商业决策一样，其价值取决于背后记录的质量。Beancount.io 为你提供纯文本、版本控制的会计功能，因此像 AI 内容变现这样的全新收入流，从第一天起就能拥有自己清晰、可审计的账目，而不会迷失在电子表格中。查看文档了解跟踪新收入来源与所有其他项目是多么容易，或者探索 Fava 仪表盘，直观地了解你收入的真正来源。免费开始使用，让你的财务记录和你技术栈的其他部分一样透明。