现在整个互联网上，大部分流量已经不是人产生的，而是机器人——而把这条曲线猛地推过临界点的，正是 AI。
2026 年 6 月 Cloudflare 数据显示，机器人流量已经占到全网 HTML 请求的约 57%，真人只剩下 42% 左右。公司CEO Matthew Prince 原本预计这个拐点要到 2027 年底才会到——结果提前了大约一年半。
发现并公开这件事的Cloudflare你可能没听过名字，但你今天刷过的网页，背后很可能都经过它。它是全球最大的一批 CDN 和网络安全服务商之一，坐在海量网站和访客之间，天然看得见谁在敲门、来干嘛。
7 月 1 日这家公司甩出一个新规矩，直接对准了 AI 公司。规矩很简单：别再「一次抓完，通吃三用」
Cloudflare 把爬虫拆成了三类：
搜索型（Search）：抓完先存着，等你搜的时候给答案，会给原网站带回流量；
代理型（Agent）：AI 替你实时跑腿，比如帮你订票、查资料；
训练型（Training）：把内容永久吸进模型里，用完基本不回头。
过去这三件事，很多爬虫是「混着干」的——打着搜索的旗号进门，顺手把训练的活也办了。网站主根本分不清，只能要么全放、要么全拦。
新规就是要逼它们亮明身份。从 2026 年 9 月 15 日起，Cloudflare 会默认拦截这些「混用型」爬虫抓取带广告的页面。
这套默认设置先落在新客户、老客户新建的站点，以及所有免费用户身上；不想按默认来的，可以在到期前自己去后台修改。而像 Googlebot、Applebot、BingBot 这类身兼数职的爬虫，会按它所有行为里「最严的那条规则」处理——你要是拦了训练，它们即便也做搜索，一样会被挡在外面。
Cloudflare 还点名内涵了一把「全球最大的搜索引擎」（懂的都懂，说的是谷歌），说它掌握的信息量大约是别家 AI 的两倍，因为你很难做到「被谷歌收录、却不被它拿去喂 AI」。谷歌则一直反驳说自己有单独的开关（Google Extended）供网站选择退出训练。钱怎么算？
一年前的同一天（2025 年 7 月 1 日，Cloudflare 称之为「Content Independence Day」），它上线过一个叫 Pay Per Crawl（按抓取付费）的产品，逻辑是AI 爬虫每来抓一次内容，就付一次钱。
听着合理，其实很粗糙——一个页面可能被抓一次，然后在成千上万个 AI 回答里被反复引用；也可能被反复抓取，却一次都没被用上。（顺带一提：Cloudflare 自己的数据显示AI 爬虫超过一半的抓取流量，都花在重复抓那些根本没变过的页面上。既费钱又费带宽。）
所以这次它把模式升级成了 Pay Per Use（按使用付费）：不再是「你抓了就给钱」，而是「你的内容真正创造了价值，才给钱」。
怎么落地？Cloudflare 先拉了两个合作方跑通样板：Ceramic.ai和 You.com。网站主一旦选择加入——内容出现在 Ceramic 的 AI 搜索结果里，或者被 You.com 调用了付费内容，作者就能拿到钱。其他 AI 公司可以照着这套框架，定制自己的付费方式。内容生意正在从「流量经济」切到「授权经济」
过去二十年，内容创作者和平台之间的默契是：我把内容免费放出来，你（搜索引擎）给我导流量，我再靠流量去变现（广告、电商、转化）。这是一笔「用曝光换内容」的隐形交易。
但 AI 把这笔交易拆穿了。AI 直接给答案，用户不再点进原网站——内容被用了，流量却没了，交易的另一半凭空消失。
Cloudflare 现在想重建这笔交易的另一半：既然流量还不回来，那就让「使用」本身直接变成现金。
第一，「被 AI 引用」正在变成一个可以定价、可以结算的动作。未来判断一篇内容值不值钱可能不只看它有多少阅读，还要看它被多少 AI 回答引用过。
第二，这对中小创作者未必是坏事。大媒体有本钱直接和 OpenAI、谷歌谈授权大单，小作者没有。而 Pay Per Use 这种「接入网络就能收钱」的基础设施，理论上让长尾内容第一次有了标价的可能。
当然能不能跑通还得看 AI 公司买不买账——毕竟这是在动它们「免费拿数据」的奶酪。
但方向已经很清楚了：机器人成了互联网的主流访客之后，内容不能再是免费的自来水。谁在用、用了多少、该付多少，迟早要有一张明明白白的账单。
9 月 15 日，是这张账单开始生效的第一个日子。
闽公网安备 35010202001226号
