本文作者 |   万连山

数据支持 | 勾股大数据（www.gogudata.com）

众所周知，现在的大语言模型，归根结底是对海量文本的模式进行复杂的拟合。

对 AI 公司而言，数据是一切的源头，重要性排在第一位。

但现在，这个源头，出了变故。

7 月 2 日，网络基础设施与安全巨头 Cloudflare，向全球所有 AI 公司发出最后通牒：

在 2026 年 9 月 15 日前，必须将"搜索引擎"爬虫与"AI 训练数据/代理 "爬虫标识彻底分离。

届时，任何挂羊头卖狗肉的混合爬虫，系统直接物理断网、全局拦截。

这就等于，给整个 AI 行业上了一把锁。

至于原因，想也想得到：分赃不均。

英伟达在物理层面拿捏所有算法公司，赚的盆满钵满。

在互联网世界，网络基础设施企业又何尝不是 " 卖铲人 " 的生态位？

凭什么不能分一杯羹？

01

Cloudflare 是哪路神仙？

可以把它理解为全球互联网的 " 海关 "，类似高速公路的收费站。

它处理着全球约 20% 的互联网流量，提供内容分发网络（CDN）、域名系统（DNS）、DDoS 攻击防护以及 Web 应用防火墙（WAF）等底层基础设施服务。

人称 " 赛博菩萨 "。

何解？

过去十几年里，它为全球无数中小网站、个人博客提供了免费且强悍的抗 DDoS 攻击和 CDN 加速服务。

关键词，免费。

但就是这么一位慈眉善目的菩萨，此时此刻却满脸怒火。

根据 Cloudflare 的监测数据，2026 年上半年，Bot（机器人 / 爬虫）流量已经超过了人类流量。

"原本业界预测这个转折点要到 2027 年才会发生，但 Agent 的爆发让进度提前了一年。"

按照目前的趋势，短短五年内，机器与人类的流量比例将达到 1000:1。

这明显会导致一个问题：当互联网的主要使用者从人类变成 AI 时，底层商业秩序必然崩溃。

互联网时代存在一个基本的搜索爬虫与流量反哺机制：

你建了一个网站，提供优质内容；谷歌等搜索引擎的爬虫来你的网站抓取内容。

作为回报，搜索引擎把网页收录进索引池。当用户搜索相关问题时，搜索引擎展示网站链接。

用户点击蓝色链接，流量倒流回站长的网站，你靠这些流量卖广告，赚到了钱。

这是一个运行了 30 年之久的完美双赢闭环。

你出内容，我出技术，大家一起发财。

但生成式 AI 毫无疑问破坏了生态契约。

现在的剧情是这样的：

AI 大厂的爬虫扫荡网站，把创作者的内容塞进大语言模型里进行预训练或者微调。

当用户向 AI、或者带有 AI 概览的搜索引擎提问时，AI 在搜索界面输出总结好的内容。

根据第三方 SEO 增长社区和互联网的审计数据：OpenAI 的 GPTBot 爬取一个网站大约 1500 次，只能给该网站带来 1 次点击引流。

当谷歌搜索结果中出现 AI 生成的摘要时，用户点击搜索链接的概率暴跌至 8%，点击 AI 摘要内部引用链接的概率更是低至 1%。

这就是现在常说的 " 零点击搜索 "。

AI 几乎拿走了所有价值，创作者得到的流量反馈≈ 0。

完全就是强盗，吃干抹净一点都不给原主人留。

无论从什么角度来看，这都是不能容忍的。

但是，网站主们对此毫无办法。

核心原因就是 Cloudflare 此次针对的靶点：混合用途爬虫。

根据 Cloudflare 官方的控诉，越来越多的 AI 爬虫蓄意伪造其 User-Agent 头部信息，伪装成急需给网站引流的搜索引擎爬虫，堂而皇之绕过 robots.txt 的限制，无限制下载网页。

这就陷入了经典的囚徒困境：

一刀切封杀，混合爬虫是进不来了，但网站连搜索结果页面都上不去了；不封杀，死得更快。

不论怎么样，都是个死。

此时此刻，也只能让 " 菩萨 " 出面主持公道了。

02

根据《Configure AI bot policies》白皮书，Cloudflare 正式放弃 " 人类 orAI" 的二元分类，而是从 " 行为动机 " 和 " 用途分类 " 入手，将全网自动化流量划分为三个类别：

搜索类：为传统搜索引擎建立索引、事后给网站导流的爬虫

智能体类：用户的实时检索爬虫，属于检索增强生成行为

（比如用户问 GPT 某个问题，AI 实时放出的 ChatGPT-User 爬虫）

训练类：无差别大规模数据抓取，给大模型做预训练

自 2026 年 9 月 15 日 起，所有接入 Cloudflare 的新域名用户，其安全策略将自动变更为：允许 Search，默认拦截 Training 和 Agent。

如果某个 AI 大厂拒不配合，继续派出同时兼具搜索和训练目的的混合型爬虫，会怎么样？

根据 Cloudflare 的规则，将按照最严标准惩罚：100% 全盘拦截，连 Search 的功能也被禁止。

如果爬虫强行伪装呢？

作为抗 DDoS 起家的安全巨头，Cloudflare 有的是办法。

1. 行为分析

WAF 会分析请求头、TLS 指纹、甚至 HTTP/2 连接并发特性。

在 Cloudflare 每天千亿次流量的大数据面前，AI 几乎不可能用无头浏览器伪装成人类。

2. 反向吸血

利用 AI 迷宫蜜罐技术，在瞬间动态生成一个无限虚假页面迷宫。

AI 爬虫一旦掉进去，就会在无数的垃圾虚假内容中死循环，消耗掉 AI 公司巨额的算力和带宽成本。

3. 网络机器人身份验证

Cloudflare 牵头搞了一套开放框架，要求合规的 AI 机器人和自动购物 Agent，必须通过加密手段向发布商自证清白，证明身份和意图合法

……

如此一来，最受伤的是谁？

OpenAI、Anthropic、Perplexity 等算法公司一定会损失大量中小网站、垂直社区的数据。

至少，不能像以前那样白嫖了，必须花钱和网站主签授权协议。

最大的代价无非就是，训练模型的成本变高了。

比如 OpenAI，早就拆分了爬虫：用于训练数据抓取的是   GPTBot，用于 ChatGPT 实时联网查询的是   ChatGPT-User。

只有谷歌这个缝合怪不一样。

全球 AI 爬虫流量占比   ( 2026 年 Q2 )

长久以来，谷歌利用自己在全球搜索市场超过 90% 的垄断地位，让 Googlebot 畅通无阻，堂而皇之用抓来的数据喂养 Gemini。

为了保住在谷歌搜索里的排名，没有哪个网站敢得罪，除非你想在互联网世界蒸发。

Cloudflare 甚至直接点名："因为他们让网站陷入了‘如果不把内容交给 AI 使用，就难以在搜索结果中被搜索到’的被动局面，导致目前某最大搜索引擎掌控的信息量，是其他领先 AI 公司的两倍之多。"

等到 9 月 15 日，谷歌将面临极为痛苦的选择：

不分拆 Googlebot，将失去对全球20%网页的索引能力，搜索质量出现灾难性下滑；但如果分拆   Googlebot，明确剥离出搜索爬虫和训练爬虫，Gemini又将立刻面临断炊的危机。

而且，可以预见的是，继 Cloudflare 后，绝对会有越来越多网络基础设施企业跟进类似政策。

这等于是剥夺了谷歌利用垄断地位捆绑索取数据的特权，被强行拉到了和 OpenAI 等初创算法公司同样的起跑线上。

03

互联网苦 AI 小偷久矣。

Cloudflare 这次的举动，可谓是大快人心。

不过，这当然不是事情的全部。

经不可轻传。

就算是佛也爱钱，何况 Cloudflare 只是 " 赛博菩萨 "。

正如我们开头所说，任何矛盾都能在一定程度上解读为分赃不均。

堵不如疏。

AI 的进化，毕竟是大势所趋。一味地无脑封锁，只会让 Cloudflare 站在整个市场的对立面。

其实早在 2025 年 7 月，Cloudflare 就试水推出了 "Pay Per Crawl"（按爬取次数付费）机制。

AI 公司按抓取了多少数据、多少个页面来算账，Cloudflare 抽成后把钱分给网站。

但这个模式有明显的漏洞：AI 公司觉得亏，因为大量垃圾网站充斥着的垃圾信息，也得付钱；优质网站也亏，自己的精华内容，凭什么和垃圾信息一个价？

所以趁着本次对全球 AI 公司发出最后通牒的机会，Cloudflare 正式推出新机制，Monetization Gateway（货币化网关）和 "Pay Per Use"（按使用次数付费）。

当 AI 在回答用户问题并引用了某个接入 Cloudflare 保护的网站内容时，Cloudflare 就能通过数字指纹和 API 审计技术判定："这次回答，你使用了某某网站的知识资产。"

简单来说，OpenAI 等公司，不需要去与全球数以千万级的中小网站签授权协议（本来也无法做到），只要接入 Cloudflare 的统一 API、预存 " 版权保证金 "，就能合法拥有全球互联网 23.5% 的内容。

每流过一笔版权费，Cloudflare 就抽走一笔过路费。

等于是收税。

这世上还有比收税更好的生意吗？

如果所有 AI 公司和网站都通过 Monetization Gateway 进行数据交易结算，即便税率再低，它也有望超越传统金融巨头。

Cloudflare CEO 的说法是这样的："在未来，每次访问一个网站获取信息，你可能只需支付几分之一美分。这意味着，作为基础设施，我们必须能够在第一天就支持每秒大约 1000 万笔的金融交易，并且未来要扩展到每秒 1 亿笔交易——这比现有的 Visa 网络还要大两个数量级。"

但这一趋势，对行业造成的影响也是非常明显的。

AI 模型数据荒将提前到来，且数据成本陡增。

随着 Cloudflare（以及后续大概率会跟进的 Akamai 等厂商）切断白嫖通道，高质量的公开网页数据彻底变成了有源之水、有表之计。

AI 大厂不得不将扩大支出购买优质数据版权；没钱支出长期版权账单的中小公司将被加速淘汰。

原本越来越不被看好的创作者经济，则会因此重新繁荣。

这次事件，本质上是互联网原住民对 AI 野蛮资本的绝地反击。

Cloudflare 如果能够成功推行并确立行业标准，毫无疑问将为创作者提供一条新的生存之道：从"向人类卖眼球广告"，转变为"向 AI 卖高质量的高密度语料 "。

从这个角度看，人与 AI 的关系还真是微妙。（全文完）