Cloudflare新政策催促AI公司为出版商内容付费并分别搜刮与练习爬虫

根据Cloudflare颁布的细则，凡是同时用于搜刮、AI代理调用以及模型练习的数据抓取爬虫，假如拜访的是承载告白的网页，将在默认设备下被阻拦抓取，除非网站所有者主动修改相干设置。 这些新的默认设置将实用于新接入Cloudflare的客户、现有客户新创建的网站，以及所有现有的免费用户站点。 这一举措将直接影响AI模型供给方获取网页内容用于练习和生成办事的方法，也会改变AI代理办事背后的数据供给格局。

Cloudflare指出，大年夜多半网站所有者欲望本身的内容可以经由过程传统搜刮引擎被发明，同时也乐于在必定前提下被AI办事引用，但他们并不欲望本身的常识产权在未经授权的情况下被免费、大年夜范围调用。 Cloudflare在解释中点名“全球最大年夜的搜刮引擎”（明显指向Google），称其相较其他AI公司，控制着“约两倍的可拜访信息量”，原因在于这家搜刮巨擘让站点难以在保持搜刮可见的同时又完全规避AI应用。

Google则一向辩驳类似的概括性责备，强调其供给了名为“Google Extended”的机械人供站点选择，用于明白拒绝网站内容被用于AI练习以及Gemini Apps、Vertex API等AI产品和办事，而不影响网站在Google搜刮中的收录。 不过，Google的核心爬虫Googlebot在为搜刮索引页面的同时，也会为诸如AI Overviews和AI Mode等搜刮内嵌AI功能供给数据支撑。

Prince称，Cloudflare的新对象和合作伙伴关系，将为网站持有者在AI时代供给更高的可见性和贸易机会，同时也利好那些用处清楚、意图透明的AI爬虫。 他欲望，经由过程调剂默认策略，可以倒逼“混淆用处爬虫”将传统搜刮与代理调用、练习用处明白拆分开来。 在对外营业层面，Cloudflare一方面供给多种产品赞助用户搭建自有AI体系，另一方面也在近年推出了一系列针对出版商和内容方的“控制权加强”对象。

早在2024年，Cloudflare就上线了专门对抗AI爬虫的对象，随后在2025年又推出名为“Pay Per Crawl”的市场，让网站可以向AI爬虫收取抓取费用。 最新消息显示，这一模式正在进一步演变为“Pay Per Use”，即不再只按“抓取行动”计费，而是根据内容在AI体系中实际“创造价值”的情况向AI公司收费。

Cloudflare方面指出，这种“按应用付费”的模式不仅为出版商供给新的收入渠道，也有助于节俭其带宽和算力资本，因为其内部数据注解，跨越50%的AI爬虫抓取流量都花在反复抓取并未产生更新的页面上。 经由过程新的计费与控制机制，出版商可以将有限资本优先用于真正有价值的请求，同时对“无效反复抓取”施加经济束缚。

Cloudflare结合开创人兼首席履行官Matthew Prince在通知布告中表示，跟着互联网流量构造产生变更，“如今互联网上的绝大年夜部分流量已非人类拜访”，而此前行业预期这种“机械人流量跨越人类流量”的拐点要到来岁才会出现。 他强调：“既然如斯，我们必须走得更远、动作更快，才能让一个可持续的生态体系真正形成。”

在具体落地合作上，Cloudflare今朝已与Ceramic.ai和You.com两家伙伴展开试点。 当出版商选择参加该筹划后，只要其内容涌如今Ceramic的AI搜刮成果中，或者被You.com拜访为某一段“付费高等内容”，出版商即可获得响应待遇。 Cloudflare表示，其他AI公司也可以根据自身产品形态，对这种付费模式进行定制和扩大。

在监管和舆论对AI抓取与版权问题日益存眷的大年夜背景下，Cloudflare此番政策调剂与贸易模式进级，显然旨在为出版商争夺更多话语权和收益空间，同时给AI公司施加新的透明度和合规压力。 对AI行业而言，在持续依附海量网页内容练习和运行各类智能代理的同时，如安在技巧便利性与内容方权益之间取得均衡，将成为将来一段时光内无法躲避的核心议题。