雅虎等结合成立RSL联盟并推出RSL 1.0版 旨在让AI公司从网站抓取内容时付费

RSL 联盟由雅虎等公司成立，RSL 标准则是对 robots.txt 文件的扩大，后者用于告诉收集爬虫网站上的哪些内容可以拜访，哪些内容弗成以拜访并禁止索引到搜刮引擎中。

这个新联盟今朝已经获得跨越 1500 家媒体机构和品牌的支撑，包含热点收集论坛 Reddit、问答社区 Quora、百科内容 WikiHow、技巧问答社区 Stack Overflow 和媒体平台 Medium 等。

须要特别强调的是 RSL 许可并不克不及直接阻拦人工智能公司的爬虫抓取内容，也就是无论爬虫是否付费都不克不及阻拦其抓取，但收集技巧办事商可以经由过程集成 RSL 许可做到拦截。

个中收集办事供给商 Cloudflare、美国内容分发收集供给商 Fastly 以及美国有名收集办事商 Akamai 均已支撑 RSL 1.0 版协定，也就是说假如网站设备了 RSL 1.0 文件，则 Cloudflare 等会根据文件内容对爬虫进行区分对待，例如直接封禁任何未付费或未授权的爬虫。

RSL 1.0 许可还许可网站樊篱其内容被人工智能驱动的搜刮功能抓取，例如谷歌搜刮的 AI 模式，樊篱的同时保存内容在传统搜刮成果中的排名。今朝谷歌并不许可网站零丁退出 AI 模式索引，除非樊篱全部谷歌并导致网站所有内容都邑谷歌移除。

RSL 联盟认为 RSL 1.0 许可有助于改夫君工智能技巧与内容出版社之间的抵触，让 AI 公司可以持续获取数据练习模型，但也可以推敲出版社的好处尤其是内容版权被应用出现的损掉。