Cloudflare 推新举措：帮网站抵御 AI 爬虫，还探索“按爬取付费”新模式
7 月 1 日消息，互联网安全和性能优化公司 Cloudflare 宣布一系列新举措，旨在助力网站抵御 AI 爬虫的无限制抓取，同时探索新商业模式以保障互联网内容创作者的权益。
根据 Cloudflare 最新政策，新签约管理网站流量的域名客户，会被询问是否允许 AI 爬虫访问网站，或是选择完全屏蔽。早在 2024 年，Cloudflare 就推出免费工具阻止 AI 爬虫，此次更新后，用户默认屏蔽 AI 爬虫，无需手动调整。目前，康泰纳仕、《时代》杂志和美联社等大型出版商已选择屏蔽。
Cloudflare 首席执行官马修・普林斯指出，出版商面临“生存危机”，因用户不再点击聊天机器人提供的原始链接，网站无法获得广告收入。他表示，原创内容是互联网伟大的关键，目标是将权力交还给创作者，帮助 AI 公司创新，保障自由且充满活力的互联网未来。
此外，Cloudflare 启动“按爬取付费”私人测试项目，允许网站所有者向 AI 爬虫收取访问内容费用。每次 AI 爬虫请求内容时，会展示支付意愿或收到付款所需响应及定价信息。Cloudflare 会记录交易并提供技术支持。出版商可让部分爬虫免费访问，也能设定统一收费价格。
Cloudflare 称“按爬取付费”处于早期阶段，未来会不断演变，还支持开发其他市场平台和收费方式，如按内容类型动态定价。
