OpenAI等四大AI厂商联合推行robots.txt抓取退出统一标准，提案已提交IETF
据 11 月 1 日报道（信源为新浪财经，经极客公园转载），OpenAI、谷歌、微软与 Anthropic 宣布将采用一项新的 AI 内容抓取退出标准，内容发布方可借此一次性向多家 AI 企业声明是否允许抓取网站内容用于模型训练，而不必逐一单独设置规则。该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组（IETF）提出，并集成在网站通用的 robots.txt 文件中。目前事件处于「已宣布、提案已提交」阶段，材料未说明 IETF 是否已采纳该提案，各家公司落地执行的时间表与实际效力亦未经独立证实。本条原为多篇新闻合集，此为其中行业分量最重的一条。
rss · 极客公园 · 11月2日 00:27
「为什么重要」 这一动向关系到内容生态与 AI 行业之间的授权博弈：若统一标准被广泛采纳，内容方行使抓取退出权的成本有望大幅降低，出版商与 AI 公司之间的谈判筹码也可能随之改变（此为推断）。四家头部公司同时宣布采用属已证实事实，但标准能否获 IETF 采纳、其他 AI 企业是否跟进、以及 Google AI Mode 等产品是否会据此调整抓取行为，是接下来值得跟踪的信号。
「背景」 robots.txt 长期用于告知网络爬虫哪些内容允许抓取、哪些禁止，适用场景包括搜索索引、网页归档与 AI 模型训练；在统一标准出现前，网站须向每一家 AI 企业分别单独声明训练相关偏好。内容方与 AI 抓取的矛盾在本次合集中另有旁证：据其中一则报道，Reddit CEO 史蒂夫·霍夫曼在第三季度财报电话会上表示，Google 的 AI 搜索仍在大量抓取 Reddit 内容，却不再像传统搜索那样把用户引导回网站，此为单方说法。
做AI项目，先看AI雷达 - AiRadar.com.cn · 全部AI快讯 →