Google称robots.txt只管抓取不管AI训练用途

Google 的 Gary Illyes 在一期 Search Central 视频中称，按互联网标准 RFC 9309，robots.txt 只规定爬虫可以请求哪些 URL，不决定内容被抓取后的用途，包括是否用于 AI 训练。 Illyes 称，网站如果想完全阻止某个 AI 爬虫访问整站，需要在 robots.txt 中明确针对该爬虫的 User-Agent 标识设置规则。报道介绍，Google 另有一项控制，用于决定其抓取的内容能否用于训练未来的 Gemini 模型，以及能否用于 Gemini Apps 和 Vertex AI 上 Grounding with Google Search 的落地（grounding）。 目前还没有一种标准方式，能让网站在允许哪些爬虫抓取之外单独表达训练偏好。相关方案仍处于草案阶段。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。