Search Engine Journal· Matt G. Southern·· 3 小时前AI 评分36
Google Gary Illyes：robots.txt 管控抓取，不决定内容是否用于 AI 训练
Google’s Illyes: Robots.txt Covers Crawling, Not AI Training via @sejournal, @MattGSouthern
AI 导读
Google 的 Gary Illyes 表示，按 RFC 9309，robots.txt 规定爬虫可请求哪些 URL，不规定内容被抓取后的使用方式。
来源：Search Engine Journal · searchenginejournal.com