谷歌推出爬虫扩展代理 网站管理员可以屏蔽谷歌抓取内容用于训练AI – 蓝点网
发布时间：2025-03-13 00:55:09 作者：玩站小弟 
我要评论
我要评论在 OPENAI 公布 GPTBot 爬虫的相关信息后，今天谷歌宣布在 GoogleBot 基础上推出 Google-Extended 爬虫扩展代理，允许网站管理员使用 robots.txt 文件屏蔽
为什么摄影师拍照会卡住。
在 OPENAI 公布 GPTBot 爬虫的谷歌管理谷歌相关信息后，今天谷歌宣布在 GoogleBot 基础上推出 Google-Extended 爬虫扩展代理，推出允许网站管理员使用 robots.txt 文件屏蔽谷歌抓取网站内容用来训练 AI 模型。爬虫屏蔽为什么摄影师拍照会卡住
谷歌没有推出单独的扩展 AI 爬虫，AI 爬虫仍然使用 GoogleBot，代理但网站可以声明是网站网否拒绝其抓取内容后训练 AI，如果要声明那就需要使用 Google-Extende代理令牌。员可用于
谷歌称，内容Google-Extended 是训练一种新控件，网络发布商可以使用它管理其网站是蓝点为什么摄影师拍照会卡住否有助于改进 Bard 和 Vertex AI 等生成式 AI 模型，在博客中谷歌多次提到网站可以帮助谷歌改进 AI，谷歌管理谷歌比如网站管理员可以选择是推出否帮助这些 AI 模型随着时间推移变得更准确和强大。
不过最终还是爬虫屏蔽网站管理员自己决定是否允许谷歌拿内容去训练 AI，如果不愿意的扩展话，可以在 robots.txt 中添加以下内容：
User-Agent: Google-ExtendedDisallow：/
需要提醒的代理是谷歌对于 robots.txt 的处理遵循了多种原则，而且 Google Bot 本身有一大堆用于不同用途的 bot，例如常规的 GoogleBot、GoogleBot-News、GoogleBot-Image 等，这些 bot 是可以在 robots.txt 里混用的。
例如要允许谷歌搜索抓取网站内容、不允许谷歌抓取内容用于训练 AI，那么 robots.txt 可以这么写：
User-Agent: GooglebotAllow: /User-Agent: Google-ExtendedDisallow: /
相关文章
这一年 难忘的体育面孔(建设体育强国·年终特别报道)。图①：马龙在2024年国家和地区奥林匹克委员会颁奖典礼上获得了杰出的体育职业奖。36岁的马龙连续四次参加奥运会。在巴黎奥运会上，他的队友赢得了男子2025-03-13
腾讯文娱讯 由赵丽颖、林更新、窦骁、李沁收衔主演的大年夜型古拆谍战题材电视剧《楚乔传》正正在炽热播出中，没有但齐网支视接连破两，支散面击量延绝暴删，出色纷呈的剧情也被没有雅众延绝喝采。90后宇量小花李2025-03-13
《披波折的姐姐》迎去第一次公演，伊能静与王智、王丽坤带去《推开天下的门》。公演结束后，伊能静正在微专晒出了与同构成员的开照，并收文记录心得，她表示米粒正在断绝的处所看本身唱歌，成果本身一开端唱便哭了。2025-03-13- 【家电资讯-家电新闻 - 营销视野，作者：编辑】作者：刘伟编辑：王川导语：新时代的智慧家庭大脑应该是什么样子的？在《黑镜：白色圣诞节》中，克隆了主人意识的记忆蛋Cookie，能够知道主人生活的每一处细2025-03-13
泉港区委主要领导到后龙镇、峰尾镇调研第一季度“良好开端”和2025年重点工作
。杨昌文带队到后龙镇。。调研。一季度“开门红”以及2025年的重点工作。2月26日下午，市政协副主席、区委书记杨昌文带队到后龙镇调研调度第一季度“开门红&rdquo2025-03-13- 【家电资讯-家电新闻 - 营销视野，作者：编辑】当你站在家门口，不用找钥匙，门锁的人脸识别会确定主人身份并自动开门，随即由玄关到客厅，灯光渐次亮起，轻柔的“欢迎回家”让你会心一2025-03-13
最新评论