在网站提交死链后,还需要robots禁止吗

186浏览
如题,我已经在百度站长后台提交死链接了,是不是这样就够了,还有没有必要在robots中禁用死链接的URL,网站已提交死链后是否还需要设置robots?
√ 推荐回答

如果已经使用死链提交工具进行提交后,就不需要设置robots,两种方法二选一即可,建议使用死链提交工具,会提升提交的效率。

相关SEO术语解释:

robots:

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

robots.txt:

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。也叫机器人排除标准(Robots Exclusion Standard),网站使用的文本文件,用于与网络机器人(最常见的SE机器人)进行通信,以处理网站的每个页面。在这里,您可以将某些页面设置为漫游器的禁区,并仅扫描最有用的内容

网址提交:

通过手动提交URL使搜索引擎知道新网页,以便更快地对其进行索引。

很多人认为这是不必要的,因为爬虫很擅长发现新内容,如果有链接指向你的网站或网页,它们最终会索引你的网站或网页。

然而,有,全新的网站/网页要出现在SERPs需要一段时间,几天的是正常的,但如果需要几个星期,你可能想要考虑手动提交到搜索引擎。

推荐阅读

小程序没有主动提交资源,在未收录资源中有死链提示是为什么?

除了开发者自己主动提交资源外,百度蜘蛛也会主动抓取站点资源。开发者们在开发智能小程序的时候,加载速度必须符合规范,页面首屏内容应该在1秒内加载完成。如果页面内容迟迟未加载完成,百度蜘蛛抓取内容时可能会出现抓取空页面的情况,因此被判定为死链页面。...

robots.txt文件应该放在网站哪里?

robots.txt文件应该放置在网站根目录下。比如说,当spider访问一个网站(例如http://www.chinaz.com)时,首先会检查该网站中是否存在http://www.chinaz.com/robots.txt这个文件,如果Spide......

avatar
发表我的评论
取消评论

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址