百度蜘蛛抓取删除的列表页面,robots怎么设置禁止

我不知道百度从哪里抓取了那些URL,而百度访问的那些页面是我的网站上已经删除了有一段时间的列表页面,蜘蛛收录不存在的tag列表页,使用robots如何解决
√ 推荐回答

tag列表页一般在同一个目录下,比如目录名叫ABC,那么robots就应该是:User-agent:* Disallow:/ABC/

相关SEO术语解释:

robots:

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

robots.txt:

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。也叫机器人排除标准(Robots Exclusion Standard),网站使用的文本文件,用于与网络机器人(最常见的SE机器人)进行通信,以处理网站的每个页面。在这里,您可以将某些页面设置为漫游器的禁区,并仅扫描最有用的内容。

启动页:

启动页,网站上介绍页面,通常包含大尺寸图片或视频,少量的内容(比如一个品牌名称)和一个按钮来继续访问主要的内容(“进入网站”)。通常启动页被用作网站的主页,旨在展示和推广品牌。

从SEO角度来讲,启动页并不是一个好的选择,原因如下:

1.高质量的内容是最重要的排名因素之一,启动页面几乎没有这些因素。

2.主页是最常用的反向链接URL,因此有一个内容极少的主页将降低链接的权威性。

3.全屏图像和视频加载速度通常都很慢,并对页面加载速度产生负面影响,导致访客流失。

推荐阅读

百度蜘蛛抓取频次过大,导致服务器影响小程序正常访问怎么办?

如百度Spider抓取频次过大,影响了小程序正常访问,开发者可通过“智能小程序开发者平台>开发管理>设置>开发设置>小程序资源抓取设置”调整抓取频次上限,调整后次日生效,有效期为60天。特别提醒的是,如果抓取频次上限过低会导致......

什么是百度蜘蛛?什么是Baiduspider?

Baiduspider是百度搜索引擎的一个自动程序,它的作用是访问互联网上的网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站上的网页。...