为什么robots.txt禁止了,还是会被收录?

359浏览
√ 推荐回答

因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。

如果您的拒绝被收录需求非常急迫,也可以通过反馈中心反馈请求处理。

相关SEO术语解释:

robots.txt:

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。也叫机器人排除标准(Robots Exclusion Standard),网站使用的文本文件,用于与网络机器人(最常见的SE机器人)进行通信,以处理网站的每个页面。在这里,您可以将某些页面设置为漫游器的禁区,并仅扫描最有用的内容。

百度K站:

百度K站有轻重之分,刚开始可能会快照回档,关键词排名大幅度下降,但是没有掉到 100 以后。这些是初期不良的状态。到中期,如果站长还没有做改善,快照会被打到无百度快照,关键词排名全部 100 以外,这是严重警告。如果后期还不改善的话,就是降权了。

robots:

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

推荐阅读

斗牛SEO工具:收录、排名查询、关键词挖掘工具

SEO tools是一款经典的SEO工具,提供批量查询采集、关键词排名查询、关键词挖掘、索引检查、站群索引检查、关键词挖掘、状态码查询、分词工具等功能。该工具具有批处理速度、多线程运行、智能原创设置、无需安装Net和JAVA环境等特点。是站长们的得力......

网址误删除后该如何操作?百度能恢复对该网址的收录吗?

若您不小心误删除了网址,请在网址删除页面,把该数据删除,在添加数据中重新添加您的网址,百度将恢复对该网址的收录。...