Baiduspider对网页的抓取,是通过网页与网页之间的链接实现的。
网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,某些网页即便通过您的网站内部链接无法访问到,但是,如果别人的网站上有指向这些页面的链接,那么这些页面还是会被搜索引擎所收录。
百度Spider的访问权限,和普通用户是一样的。因此,普通用户没有权限访问的内容,Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录,原因有两点:
A. 该内容在Spider访问时是没有权限限制的,但抓取之后,内容的权限发生了变化
B. 该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上,则Spider就会循着这条路径抓出受限内容
如果您不希望这些私密性内容被百度收录,一方面可以通过Robots协议加以限制;另一方面,也可以通过反馈中心反馈给我们进行解决。
相关SEO术语解释:
百度K站:
百度K站有轻重之分,刚开始可能会快照回档,关键词排名大幅度下降,但是没有掉到 100 以后。这些是初期不良的状态。到中期,如果站长还没有做改善,快照会被打到无百度快照,关键词排名全部 100 以外,这是严重警告。如果后期还不改善的话,就是降权了。
百度索引:
百度索引量是指有多少页面作为搜索候选结果。对于新站,由于收录比较慢,那么索引量一般远远大于收录,这是正常的现象,也是网站良好的表现,而且这些索引量在未来大部分可能会变成网站的可以搜索的收录量。
百度权重:
百度权重是站长工具等网站推出的针对网站关键词排名预计给网站带来流量,划分等级0- 9 的第三方网站欢迎度评估数据。百度官方明确表示不承认百度权重。百度权重并不是像谷歌的PR、搜狗的SR、IBM hits等那样是对网站的综合评级的算法。百度权重只是针对关键词排名方面给网站带来的欢迎度进行评级。
此问答来源:【为什么我的网站中的一些私密网页也会被百度收录?】
由思享SEO博客编辑转载,仅用于参考学习,如有侵权请联系本站修改删除!