百度蜘蛛的referrer是什么意思

SEO基础 思享 2681浏览

百度蜘蛛的referrer,是指当百度蜘蛛访问网站某一个URL的时候,在HTTP头中标识的referrer字段。请注意,这个定义和百度最近声明去除referrer中关键词数据没有任何关系。

举个例子,蜘蛛在抓取 http://zhanzhang.baidu.com/site/index/ 的时候,可能会告诉你他是从 http://zhanzhang.baidu.com/ 过来的,如图所示:

referrer

对于站长的意义

如果你关心百度从哪个页面上发现了当前这个URL的话(可以理解为抓取轨迹),那么这个字段是唯一的参考依据。如果你发现有一批URL报错(4xx或者5xx),但是一直找不到入口在哪,也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。

举例

比如我们的SEO日志分析系统中可以看到,符合下面这种URL Pattern的路径每天有6万到10万的抓取而且全部报404。

全部报404

从发现问题至今过了1个月,查遍整个网站我也没找到入口。今天偶然仔细查了一下日志,想起了百度蜘蛛的referrer,马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面(往往是这样)。收录流量都不错。由于最近公司图片系统更新,图片的URL全部更改了,但这套页面并没有跟着更新。

结束语

很多SEO问题并不是立即致命的,所以没有及时解决,流量就像蚂蚁啃大象一样一点一点啃掉了。

系统性的知识积累还是会在关键时刻发挥作用的。

本文由 刘明 原著

推荐阅读

SEO竞争对手的哪些方面值得我们去分析和关注

前面说到过定位竞争对手,知己知彼,百战不殆。那么竞争对手对于从事SEO的我们来说有哪些方面值得我们去分析和关注呢?本篇文章将带大家简单了解一下关于竞争对手值得我们学习的地方,希望对大家学习SEO竞争研究有所帮助? 首先定位我们的竞争对手,这个前面已经......

SEO是什么意思:SEO基础知识大全!

以最简明的语言,解释枯燥的词汇和原理。本文通过实践经验来告诉大家seo的基础知识。文章不断更新。欢迎补充,可以通过ctrl+f 组合键来查找你想了解的名词或概念。 一、SEO SEO(Search Engine Optimization):汉译为搜索......

爱站权重和站长权重都是怎么算的,准吗

我们知道站长交流、交换友情链接中谈到的友情链接,其实主要是说的爱站、站长工具的权重值。那么这些权重值是根据什么计算出来的呢?这些值准确吗? 站长工具权重 站长工具权重的计算,分为关键词扫描入库、计算预估IP、根据预估流量划分权重 关键词的扫描入库 每......