√ 推荐回答
User-agent: Baiduspider Disallow: /
+ 扩展问答
怎么才能让蜘蛛不抓取整个网站
答:Disallow:例三:禁止任何搜索引擎抓取我的网站,设置方法如下:User-agent:Disallow: / 例四:只禁止某个搜索引擎抓取我的网站如:只禁止名为“slurp”的搜索引擎蜘蛛抓取,设置方法如下:User-agent: slurp Disallow: / ...
如何禁止所有搜索引擎蜘蛛的爬行收录
答:可使用robots协议:建立robots.txt 文件,上传至网站根目录:屏蔽所有搜索引擎爬取网站的语法:User-agent:Disallow: / 允许所有搜索引擎爬取网站所有内容 User-agent:Disallow:只禁止百度抓取你网站的内容 User-agent: ...
网站怎样屏蔽某些蜘蛛过来抓取
答:写法 1.如果你站点中的所有文件,都可以让蜘蛛爬取、收录的话,那么语法这样写:User-agent: *Disallow:当然,如果你网站中全部的文件都可以让搜索引擎索引的话,你也可以不管这个文件。2.完全禁止搜索引擎来访的Robots.txt...
转载请注明:思享SEO博客 » 怎么禁止百度蜘蛛抓取我的网站