robots.txt文件应该放在网站哪里?

564浏览
√ 推荐回答

robots.txt文件应该放置在网站根目录下。比如说,当spider访问一个网站(例如http://www.chinaz.com)时,首先会检查该网站中是否存在http://www.chinaz.com/robots.txt这个文件,如果Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

+ 扩展问答

robots.txt应放在网站的哪里

答:您好楼主:robots.txt是要放到根目录下面的。所谓的根目录就是你的网站程序所在的那个目录,一般的根目录貌似都是个叫WEB或者www文件夹 robots.txt文件必须驻留在域的根目录,并且必须命名为“robots.txt”。位于子目录中的...

robots.txt应该放在什么地方

答:您好楼主:robots.txt是要放到根目录下面的。所谓的根目录就是你的网站程序所在的那个目录,一般的根目录貌似都是个叫WEB或者www文件夹 robots.txt文件必须驻留在域的根目录,并且必须命名为“robots.txt”。位于子目录中的...

robot.txt的文件位置

问:robots.txt文件放在哪里? 为什么我放在根目录下,检测却总是说没有?

答:robots.txt文件应该放在网站根目录下。举例来说,当搜索引擎 访问一个网站时,首先会检查该网站中是否存在robots.txt这个文件,如果robots机器人程序找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。wordpress的...

推荐阅读

robots禁掉动态链接,问号前面的静态URL抓取吗?

不会的,你原来的页面还在,肯定会抓。...

网站禁止收录所有动态页面,该怎么设置?

我们知道动态页面都有一个共同的特征,就是在链接里会带有"?"这个问号的符号,因此我们可以在robots.txt文件里写入如下这样的规则: User-agent: * Disallow: /*?*...