标签：robots

2年前 (2022-07-12) 709浏览

robots.txt文件应该放置在网站根目录下。比如说，当spider访问一个网站（例如http://www.chinaz.com）时，首先会检查该网站中是否存在http://www.chinaz.com/robots.txt这个文件，如果Spide...

2年前 (2022-07-01) 555浏览

不会的，你原来的页面还在，肯定会抓。

2年前 (2022-07-01) 611浏览

我们知道动态页面都有一个共同的特征，就是在链接里会带有"?"这个问号的符号，因此我们可以在robots.txt文件里写入如下这样的规则： User-agent: * Disallow: /*?*

2年前 (2022-06-20) 515浏览

我们在查看别人网站快照的时候，有时候发现别人网站明明有索引，但是点击却没有百度快照，这是怎么做到的呢，今天我们来了解一下meta标签robots。看看怎么通过这个标签实现禁止抓取和禁止快照等等功能的

2年前 (2022-06-20) 515浏览

因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。 如果您的拒绝被收录需求非常急迫，也可以通过...

3年前 (2022-05-29) 608浏览

我不知道百度从哪里抓取了那些URL，而百度访问的那些页面是我的网站上已经删除了有一段时间的列表页面，蜘蛛收录不存在的tag列表页，使用robots如何解决

3年前 (2022-05-26) 752浏览

我在网站的根目录下新建了一个目录有一些图片用于调试程序的，想禁止百度图片搜索收录网站某些图片该如何设置？

3年前 (2022-05-21) 604浏览

禁止蜘蛛抓取的页面会影响排名吗，我的网站改版了，只优化了新网站！老网站放在目录某个目录下，已经禁止蜘蛛抓取了，老网站的页面有都没有优化，虽然禁止抓取了他的页面，但是会影响排名吗？

3年前 (2022-05-20) 635浏览

网站遇到被黑，随机生成了大量随机垃圾链接。而且这些链接有的大写有的小写随机的，我想问一下，如果我用robots禁止抓取这些链接，需要区分大小写吗

3年前 (2022-05-19) 572浏览

如题，我已经在百度站长后台提交死链接了，是不是这样就够了，还有没有必要在robots中禁用死链接的URL，网站已提交死链后是否还需要设置robots？