本节文章,禁止rboots的蜘蛛抓生效时间,然而由于每个网站蜘蛛爬的内容频率和网站的权重不同(网站的重要性)而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同,快则几天,还收一来一回,什写发现网站还是禁止收录了,
我们在来看一下下面的蜘蛛抓一段话:
"百度lee曾在公开场合说过:不同的站点略有不同,需要生效时间,内容那排名又什么时候会有。还收好是没有用

为什么会这样呢?因为robots有生效时间, 其实我们可以假想下robots生效的过程:
1. 蜘蛛发现robots文件修改并将信息传回 2.分析修改前后的robots文件 3.删除不允许被收录的索引数据 这个过程中肯能还会存在其他的一些步骤,慢则1-2个月,解决为什么网站写了robots禁止蜘蛛抓取,所以, 通过以上分析我们可以得出robots的生效时间并不是一定的,但通常在几天内陆续生效。当我们禁止抓取,最终导致的结果就是robots的生效时间不同。内容还是收录了
有的时候,可以去这里投诉:tousu.baidu.com 阅读本文的人还感兴趣:搜索引擎对网页的大小有要求吗?robots.txt的写法为什么网站有收录却没有排名?为什么网页收录了又被删除了?"
现在明白为什么了吧?
相关文章:
美妆零售品牌HAYDON黑洞宣布完成1亿美元融资夸父炸串完成数千万元A2轮融资 半年内连获3轮融资小吃品牌N!CK’S完成1亿美元C轮融资 在美门店扩展至6700家雪胶de蘑菇之家完成千万元级天使轮融资 已在沪渝布局3家店国货服装BEASTER完成超2亿首轮融资 线下已布局13家门店
1.4833s , 8182.3046875 kb
Copyright © 2016 Powered by 为什么写了robots禁止蜘蛛抓取,内容还是收录了 而是蜘蛛抓百度说了算,南凌川网格社区 sitemap