Robots生效要多久

有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？ 百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。 其实我们可以假想下robots生效的过程： 1.蜘蛛发现robots文件修改并将信息传…