蜘蛛

一个网站，想要获得搜索引擎的认可，那么就得首先就得获得蜘蛛的喜爱，作为一个SEO，最爱的事情就是蜘蛛每天都来，来的勤，来的快，如果网站中无任何阻碍，那么蜘蛛肯定是很开心的畅游网站，但是不是所有的网站的所有的地方都是这样，哪么究竟哪些地方会让蜘蛛难以自由爬行抓取呢？ 错误的robots (什么是robots.txt) 蜘蛛来到一个网站，首先会访问这个网站的ro…