什么是搜索引擎蜘蛛

搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序，每个搜索引擎都有自己的蜘蛛。 搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。 国内各大搜索引擎蜘蛛名称： 百度：百度spider 谷歌：googlebot 搜狗：sogou spider 搜搜：Sosospider 360搜索：360Spider 有道：YodaoBot 雅虎：Yahoo Slurp 必应…