蜘蛛进入一个网站不会将这里的首页内页、内容页等“边边角角”一次爬行完毕，而更喜欢分阶段进行，每个时间段可能爬行的页面不见得相同，但有一点是没问题的，即：每次都会从首页作为“起爬线”。然后计算出每次在网站的活动时间以及逗留的长短。
如果我们手上是刚上线的新站，需要过一段时间才能被收录。因为，搜索引擎要经过反复的计算、“权衡”，确认页面有收录的必要，然后网页才会被慢慢被放出来。一般情况下，新站的快照、收录页面会晚一个星期才会被放出来。
那是不是域名时间越长，越受搜索引擎的“待见”呢?
确实如此，只要网站不存在过度优化、死链较多等情形。有不少网站刚把首页做完，就匆忙上线，这样一来，首页上的很多链接都是死链，蜘蛛从首页往内页爬的时候吃了“闭门羹”，就像是朋友每次都来登门拜访，却被我们拒之门外，势必引起对方的反感，时间一久，搜索引擎可能会放弃爬行。
通常来说，一个网站成功上线，百度、Google会给它3~6个月的考核期，顺利通过考核之后，搜索引擎就会认定这是一个长期的网站，这时，网站开始步入了一个稳定期，蜘蛛也会不时来光顾一下。
还有这么一种情况，比如：
优站分类目录，编辑每天都坚持更新文章，由于程序的原因，后来添加的文章不能在首页自动更新，也就是说，首页的栏目显示的依然是最早更新的那些文章的标题、更新时间。
首页的内容是“死”的、无法自动更新，这么一来，百度蜘蛛通常会认定为该网站没有更新而放弃去内页爬行，结果该网站的收录迟迟不见涨，快照也非常滞后，比如：首页显示的最新的那篇文章是2013年3月16日，快照也是这个日期。
因此，我们的网站每天更新之后一定要生成首页，像上面这个网站的情况，最好找技术人员进行调整，使得首页能够自动更新，让百度知道它没有白来。
值得强调的是，Google显然更有耐性，即使出现了以上这种情况，还是会从不自觉的从首页往内页爬，这也是我们经常会看到很多网站的Google收录多于百度的一大因素。
做好网站优化，一定要懂得如何与搜索引擎更好的相处。SEO是围绕搜索引擎展开的，因此，在人家地盘儿上混，得按人家的规矩来。
