争取蜘蛛爬行提高网站爬行效率

站长朋友知道对于一些搜索引擎不能索引的文件或者网页，锚文本正好作为一个桥梁，搜索引擎蜘蛛通过所在页面的锚文本链接地址，爬向另外一个网页，这样搜索引擎就可以索引到所指页面的网页内容和文件了，加大彼此之间的联系，同时也加大了蜘蛛的访问速度，那么我们如何再次加强蜘蛛在网站的爬行呢，注意一下几点。

内容页

新的内容应尽量出现在蜘蛛频繁更新的地方。因此，内容页应按ID或发布时间排序。而每篇内容页应和其他页面有效链接。可以在内容结束后加入上一篇、下一篇窜连上下篇文章。同时可以增加相关阅读、推荐阅读等栏目，这样更有助于蜘蛛索引。

标签云

标签、标签云是提高聚合类内容可爬行性的有效途径。而标签云采用不同颜色、不同大小、不同粗细以区分不同用户关注度的内容。因该说无论从用户体验还是索引的主次都是有益的。但不应为追求标签云效果，而采用jquery等技术，这样就失去了标签云的SEO意义。

层次结构

要利于蜘蛛爬行，首先得有一个清晰的层次结构。树形结构是比较理想的网站结构，蜘蛛能够很好的理解并爬行。采用首页-索引页-内容页的形式有利于用户在最短的时间内找到需求的信息。而且由于相关性极强的内容在同一栏目下，提高了聚合度，这样更有利于蜘蛛的爬行整合。同时，树形结构应该遵循层数尽可能少的原则。

导航

网站导航是网站不可或缺的重要组成部分。采用统一的导航栏不仅有助于用户体验，更有助于蜘蛛识别。由于蜘蛛能有效识别并爬行css。因此，对于导航栏字体使用font-weight属性是有效的。但切勿因为追求效果而采用js、等蜘蛛无法有效爬行的技术。次导航同样可以使用font-weight属性表明重要性，而面包屑导航也是必不可少的，要注意尽量避免使用url链接，而更多采用锚文本链接。 文件对于蜘蛛的索引是很重要的。Sitemap的制作不是本文讨论的重点。如果你的站点规模不是很大，请尽量采用.xml格式，并放置于根目录下。百度sitemap工具正在内测中，因此暂时无法提交sitemap文件，我们只能采用提交网页的方式，提交新的页面。

做网站最忌讳的是将网站单一的呈现给受众，有的网站做的太考虑人的感受，比如过分的添加FLASH或是图片，虽然讨好了用户，但这些蜘蛛都不买账，反而会让网站速度降下来，所以在网站首页要尽可能的精简，如有有必要的话可以利用nofollow屏蔽一下首页没必要的链接，为网站收录提高时间。当然这个时候同样要考虑结构的问题，虽说CSS+DIV为蜘蛛提供一个圆点，最大限度的为其提供搜索捷径，但是树形结构还是不可少的，我们可以将网站相关性内容整合在一个栏目之下，以首页-索引页-内容页的形式的形式展开，提高内容的相关性，这样就有利于蜘蛛的爬行整合。