搜索引擎蜘蛛程序在爬行网页的时候，为了节约服务器资源，保证高效的运行效率，他可能会忽略掉网页中一些内容，我们尽量要避免蜘蛛程序忽略掉网页的重要内容，为了更好的进行SEO工作，你可能需要对网页进行一些必要的改进。

 

一、精简网页

 

蜘蛛程序不太喜欢爬行太过于臃肿的网页，为了保持自身的高效率运行，蜘蛛程序花同样的时间可能会爬取更多精简的网页，每个蜘蛛程序都有自己的限制程序，太大的网页可能会导致不能完全爬行，甚至根本不去爬行这些网页。

 

当然，目前使用

 

布局的已经很少，一般情况下，导致网页体积变大的原因都是由于JS代码太多引起的，要解决这样的问题，应该把JS代码从网页转移到一个外部JS文件，这样蜘蛛程序将不会去爬行它，而且网页界面不受任何影响，从而达到精简网页的目的。

 

二、验证HTML的正确性

 

当用户在浏览我们网页的时候，可能很少看见错误信息，这样看起来网页的HTML好像没有什么问题，但目前的浏览器，特别是IE浏览器，其设计的思想高质量的显示网页，尽量不让用户发现网页上的问题，因此，浏览器是可能容忍HTML编码错误的。但是，作为进行SEO优化的网页，面对的不仅仅是用户，还有蜘蛛程序，蜘蛛程序不想浏览器那样，任何错误的编码都可能会向蜘蛛程序提供错误的信息。

 

由于目前很多个人站长都采用CMS程序来建站，在编辑模板文件和购买模板的时候，一定要注意起HTML代码的正确性，大多错误都发生在标签的写法上，比如最近一个客户的网页统计代码未封口，在网站上线前或者注意到问题的时候，可以用检测工具(www.w3.org)检查下网页代码是否正确，避免这些小失误有助于蜘蛛程序更好的读取数据网页数据。

 

三、FLASH中避免包含重要链接信息

 

FLASH网站的确比常规的HTML更吸引用户眼球，其用户体验自然也好的多，但是搜素引擎并不能想用户一样去浏览FLASH，无法确定FLASH里面包含的内容，而存在与FLASH里面的重要链接信息(比如导航)也自然不会被蜘蛛程序捕捉到(谷歌貌似能读懂FLASH)。这里也并不是说网页中就一定不能使用FLASH，因为FLASH对提升用户体验的效果我们是肯定，那么，我们只要尽量保证FLASH中内容不会包含重要的链接信息。

 

四、避免使用FRAMES框架

 

由于蜘蛛程序会话费很多时间来解读基于frames框架的网页，使得目前搜索引擎开始考虑放弃蜘蛛程序对frames内容的爬行，这在百度SEO指南中有明确说明，对于使用frames的网页，可以借助noframes标签将框架中的重要内容提取出来，这样有助于蜘蛛程序了解框架结构中的重要内容。