在网站SEO优化过程中，对于蜘蛛进行网页抓取来说，可以分为其中三种：深度优先、广度优先和最佳优先，但是有些网页不管是从哪个角度来说都无法被蜘蛛抓取，这是什么原因导致的呢？
一、FLASH
如果网站某个广告或图标是用Flash做的，用来增强视觉效果起点缀效果，那是没有多大问题的。但如果网站整站都是用大的Flash文件，就无法被抓取，因为搜索引擎是无法读取flsah的内容的，这种网站一般是看上去很美，可惜搜索引擎什么都看不到，无从判断网站的主题信息。
二、各种跳转的页面
只有301跳转是搜索引擎喜欢的，其它跳转都是使搜索引擎警惕，比如302跳转、JavaScript跳转，Flash跳转等。
解决方案：尽量不要使用301之外的跳转，当然比如基于地理位置的跳转还是可以的，但前提是网站在搜索引擎心目中权重比较高。
三、网站框架结构
框架结构：点击网页的其它锚文本链接变更网页后，但是网页的网址不变，这就是框架结构，这样的网站搜索引擎是无法收录的。
动态URL：动态URL是指数据库驱动的网站做生成的、带有问号、等号及参数的网址。目前搜索引擎抓取动态URL没有问题，但是一般来说带有过多参数的动态URL还是不利于爬行的，也不利于用户体验，应该尽量避免。
四、JavaScript链接
因为JavaScript可以制造出很多吸引人的视觉效果，一般的网站都会有所运用。甚至有的网站喜欢用JavaScript脚本生成网站导航。这也是比较严重的问题之一，这无疑给搜索引擎爬行带来了困难。
五、强制使用Cookies
有些网站为了实现某些功能，使用cookies可以记住用户登录信息，跟踪访问路径等动作。但如果强制使用，比如浏览器如果没有启动cookies页面就会显示不正常，那么搜索引擎也无法正常访问。
网站优化的时候页面是越简单越好，使用各种特效以及显示效果的功能维护起来麻烦之外，还不利于搜索引擎的抓取。
