seo优化搜索引擎爬虫_seo_搜索引擎优化

SEO优化中不可忽视的蜘蛛陷阱

什么是SEO优化蜘蛛陷阱？搜索引擎蜘蛛陷阱有着怎样的危害呢？我们又该如何去避免这些蜘蛛陷阱呢？今日成都SEO小刚就和大家聊聊关于如何避免SEO优化蜘蛛陷阱的那些事儿。

什么是SEO优化蜘蛛陷阱？

有一些网站设计做的对于搜索引擎来说很不友好，就导致了不利于蜘蛛的爬行和抓取，其实这样就构成了一个蜘蛛陷阱。官方说法，“蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方法，目前很多浏览器在设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍，如果消除这些蜘蛛陷阱，可以使蜘蛛程序收录更多的网页。SEO工作中，网页被收录是基础工作，但对于搜索引擎来讲，极少情况会100%收录你网站的所有网页，搜索引擎的爬虫程序设计的再精巧，也难以逾越所谓的蜘蛛陷阱。

搜索引擎蜘蛛陷阱有着怎样的危害呢？

搜索引擎蜘蛛陷阱导致了不利于蜘蛛的爬行和抓取，从而导致网站收录情况不佳，最终影响网站关键词排名。

搜索引擎蜘蛛陷阱的主要类别

1、登录要求

有些企业站和个人站的设置一定要注册登录后才能看到相关的文章内容，这种对蜘蛛不是很友好，蜘蛛不会注册、也不会登录。

2、动态URL

什么叫动态URL、什么叫静态URL，简单的说就是带有问号、等号及参数的网址就是动态URL，动态URL不利于搜索引擎蜘蛛的爬行和抓取。

3、强制用Cookies

部分站长为了让用户记住登陆信息，强迫用户使用Cookies如果未开启，则无法进行访问，访问页面显示的也不会正常，这种方式会让蜘蛛无法进行访问。

4、框架结构

首先各位站长你知道什么叫框架结构的世界吗？如果你不知道恭喜你，这个蜘蛛陷阱你已经躲避了，也不要去了解，所以有关框架结构的设计不做任何的介绍。虽然说框架结构对网站的维护和更新有一定的方便性。但是，它不利于搜索引擎蜘蛛抓取。这也就是现在框架结构不流行的因素之一。

5、各种跳转

对搜素引擎来说只对301跳转相对来说比较友好，对其他形式的跳转都是比较敏感，例如：JavaScrit跳转、MetaRefresh跳转、Flash跳转、302跳转。

有些网站的做法很让人无奈，当你打开网页后会自动转向其他页面，就算打开的页面和你要找的页面主体先关也算过得去。但是很大部分的网站转向让你无任何理由和目的这种转向不推荐大家使用，如果你非要做转向，只推荐用301永久跳转，可以将权重进行传递，除了此转向其他都不推荐，因为很多的占用其他转向欺骗用户和搜索引擎，也是heimao的一种手段，所以建议大家不要使用，以免网站被K。

6、Flash

有的网站页面使用Flash视觉效果是很正常的，比如用Flash做的Logo、广告、图表等，这些对搜索引擎抓取和收录是没有问题的，很多网站的首页是一个大的Flash文件，这种就叫蜘蛛陷阱，在蜘蛛抓取时HTML代码中只是一个链接，并没有文字，虽然大的Flash效果看上去很好，外观看着也很漂亮，但可惜搜素引擎看不到，无法读取任何内容所以为了能体现网站优化的最好效果，不提倡这种Flash做首页图片。

7、Javascript链接

因为JS有很多吸引人们眼球的惊人的各种效果，很多站长呢，就用Javascript脚本做一些导航。其实，Javascript同样也是比较严重的蜘蛛陷阱之一。

当然，有的搜索引擎是可以获得Javascript上的链接，甚至可以执行脚本并跟踪链接。但对于一些权重比较低的网站来说，还是大可不必浪费时间，不如多更新一些高质量的文章，多做几个外链。

8、Session ID

如果我们的网站使用Session ID跟踪用户访问，这样就会出现一种现象，搜索引擎每一次访问我们的页面时出现一个不一样的Session ID，即使访问的是同一个页面，它也会出现不一样的ID，但是内容却是一样的，就形成了大量的重复性内容，这也就形成了一个蜘蛛陷阱，也不利于网站的优化。那么我们通常建议大家使用cookies而不要生成Session ID。

如何避免搜索引擎蜘蛛陷阱？

1、采用session id的页面，有的销售类站点为了分析用户的某些信息会采用会话ID来跟踪用户，访问站点的时候每个用户访问都会增加一次session id而加入到URL中，同样蜘蛛的每一次访问也会被当做为一个新用户,每次蜘蛛来访问的URL中都会加入一个session id，这样就会产生了同一个页面但URL不同的情况，这种的一来会产生复制内容页面，造成了高度重复的内容页，同时也是最常见的蜘蛛陷阱之一。比如说有的网站的为了提高销售业绩，而进行弹窗会话等，比如说您好来自XXX地的朋友等。

2、常识性的蜘蛛陷阱，采用强制注册或登录才能访问的页面，这种的对于蜘蛛来说就相当为难了，因为蜘蛛无法提交注册，更无法输入用户名和密码登录查看内容，对于蜘蛛来说我们直接点击查看到的内容也是蜘蛛所能看到的内容。

3、喜欢采用flash的站点，之所以说是喜欢采用flash的站点是因为对于一些中小型企业来说，因为flash本身可以做很多种效果，尤其是放在导航上视觉效果强，所以不少企业站喜欢弄个flash来展示自己公司的实力，文化，产品等，甚至一些企业站点的网站首页就是一个flash，要么是在多长时间后通过flash跳转到另外一个页面，要么就是通过flash上的链接让用户自己点击后进入一个新的页面，但是对于蜘蛛来说一来是很难读取flash中的内容，所以蜘蛛也很难点击flash上的链接。

4、动态URL，在url中加入过多的符号或者网址参数等，这种蜘蛛陷阱我在url优化中曾经有提到，虽然说随着搜索引擎的的技术发展，动态url对于蜘蛛的抓取已经越来越不是问题了，但是从搜索引擎友好度上来讲，静态哪怕是伪静态url相对来说都比动态url要好，可以看下很多SEO同行对于url中的处理方式。

5、框架，在早期框架到处被泛滥使用，而现在框架网页很多网站已经很少使用了，一是因为现在随着各大CMS系统的开发问世，网站维护相对也越来越简单了，早期网站使用框架是因为对网站页面的维护有一定的便利性了，现在已经大可不必了，而且不利于搜索引擎收录也是框架越来越少被使用的原因之一。

6、JS，虽然现在搜索引擎对于javascript里的链接是可以跟踪甚至在尝试拆解分析的，但是我们最好不要寄望于搜索引擎自己克服困难，虽然说通过js可以做一些效果不错的导航，但是css同样可以做到；为了提高网站对搜索引擎的友好度建议使网页能够更好的蜘蛛爬行，就尽量不要采用js，当然在seo中，js有一个好处就是站长不希望被收录的页面或者友情链接可以采用js。还有一种方法可以消除JavaScript 蜘蛛程序陷阱，即使用标签。标签是为不支持JavaScript 的浏览器提供备选的代码。蜘蛛程序不会执行JavaScript, 因此他们通过处理代码来代替。

7、深层次的网页，有的网页没有入口，而且距离网站的首页又很远，这种页面就相对较难被蜘蛛爬行到，当然对于那些权重高的网站可能会另当别论了。网站的页面要被收录，首先要需要基本的权重，首页的权重一般是最高的，然后首页的权重是可以传递到内页的，当内部页面的权重上升到可以被收录的门槛，页面就会被收录，按照这种理论，页面之间的权重传递是会递减的，因此，内页和首页的点击距离越近，越容易得到更多的首页权重传递。良好的网站结构可以让网站更多的页面被收录。

8、强制使用cookies，对于搜索引擎来说是相当于直接禁用了cookies的，而有些网站为了实现某些功能会采取强制cookies，比如说跟踪用户访问路径，记住用户信息，甚至是盗取用户隐私等，如果用户在访问这类站点时没有启用cookies，所显示的页面就会不正常，所以对于蜘蛛来讲同样的网页无法正常访问。

10、robots.txt书写错误和各种各样的作弊手法，比如说隐藏文字，隐藏链接等，采用伪装网页在判断来访者是蜘蛛还是普通浏览器者而显示不同的网页，使用默认错误的404页面等，同样会给蜘蛛带来爬行障碍。

11、要求登录：有些网站内容放在需要用户登录之后才能看到的会员区域，这部分内容搜索引擎无法看到。蜘蛛不能填写用户名、密码，也不会注册。

怎么做好搜索引擎优化

摘要：SEO是指通过对网站进行站内优化和修复(网站Web结构调整、网站内容建设、网站代码优化和编码等)和站外优化，从而提高网站的网站关键词排名以及公司产品的曝光度。怎么做好seo优化？一般来说要从标签、代码、内容等方面进行操作。下面小编就来介绍一下seo优化内容和seo优化步骤。seo优化内容

一、内部优化

（1）META标签优化：例如：TITLE，KEYWORDS，DESCRIPTION等的优化

（2）内部链接的优化，包括相关性链接（Tag标签），锚文本链接，各导航链接，及图片链接

（3）网站内容更新：每天保持站内的更新(主要是文章的更新等)

（4）代码压缩改进：例如：网站主页唯一性，网站内页链向主页，301,404等改进

外部优化

（1）外部链接类别：博客、论坛、B2B、新闻、分类信息、贴吧、问答、百科、社区、空间、微信、微博等相关信息网等尽量保持链接的多样性。

（2）外链组建：每天添加一定数量的外部链接，使关键词排名稳定提升。

（3）友链互换：与一些和你网站相关性比较高,整体质量比较好的网站交换友情链接,巩固稳定关键词排名。

二、链接优化

（一）网站结构优化

1、建立网站地图

只要有可能，最好给网站建一个完整的网站地图sitemap。同时把网站地图的链接放在首页上，使搜索引擎能很方便的发现和抓取所有网页信息。

2、每个网页最多距离首页三次点击就能到达。

3、网站的导航系统最好使用文字链接。

4、网站导航中的链接文字应该准确描述栏目的内容。

5、整站的PR传递和流动。

6、网页的互相链接。

（二）搜索引擎如何抓取网页

1、搜索引擎如何爬取。（按什么规则，怎样爬取）

2、物理及链接结构

3、URL静态化

4、绝对路径和相对路径

5、内链的权重分配及网站地图

6、避免蜘蛛陷阱

（三）链接结构

网络结构的第二个结构形式：链接结构也称为逻辑结构，也就是有网站内部链接形成的链接的网络图。

比较合理的链接结构通常是树形结构。

（四）关键词选择

1、使用百度推广助手中关键词工具进行选择适合推广的词；

2、做调查来选取关键词；

3、通过查看统计日志来选取关键词；

4、长尾关键词；

5、将关键词进行多重排列组合；

6、尽量不要使用行业通用词；

7、擅于利用地理位置；

8、确定关键词的价值；

9、长尾词的选择；

10、关键词的时效性；

11、分析竞争对手；

有些词是从百度的相关搜索中过来的，而非用户搜索的关键词。

三、SEO优化步骤

SEO技术并不是简单的几个建议，而是一项需要足够耐心和细致的脑力劳动。大体上，SEO优化主要分为8小步:

1、关键词分析（也叫关键词定位）

这是进行SEO优化最重要的一环，关键词分析包括：关键词关注量分析、竞争对手分析、关键词与网站相关性分析、关键词布置、关键词排名预测。

2、网站架构分析

网站结构符合搜索引擎的爬虫喜好则有利于SEO优化。网站架构分析包括：剔除网站架构不良设计、实现树状目录结构、网站导航与链接优化。

3、网站目录和页面优化

SEO不止是让网站首页在搜索引擎有好的排名，更重要的是让网站的每个页面都带来流量。

4、内容发布和链接布置

搜索引擎喜欢有规律的网站内容更新，所以合理安排网站内容发布日程是SEO优化的重要技巧之一。链接布置则把整个网站有机地串联起来，让搜索引擎明白每个网页的重要性和关键词，实时的参考是第一点的关键词布置。友情链接战役也是这个时候展开。

5、与搜索引擎对话

向各大搜索引擎登陆入口提交尚未收录站点。

6、建立网站地图SiteMap

根据自己的网站结构，制作网站地图，让站长们的网站对搜索引擎更加友好化。让搜索引擎能过SiteMap就可以访问整个站点上的所有网页和栏目。

最好有两套siteMap,一套方便客户快速查找站点信息（html格式），另一套方便搜索引擎得知网站的更新频率、更新时间、页面权重（xml格式）。所建立的sitemap要和站长们网站的实际情况相符合。

7、高质量的友情链接

建立高质量的友情链接，对于seo优化来说，可以提高网站PR值以及网站的更新率，都是非常关键性的问题。

8、网站流量分析

网站流量分析从SEO结果上指导下一步的SEO策略，同时对网站的用户体验优化也有指导意义。流量分析工具，建议采用分析工具GoogleAnalytics分析工具和百度统计分析工具。

四、什么样的操作会降低搜索引擎

1、网站采用搜索引擎无法识别的程序或文件，例如：flash、调用的动态代码、图片（可以添加alt属性）等，缺乏文本文字的网站不太容易被搜索引擎所识别，从而大大降低了搜索引擎的友好度。

2、网站的内容杂乱无章，主次不分，导致搜索引擎无法识别网站核心。网站关键词的匹配度较低，重要的位置没有合理的布局关键词，例如导航，栏目名称等，或者网站关键词堆砌过于明显，优化过度。

3、网站是动态型网站，或者网站垃圾代码太多。网站内部出现大量的垃圾信息，或者被植入木马攻击6大量的抄袭转载别人的内容，网站原创度较低。

五、如何促进网站收录

1、提高权重，我们都知道当网站的权重越高，搜索引擎就越喜欢过来抓取网站，像那些大型的门户网站，收录都是几百万几千万的，权重越高页面承载量就越大，蜘蛛爬的就，网站有权重那么则是表示搜索引擎对网站有一定的认可。

2、网站更新和更新频率，相信很多站长都会定期的去更新网站内容，这样搜索引擎能够定期定时的来抓取网站。

3、让搜索引擎对网站产生习惯，大大提高页面收录的可能性;但是内容方面必须要是有质量的内容，这样才不会让搜索引擎厌恶。

4、质量外链和友链，随便百度算法的不断更新，大量的外链提升权重已经成为过去，如今对于外链我们需要做的是提高外链的质量。

5、将每一个外链打造成为一个流量入口，你也可以发现即使没有发外链网站的排名也会很好;友情链接是打造流量入口的一种方式，并且能够从其他网站吸引搜索引擎过来抓取，这样能够网站收录更快。

6、页面深度，页面的深度是很多站长都不怎么注意的一块，其实这对于SEO优化而言是非常重要的，我们一直在倡导使用树形模式，并且层次尽可能不要超过三层，因为当你页面越深的时候，用户能够访问下去的可能性就越低，搜索引擎亦是如此，而且这样也不利于权重的聚集，所以建站的层次不要太深，二三层即可。

seo优化主要有哪些步骤?

公司做搜索引擎seo优化一般步骤有五点，我们已经整理在下面的内容里了，你可以参考一下。

1、seo优化网站的架构

只有建立符合搜索引擎爬虫喜欢的网站架构，爬虫才会来抓取数据，这样可以加速网站seo优化的收录效果。我们可以学习别人建设网站的时候，取其精华去其糟粕，然后自己建设网站的时候就能够得心应手了。

2、seo优化关键词

seo优化离不开分析关键词，要分析关键词的关注度、关键词和网站的关联性、seo优化关键词的竞争对手、关键词的seo优化排名效果等等。

3、内容发布和布置链接

在内容上要尽量做到能够写出原创内容，实在不行的话就采用伪原创的方式，写的内容要是用户感兴趣的内容，如果用户不感兴趣，你写的再好也是白写。另外，我们还要学会用链接把相关联的网页链接起来，不能让每一个页面都无关紧要，这样能将权重分散到每一个页面。

4、友情链接

我们在做seo优化的时候也不能忽视友情链接，但是我们在建设友情链接之前，要确定两者的相关性和是否会遭受惩罚。如果你通过和一个有问题或者质量差的网站来建立友情链接，那么你的网站也会受到相关的影响，所以我们要选择高质量高权重的相关网站来建立友情链接。建立友情链接可以提高我们seo优化网站的更新频率，也给爬虫创造了一个访问网站的入口，方便抓取。

5、网站目录和页面