seo搜索引擎爬虫原理(seo搜索引擎爬虫原理图)

关于我用java写的网站,百度搜索引擎爬虫原理,SEO问题

1、www：我们的互联网，一个巨大的、复杂的体系;

2、搜集器：这个我们站长们就都熟悉了，我们对它的俗称也就是蜘蛛，爬虫，而他的工作任务就是访问页面，抓取页面，并下载页面;

3、控制器：蜘蛛下载下来的传给控制器，功能就是调度，比如公交集团的调度室，来控制发车时间，目的地，主要来控制蜘蛛的抓取间隔，以及派最近的蜘蛛去抓取，我们做SEO的可以想到，空间位置对SEO优化是有利的；

4、原始数据库：存取网页的数据库，就是原始数据库。存进去就是为了下一步的工作，以及提供百度快照，我们会发现，跟MD5值一样的URL是不重复的，有的URL有了，但标题就是没有，只有通过URL这个组件来找到，因为这个没有通过索引数据库来建立索引。原始数据库主要功能是存入和读取的速度，以及存取的空间，会通过压缩，以及为后面提供服务。网页数据库调度程序将蜘蛛抓取回来的网页，进行简单的分析过后，也就是提取了URL，简直的过滤镜像后存入数据当中，那么在他的数据当中，是没有建立索引的；

5、网页分析模板：这一块非常重要，seo优化的垃圾网页、镜像网页的过滤，网页的权重计算全部都集中在这一块。称之为网页权重算法，几百个都不止；

6、索引器：把有价值的网页存入到索引数据库，目的就是查询的速度更加的快。把有价值的网页转换另外一个表现形式，把网页转换为关键词。叫做正排索引，这样做就是为了便利，网页有多少个，关键词有多少个。几百万个页面和几百万个词哪一个便利一些。倒排索引把关键词转换为网页，把排名的条件都存取在这个里面，已经形成一高效存储结构，把很多的排名因素作为一个项存储在这个里面，一个词在多少个网页出现（一个网页很多个关键词组成的，把网页变成关键词这么一个对列过程叫做正排索引。建议索引的原因：为了便利，提高效率。一个词在多少个网页中出现，把词变成网页这么一个对列过程叫做倒排索引。搜索结果就是在倒排数据库简直的获取数据，把很多的排名因素作为一个项，存储在这个里面）；

7、索引数据库：将来用于排名的数据。关键词数量，关键词位置，网页大小，关键词特征标签，指向这个网页(内链，外链，锚文本)，用户体验这些数据全部都存取在这个里面，提供给检索器。为什么百度这么快，就是百度直接在索引数据库中提供数据，而不是直接访问WWW。也就是预处理工作；

8、检索器：将用户查询的词，进行分词，再进行排序，通过用业内接口把结果返回给用户。负责切词，分词，查询，根据排名因素进行数据排序；

9、用户接口：将查询记录，IP，时间，点击的URL，以及URL位置，上一次跟下一次点击的间隔时间存入到用户行为日志数据库当中。就是百度的那个框，一个用户的接口；

10、用户行为日志数据库：搜索引擎的重点，SEO工具和刷排名的软件都是从这个里面得出来的。用户使用搜索引擎的过程，和动作；

11、日志分析器：通过用户行为日志数据库进行不断的分析，把这些行为记录存储到索引器当中，这些行为会影响排名。也就是我们所说的恶意点击，或是一夜排名。（如果通过关键找不到，那么会直接搜索域名，这些都将会记入到用户行为数据库当中）；

12、词库：网页分析模块中日志分析器会发现最新的词汇存入到词库当中，通过词库进行分词，网页分析模块基于词库的。

强调：做seo优化，做的就是细节……

文章来自：

www.seo811.com

注：相关网站建设技巧阅读请移步到建站教程频道。

SEO是什么意思?具体是指什么?

SEO是由英文SearchEngineOptimization缩写而来，中文意译为“搜索引擎优化”。SEO是指通过站内优化比如网站结构调整、网站内容建设、网站代码优化等以及站外优化，比如网站站外推广、网站品牌建设等，使网站满足搜索引擎收录排名需求，在搜索引擎中提高关键词排名，从而吸引精准用户进入网站，获得免费流量，产生直接销售或品牌推广。

SEO全称：SearchEngineOptimization，即搜索引擎优化。为了说明什么是网站对搜索引擎优化，站长搜索引擎不优化的网站分为以下特征：

1、网页中大量采用图片或者Flash等富媒体（RichMedia）形式，没有可以检索的文本信息，而SEO最基本的就是文章SEO和图片SEO；

2、网页没有标题，或者标题中没有包含有效的关键词；

3、网页正文中有效关键词比较少（最好自然而重点分布，不需要特别的堆砌关键词）；

4、网站导航系统让搜索引擎“看不懂”；

5、大量动态网页影响搜索引擎检索；

6、没有其他被搜索引擎已经收录的网站提供的链接；

7、网站中充斥大量欺骗搜索引擎的垃圾信息，如“桥页（也叫门页，过渡页）”、颜色与背景色相同的文字；

8、网站中缺少原创的内容，完全照搬硬抄别人的内容等。

优化内容

编辑

内部优化

（1）META标签优化：例如：TITLE，KEYWORDS，DESCRIPTION等的优化

（2）内部链接的优化，包括相关性链接（Tag标签），锚文本链接，各导航链接，及图片链接

（3）网站内容更新：每天保持站内的更新(主要是文章的更新等)

外部优化

（1）外部链接类别：博客、论坛、B2B、新闻、分类信息、贴吧、问答、百科、社区、空间、微信、微博等相关信息网等尽量保持链接的多样性。

（2）外链组建：每天添加一定数量的外部链接，使关键词排名稳定提升。

（3）友链互换：与一些和你网站相关性比较高,整体质量比较好的网站交换友情链接,巩固稳定关键词排名。

链接优化

一、网站结构优化

1、建立网站地图

只要有可能，最好给网站建一个完整的网站地图sitemap。同时把网站地图的链接放在首页上，使搜索引擎能很方便的发现和抓取所有网页信息。

网站优化

2、每个网页最多距离首页四次点击就能到达。

3、网站的导航系统最好使用文字链接。

4、网站导航中的链接文字应该准确描述栏目的内容。

5、整站的PR传递和流动。

6、网页的互相链接。

二、搜索引擎如何抓取网页

1.搜索引擎如何爬取。（按什么规则，怎样爬取）

2.物理及链接结构

3.URL静态化

4.绝对路径和相对路径

5.内链的权重分配及网站地图

6.避免蜘蛛陷阱

三、链接结构

网络结构的第二个结构形式：链接结构也称为逻辑结构，也就是有网站内部链接形成的链接的网络图。

比较合理的链接结构通常是树形结构。

四、关键词选择

使用百度推广助手中关键词工具进行选择适合推广的词；

做调查来选取关键词；

通过查看统计日志来选取关键词；

长尾关键词；

将关键词进行多重排列组合；

尽量不要使用行业通用词；

擅于利用地理位置；

确定关键词的价值；

长尾词的选择；

关键词的时效性；

分析竞争对手；

有些词是从百度的相关搜索中过来的，而非用户搜索的关键词。

优化步骤

编辑

SEO技术并不是简单的几个建议，而是一项需要足够耐心和细致的脑力劳动。大体上，SEO优化主要分为8小步:

1、关键词分析（也叫关键词定位）

这是进行SEO优化最重要的一环，关键词分析包括：关键词关注量分析、竞争对手分析、关键词与网站相关性分析、关键词布置、关键词排名预测。

2、网站架构分析

网站结构符合搜索引擎的爬虫喜好则有利于SEO优化。网站架构分析包括：剔除网站架构不良设计、实现树状目录结构、网站导航与链接优化。

3、网站目录和页面优化

SEO不止是让网站首页在搜索引擎有好的排名，更重要的是让网站的每个页面都带来流量。

4、内容发布和链接布置

搜索引擎喜欢有规律的网站内容更新，所以合理安排网站内容发布日程是SEO优化的重要技巧之一。链接布置则把整个网站有机地串联起来，让搜索引擎明白每个网页的重要性和关键词，实时的参考是第一点的关键词布置。友情链接战役也是这个时候展开。

5、与搜索引擎对话

向各大搜索引擎登陆入口提交尚未收录站点。

网站优化

6、建立网站地图SiteMap

根据自己的网站结构，制作网站地图，让站长们的网站对搜索引擎更加友好化。让搜索引擎能过SiteMap就可以访问整个站点上的所有网页和栏目。

最好有两套siteMap,一套方便客户快速查找站点信息（html格式），另一套方便搜索引擎得知网站的更新频率、更新时间、页面权重（xml格式）。所建立的sitemap要和站长们网站的实际情况相符合。

7、高质量的友情链接

建立高质量的友情链接，对于seo优化来说，可以提高网站PR值以及网站的更新率，都是非常关键性的问题。

8、网站流量分析

网站流量分析从SEO结果上指导下一步的SEO策略，同时对网站的用户体验优化也有指导意义。流量分析工具，建议采用分析工具GoogleAnalytics分析工具和百度统计分析工具。

以上8步贵在坚持.流量多了也别骄傲,少了也别灰心.努力前进,学好SEO优化,站长们一定能成功。

执行难度

【SEO各种执行方式难度】难易度排名：1.外链建设；2.内容制作；3.撰写博客；4.社会化整合；5.SEO着陆页；6.URL结构；7.竞争对手调研；8.关键字研究；9.XML网站地图；10.内部链接；11.Title标记；12.Meta标记。

SEO策略几个常见现象

一:沙盒

什么是沙盒?沙盒的意思是通常指新网站在前期很难在Google有好的排名，一般时间限制在6个月左右。为什么进入沙盒?一般进入沙盒的原因是网站突然增加了大量的外部连接。

二:炸弹

什么是炸弹?炸弹的意思是通过建立大量的外部连接，锚文本(连接文字)全部为关键字.致使网站强行上升排名。为什么会存在炸弹?因为搜索引擎算法问题，大量的锚文本让引擎误认为某个网站是最符合搜索请求的页面.对于新站来说，定时定量的添加锚文本比一次性大量的添加锚文本更能增加网站的权重。

三:幽灵

什么是幽灵?幽灵指的是新站排名不稳定，忽高忽低的现象。为什么会出现幽灵?这个主要是因为搜索引擎防止作弊造成的。还一个因素就是网站的权重问题。

四:连坐

什么是连坐?连坐是古代一种刑法，在这里指的是被同服务器或IP地址的其他网站牵连。同样也是搜索引擎防止作弊，为了避免链接工厂的泛滥。

五:金三角

金三角指的是google抓取关键字重点位置一般分布在页面左上，呈三角形。

六:快照回档

快照回档是指百度的快照被退回到之前日期的快照。

形成原因：主机空间不稳定，网站首页的改动，友链链接异常，百度算法的调整，优化过度，使用seo作弊手法。

解决办法：

稳定的维护跟更新站内的文章以及站外外链及友情链接排查及时更新调整！

效果

可以让相关关键词排名靠前，满足用户需求

让有需求的人首先找到站长们

提供搜索结果的自然排名，增加可信度

让站长们的网站排名自然靠前，增加网站浏览量，促进网站宣传和业务发展

增加优秀网站的曝光率，提升网页开发的技术

更加方便不懂网络或者知之甚少的人寻找到需要的网络知识

为企业节约网络营销费用

为网站提供生态式的自我营销解决方案

策略

seo的策略主要包括关键词优化、对网站结构和SEO整站优化及SEO整站优化吧内容的优化、注重内链和外链的优化

关键词的优化策略

关键词是搜索引擎优化的核心。关键词的选择对于网站在搜索引擎中排名具有关键作用。对于电子商务网站来说，要求用户能够很容易获取自己想要的信息，而用户一般通过关键词来进行检索，那么为了让搜索引擎读懂电子商务网站的的信息，站长需要对关键词做如下设置：

第一，用组织名称和服务内容名称命名。

第二，关键词中不仅体现能够提供的服务。还要包括产品或者服务能够解决的问题。

第三，要将季节的变化考虑进去。

第四，要把拼写错误和方言俚语考虑进去。

第五，要描述产品和服务的地理位置。对于家政、鲜花礼品、婚庆服务、网站建设尤为重要。

第六，要考虑突发性事件。比如地震，雪灾等。对于“医药”等关键词特别敏感。

第七，要考虑突出节日等等。

2．对网站结构和内容的优化策略

优化网站主要包括：网站结构优化、网站标签优化、网站页面优化，为的是让搜索引擎更容易搜索站长们的网站并且关注站长们想排名靠前的关键词。

3.注重内链和外链的优化策略

超链接将分散的网络连成一个整体，对于搜索引擎来说，一个网页被链接的次数和链接入网页的质量是体现网页重要性的一个非常重要的指标。

作用

1、扩张资本规模

2、优化企业财务结构

3、通过SEO进行资产重组

4、调整产品结构，促进产业升级

5、品牌保护

6、推广（主要作用）

7、为企业节约网络营销费用

重要性

SEO的目的是什么？SEO似乎有点儿搞阴谋的味道，不是吗？

SEO

SEO创建可访问和有用的Web站点，良好的SEO实践会使站点更实用，可访问性更强，而且对搜索引擎更友好。但是，不守规矩的SEO营销企业会运用黑帽SEO技术（垃圾技术），这给SEO带来了坏名声。但是，任何种类的营销都是这种情况：推销产品的方法有好也有坏，而且有时候坏方法更有效——但只是在短期内。

通过黑帽SEO技术欺骗搜索引擎是一条危险的道路，会带来糟糕的用户体验。因此本系列只关注白帽SEO技术。利用白帽SEO技术，您和您的用户都会获益。这是双赢的做法。

SEO对于商业站点至关重要

如果您的业务是在线式的，那么企业的生存就依赖于Web站点受关注的程度。如果人们根本无法找到某个商业站点，又怎么能够从那里买东西呢？而且，问题不仅仅是让潜在顾客找到您的主页并通过站点中的下拉菜单、链接或其他任何东西进行导航。过去，如果您有了一个出色的主索引页，人们就会蜂拥而至，耐心地浏览，直至找到自己所需的信息，但后面已经不再是这种情况了。

对于业务不是在线式的企业，SEO同样很重要。

市场竞争越来越激烈，上网的人群越来越多了，不光是电脑可以上网，手机上网用户越来越多，在网上购物的人也越来越多。

优化排名

编辑

对许多有心最大优化站点附加价值的站长们，可阅读由搜索引擎出版、W3C发布的编码指南。合理有效的遵循该指南，站点频繁地更新有效原创的内容，和创建几个实用、有意义的导入链接，获得相当可观数目的基本搜索流量也不是什么难事。

当站点拥有有用的内容，其它站点员自然而然会链接至该站，进而增加它的网页级别和访客流。当访客发现一个有用的站点，他们倾向于利用电子邮件或者即时消息连结介绍给其它访客。

搜索引擎蜘蛛工作原理

搜索引擎蜘蛛是通过链接地址来寻找网页的。

网站优化

搜索引擎蜘蛛名称随搜索引擎的不同而不同。那它的原理是由一个起始链接开始抓取网页内容，同时也采集网页上的链接，并将这些链接作为它下一步抓取的链接地址，如此循环，直到达到某个停止条件后才会停止。停止条件的设定通常是以时间或是数量为依据，可以通过链接的层数来限制网络蜘蛛的爬取。

同时页面信息的重要性为客观因素决定了蜘蛛对该网站页面的检索。站长工具中的搜索引擎蜘蛛模拟器其实它就是这个原理。基于这蜘蛛工作原理，站长都会不自然的增加页面关键词出现次数，虽然对密度产生量的变化，但对蜘蛛而言并没达到一定的变化。这在搜索引擎优化过程中应该要避免的。

影响因素

由国外37名优秀的SEO界高手共同参与，以投票形式评论影响Google排名的重要因素，此次评选非常有价值，尽管没有将200多个Google排名因素全部列出，但Google排名算法中90%-95%的重要成分已经包含在其中了。

正面因素

排名得分分类详细说明

1关键词

（1）关键词在网站TITLE上的使用

（2）关键词在网页内容上的应用

（3）页面内容和关键词的相关性（语义分析）

（4）关键词在H1标签中的使用

（5）关键词在网站域名中的使用

（6）关键词在页面URL中的使用

（7）关键词在H2、H3等Headline标签中的使用

（8）图片的关键词优化

（9）关键词在MetaDescription中的使用

（10）关键词在MetaKeywords中的使用

2外部链接

（1）外部链接的锚文字

（2）外部链接页面本身的链接流行度

（3）外部链接页面的主题性

（4）外部链接页面在相关主题的网站社区中的链接流行度

（5）链接的年龄

（6）链接的周围文字

（7）同域名下外部链接页面的链接流行度

（8）外部链接的创建和更新时间

（9）外部链接网站域名的特殊性

（10）外部链接网站的PR值

3网站品质

（1）网站的外部链接流行度、广泛度

（2）域名年龄（从被搜索引擎索引开始计算）

（3）网站的外部链接页面内容与关键词的相关性

（4）网站在主题相关的网站群中的链接流行度

（5）网站新外部链接产生的速率

（6）网站收录数量

（7）用户查询的关键词与网站主题的相关性（防止Googlebombing）

（8）用户行为

（9）Google的人工授予权重

（10）域名的特殊性（.e.gov等）

（11）新页面产生的速率

（12）用户搜索网站的次数

（13）网站是否通过GoogleWebmasterCentral的认证

4页面质量

（1）网站内部链接结构

（2）导出链接的质量和相关性

（3）页面的年龄

（4）页面内容的质量

（5）网站的结构层次

（6）URL中“/”符号的出现次数

（7）拼写和语法的正确性

（8）HTML代码是否通过W3C认证

7针对百度的SEO优化

负面因素

排名得分详细说明

1、服务器经常无法响应；

2、与Google已经收录的内容高度重复；

3、链向低质量或垃圾站点；

4、网站大量页面存在重复的META标签；

5、过分堆砌关键词；

6、参与链接工厂或大量出售链接；

7、服务器响应时间非常慢；

8、网页主要META更改频率过高；

9、非常低的流量，用户行为反映差；

10、SEO优化中关键词布局技巧

面试官问:谈谈你对seo的理解,你该怎么回答?

SEO一个工具或者说是一种思路，就是通过关键词排名获取流量的一种手段。

简单点，就是可以通过这种工具，获取关键词排名，获取曝光，获取订单

再多点，就是推而广之，用各种技术去网络获取流量，如百度关键词排名，微博热搜，头条爆文，微信公众号10w+等等，进而获取转化。

搜索引擎的工作原理

搜索引擎基本上是我们打开浏览器第一个要打开的网站，没有之一，别问我为什么，因为我就是这。随着网络发展，网络上产生的内容也越来越多，但是我们怎么才能轻易的看到呢?这就直接的导致了搜索引擎的诞生，我们做seo网络推广，首先得知道它的工作原理，然后才好有针对性的去投其所好，最后达到网站排名的提升。那么它的具体工作原理是什么呢?

搜索引擎的基本工作原理包括如下三个过程：首先在互联网中发现、搜集网页信息;同时对信息进行提取和组织建立索引库;再由检索器根据用户输入的查询关键字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并将查询结果返回给用户。

zac大神的书上是这么写的：爬行和抓取、预处理、排名。

1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫(spider)。爬虫Spider顺着网页中的超链接，从这个网站爬到另一个网站，通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。

2、处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重复网页、分词(中文)、判断网页类型、分析超链接、计算网页的重要度/丰富度等。

3、提供检索服务。用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页;为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。

爬行和抓取：搜索引擎蜘蛛通过跟踪链接爬取网页，获得页面html代码存入数据库。这里的蜘蛛是指搜索引擎用来爬取访问页面的程序，这个程序浏览网路上的页面后，会将浏览记录存入到数据库成为原始数据，一般蜘蛛访问时，首先会访问网站根目录的robots协议文件，了解该网站哪些不能抓取，哪些能抓取。

然后蜘蛛为了抓取更多内容，通常会跟踪网站上的链接，按照深度优先和广度优先爬行网站目录，然后抓取到数据库。

说完蜘蛛，那么问题来了，怎么引蜘蛛?我们最通俗的做法就是去搜索引擎的网站提交入口，将自己的网站提交，以便新站能让蜘蛛快速访问并抓取记录数据到数据库备用。

预处理：这一步是蜘蛛抓取数据后，在数据库中的排列?首先提取文字，然后分词，清除停止词，去处重复，最后按照正向索引和倒序索引排列达到我们看到的排名。

排名的计算方式是：对搜索词处理，对照数据库匹配，初始数据选择，相关性计算，过滤调整到最后的排名。

至此一整套的工作基本结束，我们看着简单，其实真相并不是我们看到的，我们看到的只是表象，因为我们不懂技术，但是我们得了解蜘蛛的这一套抓取排名原理，那么我们在以后的优化中，就可以得心应手了。

搜索引擎的工作原理