robots协议

网站基础优化有很多，其中robots协议就是其中之一，今天就来谈谈百度robots协议解析，关于robots协议写法的相关问题。写好robots协议文件有助于我们的网站更快的收录及保护好网站。

 

一、什么是robots协议？

 

它是给于网站与蜘蛛之间的一种协议文件，所以其也可以称之为爬虫协议或者机器人协议。而百度站长平台给出的官方叫法是“网络爬虫排除标准”，通过这个文件网站管理员可以规定蜘蛛来到网哪里可以爬取，哪里不能爬取。

 

二、robots协议的意义

 

整个网站是由网站内容，程序，数据库信息等等相关的组合在一起搭建起来的，而网站里面的东西不是什么都需打百度蛛蛛爬取收录的，有的东西不能让其收录，如网站后台地址、登录信息，网站模板文件等等，这些东东西如果被蜘蛛爬收录了，不仅会降低网站排名的收录页面得分，还会泄露网站重要信息。

 

为了避免这一情况的出现，robots协议就在中间起到了重要的作用。

 

三、robots协议文件的格式及写法

 

User-agent:

 

该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。

 

如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent：*"这样的记录只能有一条。

 

一般都是用"User-agent：*"，允许所有引擎蜘蛛到网站收录页面。

 

Disallow :

 

该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。

 

例如：

 

"Disallow: /help"

对/help.html和/help/index.html都不允许搜索引擎访问，

 

而"Disallow:/help/"

则允许robot访问/help.html，而不能访问/help/index.html。

 

任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在"robots.txt"文件中，至少要有一Disallow记录。

 

如果"robots.txt"是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。

 

四、robots.txt文件放在哪里?

 

robots协议应该放在网站根目录下面，当蜘蛛来了网站时第一时间是查看robots文件协议，然后会根据这个文件的协议规则来对网站内容进行爬取及收录页面。

 

关于robots写法具体可以查看《robots协议规则大全》