seo搜索引擎停止抓取(搜索引擎限制抓取怎么办)

如何不让搜索引擎抓取网站的隐私内容

什么是robots协议？

1.robots.txt是什么？

有没有想过，如果我们某个站点不让百度和google收录，那怎么办？

搜索引擎已经和我们达成一个约定，如果我们按约定那样做了，它们就不会去收录。这个写约定的的文件命名为:robots.txt。robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页可以收录，哪些不允许收录。

如果你的站点对所有搜索引擎公开，则不用做这个文件或者robots.txt为空就行。

2.Robots.txt文件怎么写

robots.txt文件的格式：

User-agent：定义搜索引擎的类型

Disallow：定义禁止搜索引擎收录的地址

Allow：定义允许搜索引擎收录的地址

一般情况下，robots.txt里只写着两个函数：User-agent和Disallow，至少要有一个Disallow函数，如果都允许收录，则写:Disallow:，如果都不允许收录，则写:Disallow:/（注：只是差一个斜杆）。在文件中只写出要屏蔽的蜘蛛就可以了，允许爬行的蜘蛛就不用写出来了。并且，有几个禁止，就得有几个Disallow函数，要分行描述。

例1.禁止所有搜索引擎访问网站的任何部分

User-agent:*（注：*是一个通配符，在这里指所有的搜索引擎种类）

Disallow:/

例2.禁止某个搜索引擎的访问

User-agent:BadBot

Disallow:/

例3.允许某个搜索引擎的访问

User-agent:Baiduspider

allow:/

例4.容许搜索引擎访问特定目录中的网页

User-agent:

Allow：/目录1/目录2（容许访问目录2中的网页）

Allow：/目录3/目录4（容许访问目录4中的网页）

Allow：/目录5/目录6（容许访问目录6中的网页）

Disallow：/目录1/

Disallow：/目录3/

Disallow：/目录5/

特别提示：robots里面内容的大小写不可更改，Disallow后面的冒号必须为英文状态的。

3.Robots.txt文件应放在哪里？

robots.txt文件必须放在网站的根目录下，必须命名为：robots.txt，都是小写，robot后面加"s"。放在子目录的robots.txt文件搜索引擎不能爬取到，所以不会起任何作用。

例子：

http://www.cncn.com/robots.txt

有效

http://www.cncn.com/bbs/robots.txt

无效

4.生效时间

robots.txt文件一般生效时间为7-15天，即1-2周。如果新网站源码中包含robots.txt文件，那样蜘蛛进行爬行时就会生效，如果是后来添加的，那样蜘蛛需要对数据进行更新，时间一般在7-15天。

5.关于robots.txt一般站长需要注意以下几点：

1.）网站上经常存在这种情况：不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。

2.）网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。

3.）一些没有关键词的页面，比如站内的搜索结果页面屏蔽掉更好

4.）网站中的脚本程序、样式表等文件即使被蜘蛛收录，也不会增加网站的收录率，还只会占用服务器存储空间。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引脚本程序、样式表等文件。

5.）搜索蜘蛛抓取网页太浪费服务器资源，在robots.txt文件中设置所有的搜索蜘蛛都不能抓取全部的网页。如果这样的话，会导致整个网站不能被搜索引擎收录。

SEO:搜索引擎一直不收录网站怎么办?

按照夫唯老师以下十个方法能够让网站快速收录：

1.保持规律更新

2.保持原创度和内容长度

3.站上添加最新发布模块/最新更新模块

4.已收录页面锚文本给未收录页面

5.绑定熊掌号（针对百度）

6.主动推送

7.sitemap提交

8.未收录页面的链接展示在首页一段时间

9.站外给未收录页面引蜘蛛

10.抓取诊断（针对百度）

SEO禁止抓取太泛是什么意思

主要意思是：网站关键词设置不要太宽泛。

成熟的搜索引擎网站都没有固定的搜索算法与规则，确认的网站关键词一定是和你的站点高度有关的,况且网站关键词的搜索频率要高。如果关键词设置过于宽泛，搜索引擎无法判断该站点的有效信息到底是指什么，那么网站权重不会高，严重的还会被搜索引擎判定为作弊，对该站点做出降权的惩罚动作