首页>搜索引擎动态>Robots的基本写法怎么破?如何玩转robots高级玩法

Robots的基本写法怎么破?如何玩转robots高级玩法

2018-07-25来源:http://www.seoteacher.com.cn/
更多

  什么是robots?

  Robots指的是当搜索引擎在访问网站时首先查看的文件,该文件会优先告诉搜索引擎对网站的爬行规则,哪些页面可以爬取,哪些页面不可以爬取。

 

  为什么要用robots?robots的好处

  网站是拥有权重的,网站页面会平分网站的权重,网站的一些页面如联系我们与广告合作等页面对网站优化没有大的效果,可以使用robots来屏蔽网站搜索的抓取和收录。

  robots的基本写法

  1、允许所有搜索引擎访问

  User-agent: *

  Disallow:

  或者

  User-agent: *

  Allow: /

  注意,可以最直接的建一个空文件 “robots.txt”然后放到网站的根目录。

  2、禁止所有搜索引擎访问

  User-agent: *

  Disallow: /

  或者

  User-agent: *

  allow:

  3、禁止所有搜索引擎访问网站中的几个部分,在这里我用a、b、c目录来代替

  User-agent: *

  Disallow: /a/

  Disallow: /b/

  Disallow: /c/

  如果是允许,则是

  Allow: /a/

  Allow: /b/

  Allow: /c/

  4、禁止某个搜索引擎的访问,我用w来代替

  User-agent: w

  Disallow: /

  或

  User-agent: w

  Disallow: /d/*.htm

  在Disallow:后面加 /d/*.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL,包含子目录。

  5、只允许某个搜索引擎的访问,我用e来代替

  User-agent: e

  Disallow:

  在Disallow:后面不加任何东西,意思是仅允许e访问该网站。

  6、使用”$”限制访问url

  User-agent: *

  Allow: .htm$

  Disallow: /

  意思是仅允许访问以”.htm”为后缀的URL

  7、禁止访问网站中所有的动态页面

  User-agent: *

  Disallow: /*?*

  8、禁止搜索引擎F抓取网站上所有图片

  User-agent: F

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .gif$

  Disallow: .png$

  Disallow: .bmp$

  意思是只允许引擎抓取网页,禁止抓取任何图片(严格来说,是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。)

  9、只允许搜索引擎E抓取网页和.gif格式图片

  User-agent: E

  Allow: .gif$

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .png$

  Disallow: .bmp$

  意思是只允许抓取网页和gif格式图片,不允许抓取其他格式图片

  robots使用时的注意点

  Robots文件需要放在网站的根目录下,新建的时候必须是.txt文件,同时网站的文件名必须全部小写,.需要是在英文下形成的。

  如果在网站后台修改了robots文件,需要记得在百度站长后台内部的robots栏目进行检测,确认修改的文件没有问题。

  以上,上海SEO优化的小编为大家讲解了robots优化的基本知识点,了解基础的知识点才能玩转robots高级技巧。

更多
相关新闻