robots怎么写

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

Robots文件是SEO很重要的一部分,是一个网站优化首先必备的,也是我们与搜索引擎蜘蛛对话的一个“桥梁”,那么如何设置好robots文件显得至关重要,我们都知道蜘蛛来访问一个网站的时候,首先访问的是你网站根目录下robots文件,根据协议给出的权限来抓取一个网站,若没有,就代表搜索引擎能够抓取任何内容,所以协议的写法也是一把优化的利器。

以下以我博客站作为一个简单的说明:
1、User-agent: *
这是一个通配符,用来说明适合所有的蜘蛛都能抓取,若是只是准许某个蜘蛛抓取,将通配符换成其他蜘蛛的符号就可以了。

2、Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
屏蔽蜘蛛抓取网站的程序文件,同时也能够节奏资源,让蜘蛛抓取有用的资源。

3、Disallow: /?s=*
Disallow: /*/?s=*
这个就不用解释了,屏蔽捉取站内搜索结果。

站内没出现这些链接不代表站外没有,如果收录了会造成和TAG等页面的内容相近。

4、Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
屏蔽捉取任何图片文件,在这里主要是想节约点宽带,不同的网站管理员可以按照喜好和需要设置这几条指令。

5、Disallow: /a/date/
Disallow: /a/author/
Disallow: /a/category/
Disallow: /?p=*&preview=true
Disallow: /?page_id=*&preview=true
Disallow: /wp-login.php
屏蔽其他的一些形形色色的链接,a目录下面的都是一些网站后台文件,不要让蜘蛛去抓取,避免造成重复内容和隐私问题。

最后在协议的最后可以写上Sitemap:http://***.com/sitemap.xml
用来告知蜘蛛我们的网站地图,更加有利于蜘蛛抓取我们网站的内容,设置完成后,我们可以百度站长平台监测下robots协议设置的是否正确。

相关文档
最新文档