robots怎么写

Robots文件是SEO很重要的一部分，是一个网站优化首先必备的，也是我们与搜索引擎蜘蛛对话的一个“桥梁”，那么如何设置好robots文件显得至关重要，我们都知道蜘蛛来访问一个网站的时候，首先访问的是你网站根目录下robots文件，根据协议给出的权限来抓取一个网站，若没有，就代表搜索引擎能够抓取任何内容，所以协议的写法也是一把优化的利器。

以下以我博客站作为一个简单的说明：
1、User-agent： *
这是一个通配符，用来说明适合所有的蜘蛛都能抓取，若是只是准许某个蜘蛛抓取，将通配符换成其他蜘蛛的符号就可以了。

2、Disallow： /wp-admin/
Disallow： /wp-content/
Disallow： /wp-includes/
屏蔽蜘蛛抓取网站的程序文件，同时也能够节奏资源，让蜘蛛抓取有用的资源。

3、Disallow： /?s=*
Disallow： /*/?s=*
这个就不用解释了，屏蔽捉取站内搜索结果。

站内没出现这些链接不代表站外没有，如果收录了会造成和TAG等页面的内容相近。

4、Disallow： /*.jpg$
Disallow： /*.jpeg$
Disallow： /*.gif$
Disallow： /*.png$
Disallow： /*.bmp$
屏蔽捉取任何图片文件，在这里主要是想节约点宽带，不同的网站管理员可以按照喜好和需要设置这几条指令。

5、Disallow： /a/date/
Disallow： /a/author/
Disallow： /a/category/
Disallow： /?p=*&preview=true
Disallow： /?page_id=*&preview=true
Disallow： /wp-login.php
屏蔽其他的一些形形色色的链接，a目录下面的都是一些网站后台文件，不要让蜘蛛去抓取，避免造成重复内容和隐私问题。

最后在协议的最后可以写上Sitemap:http://***.com/sitemap.xml
用来告知蜘蛛我们的网站地图，更加有利于蜘蛛抓取我们网站的内容，设置完成后，我们可以百度站长平台监测下robots协议设置的是否正确。