怎么写robots规则 robots全记录

怎么写robots规则robots全记录
by admins on 九.13, 2010, under 其他下载, 网站建设
搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。

您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。

因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。

robots.txt应放置于网站的根目录下。

如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。

Robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。

注意Robots.txt是用字符串比较来确定是否获取URL，所以目录末尾有和没有斜杠“/”这两种表示是不同的URL，也不能用”Disallow: *.gif”这样的通配符。

其他的影响搜索引擎的行为的方法包括使用robots元数据：<meta name=”robots”content=”noindex,nofollow”/> 这个协议也不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个元数据，不索引这个页面，以及这个页面的链出页面
robots.txt文件放在哪里?
robots.txt文件应该放在网站根目录下。

举例来说，当robots访问一个网站（比如）时，首先会检查该网站中是否存在/robots.txt这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

robots.txt的书写规则
用几个最常见的情况，直接举例说明：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。

2. 禁止所有SE收录网站的某些目录：User-agent: * Disallow: /目录名1/ Disallow: /目录名2/ Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度：User-agent: Baiduspider Disallow: /
4. 禁止所有SE收录本站：User-agent: * Disallow: /
5. 加入sitemap.xml路径,例如：Sitemap: /sitemap.xml
robots.txt文件的格式:
“robots.txt”文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：”<field>:<optionalspace><value><optionalspace>”。

在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。

该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：User-agent: 该项的值用于描述搜索引擎robot的名字，在”robots.txt”文件中，如果有多条User-agent 记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。

如果该项的值设为*，则该协议对任何机器人均有效，在”robots.txt”文件中，”User-agent:*”这样的记录只能有一条。

Disallow: 该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot 访问到。

例如”Disallow:/help”对/help.html 和/help/index.html都不允许搜索引擎访问，而”Disallow:/help/”则允许robot访问/help.html，而不能访问/help/index.html。

任何一条Disallow 记录为空，说明该网站的所有部分都允许被访问，在”/robots.txt”文件中，至少要有一条Disallow记录。

如果”/robots.txt”是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。

Allow: 该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。

例如”Allow:/hibaidu”允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。

一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。

需要特别注意的是Disallow与Allow行的顺序是有意义的，robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。

使用”*”和”$”：robots支持使用通配符”*”和”$”来模糊匹配url：”$”匹配行结束符。

”*”匹配0或多个任意字符。

常见Robots名字
google蜘蛛：googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
altavista蜘蛛：scooter
lycos蜘蛛：lycos_spider_(t-rex)
alltheweb蜘蛛：fast-webcrawler/
inktomi蜘蛛：slurp
最后需要注意，robots.txt文件名必须是小写，而且放在网站根目录，比如：/robots.txt
本文来源-未满分的第三世界原文链接：/?p=334。