robots.txt 规则

合集下载

robots.txt语法详解

robots.txt语法详解一、什么是robots.txt？robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robot s.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

语法：最简单的robots.txt 文件使用两条规则：• User-Agent: 适用下列规则的漫游器• Disallow: 要拦截的网页Allow 允许语法是和Disallow结合起来使用的二、robots.txt使用语法一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

例如：User-agent: *Disallow: /admin/ 后台管理文件Disallow: /require/ 程序文件Disallow: /attachment/ 附件Disallow: /images/ 图片Disallow: /data/ 数据库文件Disallow: /template/ 模板文件Disallow: /css/ 样式表文件Disallow: /lang/ 编码文件Disallow: /script/ 脚本文件允许所有搜索引擎访问网站的所有部分或者建立一个空白的文本文档，命名为robots.txt或者写为User-agent: *Disallow:或者User-agent: *Allow: /禁止所有搜索引擎访问网站的所有部分User-agent: *Disallow: /禁止百度索引你的网站User-agent: BaiduspiderDisallow: /禁止Google索引你的网站User-agent: GooglebotDisallow: /禁止除Google外的一切搜索引擎索引你的网站User-agent: GooglebotDisallow:User-agent: *Disallow: /禁止除百度外的一切搜索引擎索引你的网站User-agent: BaiduspiderDisallow:User-agent: *Disallow: /禁止蜘蛛访问某个目录User-agent: *Disallow: /css/Disallow: /admin/Disallow: /images/Allow: /admin/a.htmlAllow: /admin/b.html允许访问某个目录中的某些特定网址User-agent: *Allow: /css/myAllow: /admin/htmlAllow: /images/indexDisallow: /css/Disallow: /admin/Disallow: /images/使用“*”，限制访问某个后缀的域名（*号来匹配字符序列）例如索引访问admin目录下所有ASP的文件User-agent: *Disallow: /admin/*.asp使用$字符（$匹配结束符）指定与网址的结束字符进行匹配。

百度robots编写规则

百度认可的Robots编写规则一、robots.txt文件的格式"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optional space><value><optional space>"在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。

该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行,详细情况如下：1、User-agent:该项的值用于描述搜索引擎robot的名字。

在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。

如果该项的值设为*，则对任何robot均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。

如果在"robots.txt"文件中，加入"User- agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的Disallow 和Allow行的限制。

2、Disallow:该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。

例如"Disallow:/help"禁止robot 访问/help.html、/helpabc.html、/help /index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。

SEO优化之robots文件的语法介绍及其应用实例

在上面这些搜索引擎蜘蛛别注意。
以上的robots.txt文件可以帮助我们对于搜索引擎的访问做一个限制，这里需要注意的有几个方面。
1、 robots.txt文件必须处于网站根目录下，而且必须命名为robots.txt
2、 robots.txt文件的文件名全部是小写字母，没有大写字母。
3、如果对于robots.txt文件的写法把握不准，那么可以直接放一个空的文本文档，命名为robots.txt即可。
好了，以上我们介绍了robots.txt的写法。这时候有一个问题，有些时候我们会遇到一些实际的特殊情况，那么遇到特殊情况我们应当怎样处理呢？一下就对限制搜索引擎的原标签（META）做一个介绍。
这里需要注意的是，不可把两个对立的反义词写到一起，例如
<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">
或者直接同时写上两句
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
第一种情况：限制网页快照
很多搜索引擎都提供一个网页快照的功能。但是网页快照功能却有很多的弊端，例如事实内容在网页快照中更新不及时、索引网页快照浪费大量的服务器资源等。因此，我们有些时候可能并不需要搜索引擎来索引我们某个页面的网页快照。
解决这样问题的办法很简单，只需要在你的网页元标记中（<head>和</head>之间）放置如下的一段代码。
<META NAME="ROBOTS" CONTENT="NONE">

Robots协议（爬虫协议、机器人协议）

Robots协议（爬⾍协议、机器⼈协议）Robots协议（也称为爬⾍协议、机器⼈协议等）的全称是“⽹络爬⾍排除标准”（Robots Exclusion Protocol），⽹站通过Robots协议告诉搜索引擎哪些页⾯可以抓取，哪些页⾯不能抓取。

____________________________________Robots协议也称为爬⾍协议、爬⾍规则、机器⼈协议，是⽹站国际互联⽹界通⾏的道德规范,其⽬的是保护⽹站数据和敏感信息、确保⽤户个⼈信息和隐私不被侵犯。

“规则”中将搜索引擎抓取⽹站内容的范围做了约定,包括⽹站是否希望被搜索引擎抓取,哪些内容不允许被抓取,⽽⽹络爬⾍可以据此⾃动抓取或者不抓取该⽹页内容。

如果将⽹站视为酒店⾥的⼀个房间,robots.txt就是主⼈在房间门⼝悬挂的“请勿打扰”或“欢迎打扫”的提⽰牌。

这个⽂件告诉来访的搜索引擎哪些房间可以进⼊和参观,哪些不对搜索引擎开放。

____________________________________robots.txt（统⼀⼩写）是⼀种存放于⽹站根⽬录下的ASCII编码的⽂本⽂件，它通常告诉⽹络搜索引擎的漫游器（⼜称⽹络蜘蛛），此⽹站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。

因为⼀些系统中的URL是⼤⼩写敏感的，所以robots.txt的⽂件名应统⼀为⼩写。

robots.txt应放置于⽹站的根⽬录下。

如果想单独定义搜索引擎的漫游器访问⼦⽬录时的⾏为，那么可以将⾃定的设置合并到根⽬录下的robots.txt，或者使⽤robots元数据（Metadata，⼜稱元資料）。

robots.txt协议并不是⼀个规范，⽽只是约定俗成的，所以并不能保证⽹站的隐私。

注意robots.txt是⽤字符串⽐较来确定是否获取URL，所以⽬录末尾有与没有斜杠“/”表⽰的是不同的URL。

robots.txt允许使⽤类似"Disallow: *.gif"这样的通配符[1][2]。

robots.txt文件格式详解

robots.txt⽂件格式详解在说明ROTBOT⽂件的编写语法前先来了解⼏个重要的概念！1. 什么是baiduspider？ baiduspider是Baidu搜索引擎的⼀个⾃动程序。

它的作⽤是访问互联⽹上的html⽹页，建⽴索引数据库，使⽤户能在Baidu搜索引擎中搜索到贵⽹站的⽹页。

　 2. baiduspider为什么⼤量访问我的⽹页？ baiduspider访问您的⽹页后，会⾃动分析每个⽹页上的⽂字内容并记忆⽹页⽹址，然后其它⽹友才能通过百度搜索引擎找到您的⽹页。

如果baiduspider不访问您的⽹页，那么所有通过baiduspider提供⽹页信息的搜索引擎都找不到您的⽹页，也就是说，其它⽹友在百度搜狐新浪雅虎Tom等⼏⼗个搜索⽹站都会找不到您的⽹页。

　您可以到这⾥进⼀步了解搜索引擎。

3. baiduspider对⼀个⽹站服务器造成的访问压⼒如何？对于⼀个⽹站，baiduspider每访问⼀个⽹页会间隔30秒，不会造成过⼤压⼒。

4. 我不想我的⽹站被baiduspider访问，我该怎么做？ baiduspider象其它spider⼀样遵守互联⽹robots协议。

您可以利⽤robots.txt⽂件完全禁⽌baiduspider访问您的⽹站，或者禁⽌baiduspider访问您⽹站上的部分⽂件。

注意：禁⽌baiduspider访问您的⽹站，将使您的⽹站上的所有⽹页，在Baidu搜索引擎以及所有Baidu提供搜索引擎服务的搜索引擎中⽆法被搜索到，包括搜狐、新浪、雅虎、Tom、Lycos等⼏⼗个搜索引擎。

关于robots.txt的写作⽅法，请参看我们的介绍：robots.txt写作⽅法 5. 为什么我的⽹站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。

虽然baiduspider已经停⽌访问您⽹站上的⽹页，但Baidu搜索引擎数据库中已经建⽴的⽹页索引信息，可能需要2到4周才会清除。

robots.txt文件的作用和语法介绍

robots.txt文件的作用和语法介绍1、什么是robots.txt文件搜索引擎有自己的搜索习惯，当它对一个网站进行搜索时，哪些目录和文件要看，哪些不用看，它有自己的算法。

我们也可以自己建立一个robots.txt文件，告诉搜索引擎的机器人哪些可以被收录，哪些不需要收录。

这样可以节约自己网站的资源，提高被搜索引擎收录的效率。

２、robots.txt放置位置robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

３、robots相关语法1)User-agent: 适用下列规则的漫游器(搜索引擎)该项的值用于描述搜索引擎robot的名字。

在robots.txt文件中，如果有多条User-agent 记录，就说明有多个robot会受到robots.txt的限制，对该文件来说，至少要有一条User-agent 记录。

如果该项的值设为*，则对任何robot均有效。

●Google爬虫名称: Googlebot●百度（Baidu）爬虫名称：Baiduspider●雅虎（Yahoo）爬虫名称：Yahoo Slurp●有道（Yodao）蜘蛛名称：YodaoBot●搜狗（sogou）蜘蛛名称：sogou spider●MSN的蜘蛛名称(微软最新搜索引擎Bing蜘蛛名也是这个)：Msnbot２）Disallow: 拒绝访问的目录或文件该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。

例如：Disallow:/seo.html 表示禁止robot访问文件/seo.html３）Allow:允许访问的目录或文件该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。

例如：Allow:/hibaidu/ 表示允许robot访问目录/hibaidu/4)使用通配符"*"和"$"：$ 匹配行结束符。

robots.txt写法大全和robots.txt语法的作用(超详细)

Disallow: /
4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
即可
robots.txt写法如下：
User-agent: Googlebot
Disallow: /
5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
Allow: /
2如果我们禁止所有搜索引擎访问网站的所有部分的话
robots.txt写法如下：
User-agent: *
Disallow: /
3如obots.txt写法访问我们网站的某个目录中的某些特定网址的话
robots.txt写法如下：
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
robots.txt写法如下：
User-agent: *
Disallow: /*?*
有些时候，我们为了节省服务器资源，需要禁止各类搜索引擎来索引我们网站上的图片，这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外，还可以采取直接屏蔽图片后缀名的方式。
示例12
robots.txt写法如下：
User-agent:*
Allow:/*?$
Disallow:/*?
Disallow:/ *?
一行将拦截包含 ? 的网址（具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号 (?)，而后又是任意字符串的网址）。Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址（具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号 (?)，问号之后没有任何字符的网址）。

robots.txt协议

robots.txt协议robots.txt协议是一种让网站管理员告诉搜索引擎哪些页面可以抓取，哪些页面不可以抓取的协议。

这个协议是通过在网站的根目录下放置一个名为robots.txt的文本文件来实现的。

在这个文件中，网站管理员可以指定搜索引擎爬虫访问的权限，以及哪些页面不希望被搜索引擎收录。

这个协议的存在可以帮助网站管理员更好地控制搜索引擎爬虫的行为，从而更好地保护网站的内容和隐私。

robots.txt协议的作用主要有以下几个方面：1. 控制搜索引擎爬虫的访问范围。

通过robots.txt文件，网站管理员可以指定哪些页面可以被搜索引擎爬虫访问，哪些页面不可以被访问。

这样可以避免搜索引擎爬虫访问一些不希望被公开的页面，比如一些内部管理页面或者一些隐私内容。

2. 优化搜索引擎收录。

通过robots.txt文件，网站管理员可以指定哪些页面可以被搜索引擎收录，哪些页面不希望被收录。

这样可以帮助网站管理员更好地控制搜索引擎对网站内容的收录，从而更好地展现网站的核心内容。

3. 保护网站安全。

通过robots.txt文件，网站管理员可以排除一些敏感信息和目录，避免被搜索引擎爬虫访问，从而保护网站的安全。

在编写robots.txt文件时，网站管理员需要注意以下几点：1. 确保robots.txt文件位于网站的根目录下。

搜索引擎爬虫在访问网站时会首先查找robots.txt文件，因此这个文件必须放置在网站的根目录下，以确保搜索引擎爬虫能够正确地读取到这个文件。

2. 使用正确的语法。

robots.txt文件采用了一种特定的语法规则，网站管理员需要按照这种规则编写文件内容，以确保搜索引擎爬虫能够正确地解析和执行这个文件。

3. 定期更新文件内容。

随着网站内容的更新和变化，robots.txt文件的内容也需要相应地进行更新，以确保搜索引擎爬虫能够正确地访问和收录网站的最新内容。

总之，robots.txt协议是网站管理员在管理搜索引擎爬虫行为方面的重要工具，通过合理地编写和使用robots.txt文件，可以更好地控制搜索引擎对网站内容的访问和收录，从而更好地保护网站的内容和隐私，提升网站的安全性和搜索引擎优化效果。

Robots协议的写法

Robots协议的写法Robots协议的写法既然⽹络爬⾍在爬取⼀个⽹站之前，要先获取到这个⽂件，然后解析到其中的规则，那么，Robots就必须要有⼀套通⽤的语法规则。

最简单的robots.txt只有两条规则：User-agent：指定对哪些爬⾍⽣效Disallow：指定要屏蔽的⽹址先说User-agent，爬⾍抓取时会声明⾃⼰的⾝份，这就是User-agent，没错，就是http协议⾥的User-agent。

robots.txt利⽤User-agent来区分各个引擎的爬⾍，⽐如说google⽹页搜索爬⾍的User-agent为Googlebot。

可能有读者要问了，我怎么知道爬⾍的User-agent是什么?你还可以查相关搜索引擎的资料得到官⽅的数据，⽐如说百度的爬⾍列表是这样的：Disallow ⾏列出的是要拦截的⽹页，以正斜线 (/) 开头，可以列出特定的⽹址或模式。

要屏蔽整个⽹站，使⽤正斜线即可;要屏蔽某⼀⽬录以及其中的所有内容，在⽬录名后添加正斜线;要屏蔽某个具体的⽹页，就指出这个⽹页。

下⾯我们来看⼀些Robots的具体写法:允许所有的robot访问User-agent: *Disallow:或者也可以建⼀个空⽂件 "/robots.txt" file。

禁⽌爬⾍访问所有⽬录User-agent: *Disallow: /禁⽌爬⾍访问某些⽬录User-agent: *Disallow: /a/Disallow: /b/Disallow: /c/禁⽌某些爬⾍访问User-agent: BadBotDisallow: /只允许某个爬⾍访问User-agent: MangCrawlerDisallow:User-agent: *Disallow: /我们再来结合两个真实的范例来学习⼀下。

先看这个例⼦：User-agent: BaiduspiderDisallow: /User-agent: baiduspiderDisallow: /这个是淘宝⽹的Robots协议内容，相信你已经看出来了，淘宝⽹禁⽌百度的爬⾍访问。

几个robots.txt文件规则的误区介绍

杭州网站建设杭州seo 杭州网站优化几个robots.txt文件规则的误区介绍前几天杭州seo写了robots.txt的规则误区并介绍百度和Google的robots工具的使用，介绍了几个robots.txt文件的规则的误区，然后发现其实不止那些，还有很多大家没有注意的误区。

今天重新列举一下常见的robots.txt实际使用中的误区：误区1、Allow包含的范围超过Disallow，并且位置在Disallow前面。

比如有很多人这样写：User-agent: *Allow: /Disallow: /mulu/想让所有蜘蛛抓取本站除/mulu/下面的url之外的所有页面，禁止抓取/mulu/下面的所有url。

搜索引擎蜘蛛执行的规则是从上到下，这样会造成第二句命令失效。

也就是说禁止抓取/mulu/目录这条规则是无效的。

正确的是Disallow应该在Allow之上，这样才会生效。

误区2、Disallow命令和Allow命令之后没有以斜杠”/”开头。

这个也很容易被忽视，比如有人这样写Disallow: 123.html ，这种是没有效果的。

斜杠”/”表示的是文件对于根目录的位置，如果不带的话，自然无法判断url是哪个，所以是错误的。

正确的应该是Disallow: /123.html，这样才能屏蔽/123.html这个文件，这条规则才能生效。

误区3、屏蔽的目录后没有带斜杠”/”。

也就是比如想屏蔽抓取/mulu/这个目录，有些人这样写Disallow:/mulu。

那么这样是否正确呢?首先这样写(Disallow: /mulu)确实可以屏蔽/mulu/下面的所有url，不过同时也屏蔽了类似/mulu123.html这种开头为/mulu的所有页面，效果等同于Disallow: /mulu*。

正确的做法是，如果只想屏蔽目录，那么必须在结尾带上斜杠”/”。

本文由杭州网站优化团队整理发布，转载请注明!不孕不育的症状。

关于WordPress的robots.txt文件的那些事-电脑资料

关于WordPress的robots.txt文件的那些事-电脑资料安装完wordpress站点后关于robots.txt文件的书写一直烦恼着很多站长，Robots.txt文件协议又叫搜索引擎机器人协议，搜索引擎爬虫在爬取网站的时候，首先会看网站根目录下是否有robots.txt文件，然后遵循robots.txt协议爬取网站主希望搜索引擎爬取的内容，。

robots.txt文件意在告诉搜索引擎爬虫哪些页面可以爬取，哪些页面不能爬取，可以有效的保护用户的隐私，同时也有利于节省蜘蛛的带宽，从而让蜘蛛爬取更加容易，促进收录。

先来简单的说下robots.txt文件的规则:1、允许所有的搜索引起爬取任何内容User-agent:*Disallow:这个意思就是允许所有的搜索引擎爬取所有的页面，虽然Disallow是不允许的意思，但是后面是放空状态，这意思是没有不允许爬取的页面。

2、屏蔽其中一种或者几种搜索引擎的爬取，以最近比较火的360综合搜索为例User-agent:360spiderDisallow:/User-agent:*Disallow:前两行的意思是不允许360综合搜索蜘蛛爬取任何页面，后面的解释见第一点。

同理，如果除了屏蔽360综合搜索也想屏蔽百度蜘蛛，那就在开头继续添加。

3、不允许搜索引擎抓取其中的某些页面，这边以不允许所有搜索引擎爬取wordpress的管理后台页面为例User-agent:*Disallow:/wp-admin/我们都知道，wordpress的管理后台在根目录下的wp-admin文件夹里面，在disallow后面加上/wp-admin的意思就是不允许搜索引擎蜘蛛爬取。

至于不允许百度爬取后台，允许其他搜索引擎爬取后台，或者不允许360综合搜索爬取后台，允许其他搜索引擎爬取后台等等组合，请参考以上三点内容进行组合。

再来说下wordpress的robots.txt文件书写，其实wordpress 的robots文件很简单，主要看3个要点：1、网站后台不要蜘蛛爬取首先设置不让搜索引擎抓取wordpress后台页面，这几乎是每个站长设置robots.txt文件首要的目的，不仅局限于wordpress，当然，不同的类型网站后台页面所在页面的文件夹名称不一样，电脑资料《关于WordPress的robots.txt文件的那些事》(https://www.)。

robots.txt写法完全攻略

错误11―网络服务器端的错误配置
为什么对robots.txt文件的调用请求会产生一个二进制文件？只有网络服务器或FTP客户端软件错误设置的情况下才可能发生这种错误。建议大家定期检查自己的robots.txt文件(http:/ /robo ts.txt)。
服务器/域名“农场”
错误5―指令行前有空格
例如"Disallow:/cgi-bin/"，虽然RES标准并未对这种格式予以特别说明，但我们对这种格式是持极力反对态度的。同样的问题摆在你面前你冒得起无法被Spiders正确解读的险吗?
错误6--404重定向至另一页面
一般没有robots.txt的网站会将对robots.txt文件的调用请求转至另一页面。这种重定向通常不会产生服务器状态错误或重定向状态信息。然而因为是Spiders自己决定它看到的是robots.txt文件还是一个.html文件。虽然理论上应该不会有什么问题，不过为了保险起见，不妨在你服务器的顶级目录下放一个空的robots.txt文件。在www.go /bot.html下，也提供了相同的建议―“如欲避免网络服务器日志中的出错信息‘找不到文件’，可在其根域下创建一个空的robots.txt文件。”
绝大多数的spiders对上述声明行都无法做出正确的解析，有些Spiders会忽略其空格而解析为/css//cgi-bi n//images/，或只解析/images/或/css/，或者根本不予解析。
正确的语法应为：
Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/
对RES标准的扩展：
尽管已经提出了一些扩展标准，如Allow行或Robot版本控制(例如应该忽略大小写和版本号)，但尚未得到RES工作组的正式批准认可。

robots.txt文件讲解-坏脾气

User-agent: *
Dis片文件可以通过设置robots实现，请参考“robots.txt文件用法举例”中的例10、11、12。
7. robots.txt文件的格式
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~;限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
下面写蜘蛛爬行方向：
disallow标签是禁止爬行
disallow:/
加/就是根目录的意思
也就是说禁止爬行根目录下所有文件
disallow:/news/
禁止爬行news文件夹内文件
disallow:/news/index.html
禁止爬行/news/index.html这个文件
重要的是页面垃圾不要太多，尽量蜘蛛容易抓取，这样提升网站速度会增加很快，比如网站后台的页面和文件，这些都不需要。
************************************
1. 什么是robots.txt文件?
<meta name="spider" content="nofollow">
5. 禁止搜索引擎在搜索结果中显示网页快照，而只对网页建索引
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的<HEAD>部分：

robotstxt限制些什么屏蔽内容与安全性的考虑

网站屏蔽旳安装文件地址，如：Disallow: /install/ 这一般是程序安装文件旳地址，就算我们后台地址更改后一样能分析出是什么程序做出来旳。
屏蔽网站后台登录地址，如：Disallow: /login.asp 这么就明显告诉有心人你旳后台登录地址了。
屏蔽网站隐私内容，如：Disallow: /123.html 也只是针对搜索引擎，对人为我们还是有风险。

其次，为了不告知别人我们旳隐私，那么我们能够在 robots 里用"*"来隐藏我们旳文件名。
robots.txt 文件旳好处刚刚也说了，就是提供搜索引擎蜘蛛看旳，告诉它哪些文件你不要看，不给你旳，这是它旳优点，但是 robots.txt 在告诉搜索引擎蜘蛛旳同步，也在告诉其别人，
这个网站旳隐私，例如：网站后台文件夹地址，相信诸多站长都会在 robots.txt 上面填写，如：Disallow:/dede/ 从这里我们能够看错应该是织梦程序，当然我们能够更改。
robots.txt 屏蔽特殊页面，网站隐私内容旳屏蔽，其实对于一个网站来说，隐私内容比较难实现，在无程序支持旳前提下，
这里说旳隐私是指某些不想被流传到互联网旳内容，屏蔽搜索引擎蜘蛛防止在互联网被泛滥，如：网络培训班培训资料。三、网站特殊文件夹屏蔽
特殊文件夹一般是指，网站程序安装文件，动态功能页面，多于旳文件夹，后台功能等。
一、是否经过 robots.txt 来屏蔽动态页面，降低页面旳反复抓取？
其实个人提议一般网站不必要进行动态页面旳屏蔽，搜索引擎一般会自动判断是否反复，一般网站内容并不是非常多，一般出现反复页面旳可能性也比较低，假如是信息站和论坛站等建议屏蔽动态页面。
二、robots.txt 屏蔽特殊页面，隐私内容旳屏蔽。

robots.txt文件用法举例

1.robots.txt例1.禁止所有搜索引擎访问网站的任何部分User-agent: * Disallow: /例2.允许所有的robot访问(或者也可以建一个空文件"/robots.txt") User-agent: * Disallow:或者User-agent: * Allow: /例3. 仅禁止Baiduspider访问您的网站User-agent: Baiduspider Disallow: /例4. 仅允许Baiduspider访问您的网站User-agent: Baiduspider Disallow:User-agent: * Disallow: /例5. 禁止spider访问特定目录在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot 不会访问这三个目录。

需要注意的是对每一个目录必须分开声明，而不能写成"Disallow: /cgi-bin/ /tmp/"。

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/例6. 允许访问特定目录中的部分url User-agent: * Allow: /cgi-bin/see Allow: /tmp/hi Allow: /~joe/look Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/例7. 使用"*"限制访问url禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

User-agent: * Disallow: /cgi-bin/*.htm例8. 使用"$"限制访问url仅允许访问以".htm"为后缀的URL。

User-agent: * Allow: .htm$ Disallow: /例9. 禁止访问网站中所有的动态页面User-agent: * Disallow: /*?*例10. 禁止Baiduspider抓取网站上所有图片User-agent: Baiduspider仅允许抓取网页，禁止抓取任何图片。

robots协议

robots协议Robots协议（Robots Exclusion Protocol）是一种用于指导网络爬虫在抓取网页时的行为规范。

通过robots.txt文件，网站管理员可以告诉搜索引擎哪些页面可以被抓取，哪些页面不能被抓取。

这个协议对于维护网站的安全和保护用户隐私非常重要。

Robots协议的文件名为robots.txt，一般位于网站的根目录。

文件内容由若干行规则组成，每行规则包含两部分：User-agent和Disallow。

User-agent指定要适用的搜索引擎或爬虫，而Disallow指定哪些页面不希望被抓取。

例如，一个简单的robots.txt文件如下：```User-agent: *Disallow: /private/Disallow: /admin/```这意味着所有搜索引擎和爬虫都不应该抓取网站中以/private/和/admin/开头的页面。

这对于保护网站的敏感信息非常重要，比如用户的私人数据和管理后台。

Robots协议的规则还可以包含通配符。

通配符"*"可以匹配任意字符，可以用来表示一类搜索引擎或爬虫。

例如，下面的规则表示只允许Google抓取网站的所有页面：```User-agent: GooglebotDisallow:```而其他搜索引擎和爬虫则无法抓取任何页面。

另外，Robots协议还可以通过Allow规则来允许某些页面被抓取。

例如，以下规则表示允许所有搜索引擎和爬虫抓取网站的根目录、/public/目录和以.html结尾的页面：```User-agent: *Disallow: /private/Allow: /public/Allow: /*.html$```这个协议的设计初衷是为了使网站管理员能够对搜索引擎爬虫的行为进行控制，而不是用来阻止非法爬虫的访问。

虽然大部分合法的搜索引擎和爬虫会遵守Robots协议，但也有一些不遵守规则的爬虫，它们会忽略robots.txt文件中的限制。

rebots.txt文件的使用

SEO剖析
第二课 rebots.txt文件的使用格式
“robots.txt”文件包含一条或更多的记录，这些记录通过空行分开（以CR， CR/NL, or NL 作为结束符），每一条记录的格式如下所示： “<field>:<optionalspace><value><optionalspace>”。
a) 用 SiteMap 有利于搜索引擎更加友好的对网站进行收录，不要让网站的收录有些漏洞或者收录不全。有了SiteMap 可以很好的在这方面发挥作用。 b) 有了 SiteMap 并提交给搜索引擎之后，方便你在以后进行下一步的工作，比如对网站的外部链接和内链错误进行更好的调整，这些都要用到 SiteMap 的提交功能。
如何辨别搜索引擎身份？
可以通过DNS反向查询找到主机名： Google ：主机名称应包含于域名中，如：； MSN ：主机名称应包含于域名中，如：； Yahoo：主机名称应包含于域名中，如：。
搜索引擎有什么作用？
把真正对用户有用的信息排在搜索结果的前面！
搜索引擎的工作原理
搜索引擎要知道网上的新生事物，就得派人出去收集，每天都有新的网站产生，每天都有网站内容的更新，而且这些产生的网站数量、更新的网站内容是爆炸式的，靠人工是不可能完成这个任务的，所以搜索引擎的发明者就设计了计算机程序，派它们来执行这个任务。探测器有很多叫法，也叫Crawler(爬行器)、spider(蜘蛛)、robot（机器人）。这些形象的叫法是描绘搜索引擎派出的蜘蛛机器人爬行在互联网上探测新的信息，Googl 称为Slurp，无论它们叫什么，它们都是人们编制的计算机程序，由它们不分昼夜的访问各个网站，取回网站的内容、标签、图片等，然后依照搜索引擎的算法给它们定制索引。

搜索引擎的Robots规则以及robots协议写法规则

搜索引擎的Robots规则以及robots协议写法规则robots.txt是一个协议，而不是一个命令。

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。

如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt 文件。

如果将网站视为酒店里的一个房间，robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。

这个文件告诉来访的搜索引擎哪些房间可以进入和参观，哪些房间因为存放贵重物品，或可能涉及住户及访客的隐私而不对搜索引擎开放。

但robots.txt不是命令，也不是防火墙，如同守门人无法阻止窃贼等恶意闯入者。

搜索引擎的Robots规则robots.txt是一种存放于网站根目录下的文本文件，用于告诉搜索引擎的爬虫（spider），此网站中的哪些内容是不应被搜索引擎的索引，哪些是可以被索引。

通常认为，robots.txt文件用来搜索引擎对目标网页的抓取。

robots.txt协议并不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个文件，但也有一些特殊情况。

对于Google来说，使用robots也未必能阻止Google将网址编入索引，如果有其他网站链接到该网页的话，Google依然有可能会对其进行索引。

按照Google的说法，要想彻底阻止网页的内容在Google网页索引中（即使有其他网站链接到该网页）出现，需要使用noindex元标记或x-robots-tag。

例如将下面的一行加入到网页的header部分。

robots.txt规则

robots.txt规则robots.txt是一种文件，用于告诉搜索引擎爬虫哪些页面可以被访问，哪些不可以被访问。

它通常放置于网站的根目录下，即域名后面的第一个文件。

网站管理员可以通过修改robots.txt来控制搜索引擎爬虫的行为，从而保证网站内容的安全和正确性。

下面是robots.txt规则及其解释。

User-agent:Disallow:这是robots.txt文件中最基本的规则，意思是所有的搜索引擎爬虫都不可以访问网站的任何页面。

这个规则的意思是所有的搜索引擎爬虫都不可以访问网站的任何页面。

这个规则通常比较危险，应该只在特殊情况下使用，比如网站被黑或者正在进行重大维护升级等。

这个规则的意思是只限制Google爬虫（googlebot）不能访问网站的/private/目录下的页面。

其他的搜索引擎爬虫依然可以访问这些页面。

User-agent: *Disallow: /admin/Disallow: /cgi-bin/Disallow: /db/Disallow: /includes/Disallow: /modules/Disallow: /tmp/Disallow: /web_services/Disallow: /xmlrpc/这个规则禁止搜索引擎爬虫访问网站的管理员目录、cgi-bin目录、数据库目录、代码包含目录、模块目录、临时文件目录、Web服务目录和XML-RPC目录。

这些目录通常包含的是网站的敏感信息和业务数据，所以要严格控制访问权限。

这个规则是WordPress网站的标准robots.txt规则。

它禁止了Google爬虫访问网站的说明文件、许可证文件、登录页面、XML-RPC文件以及WordPress的后台目录和核心文件目录。

其他的搜索引擎爬虫也可以根据这个规则进行访问控制。

这个规则禁止搜索引擎爬虫访问网站的压缩文件、PDF文件、Word文件、Excel文件、PPT文件和Flash文件。