robots.txt文件代码说明实例

合集下载

Robots.txt标准制作方法

$通配符 - 匹配 URL 结尾的字符。如下面代码将允许蜘蛛访问以.htm 为后缀的 URL： User-agent: * Allow: .htm$ *通配符 - 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有 htm 文件： User-agent: * Disallow: /*.htm Sitemaps 位置 - 告诉蜘蛛你的网站地图在哪里，格式为： Sitemap: 三家都支持的 Meta 标签包括： NOINDEX - 告诉蜘蛛不要索引某个网页。 NOFOLLOW - 告诉蜘蛛不要跟踪网页上的链接。 NOSNIPPET - 告诉蜘蛛不要在搜索结果中显示说明文字。
NOARCHIVE - 告诉蜘蛛不要显示快照。 NOODP - 告诉蜘蛛不要使用开放目录中的标题和说明。上面这些记录或标签，现在三家都共同支持支持的 Meta 标签有： UNAVAILABLE_AFTER 告诉蜘蛛网页什幺时候过期。在这个日期之
Robots.txt 标准制作方法
一个网站，可以有 Robots.txt 标准，也可以没有。但是如果要有，那就必须做的规范，下面就个人经验来说下 robots.txt 的制作方法。 robots.txt 文件命令包括： Disallow - 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件： User-agent: * Disallow: / Allow - 告诉蜘蛛应该抓取某些文件。Allow 和 Disallow 配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取 ab 目录下其他文件，而只抓取其中 cd 下的文件： User-agent: * Disallow: /ab/ Allow: /ab/cd
后，不应该再出现在搜索结果中。 NOIMAGEINDEX - 告诉蜘蛛不要索引页面上的图片。 NOTRANSLATE - 告诉蜘蛛不要翻译页面内容。雅虎还支持 Meta 标签： Crawl-Delay - 允许蜘蛛延时抓取的频率。 NOYDIR - 和 NOODP 标签相似，但是指雅虎目录，而不是开放目录。 Robots-nocontent - 告诉蜘蛛被标注的部分 html 不是网页内容的一部分，或

Robots文件的应用(古怪科技)

Robots.txt文件告诉搜索引擎哪些页面是可以被收录的哪些是不可以被收录的。

如果您不想让搜索引擎收录某些页面，请用robots.txt文件制定搜索引擎在你网站的抓取范围。

所以Robots的写置是优化网站所必须的。

Robots.Txt文件的设置：了解robots先从百度开始：下面是百度的robots：/robots.txtUser-agent: Baiduspider (蜘蛛类型：Baiduspider为百度蜘蛛只对百度蜘蛛有效)Disallow: /baidu (限定蜘蛛不能爬取的目录，也可以是页面)User-agent: * (这里就是代表所有蜘蛛的一个限定)Disallow: /shifen/Disallow: /homepage/Disallow: /cpro从以上的百度robots简单了解到，robots.txt能够屏蔽蜘蛛访问特定的目录，方法就是Disallow: /目录名。

改方法是屏蔽此目录包含子目录的所有文件，当然如果子目录不屏蔽，我们可以使用Disallow: /目录名/,我们发现robots.txt一个简单的/ 所起到的作用却截然不同，所以在我们书写robots.txt 的时候一定不能大意，写完后要反复检查或者交站长工具检测。

下面介绍几种特殊写法，用于不同情况：①屏蔽动态页面：Disallow: /*?* Robots检测解释：禁止所有引擎抓取网站所有动态页面这个应该很容易理解，/*?* 表示网站任何带?的url链接，我们知道这种链接一般就是动态页面，鉴于网站静态化处理过的网站完全可以通过屏蔽动态页面来避免出现重复页面，当然如果是数据库驱动的网站，而没有做静态或伪静态处理的网站，就不必要做此特殊处理了。

②屏蔽特殊后缀的文件例如：Disallow: /*.php$ Robots检测解释：禁止所有引擎抓取网站后缀为并且包含。

php的文件$代表以什么后缀结束，介绍符号。

我们可以通过此方法来屏蔽css文件甚至js文件，当然目前我们不是很清楚蜘蛛对于js爬取情况，有朋友做过类似测试的或者查看过日志文件朋友可以分享下。

【2018-2019】robots.txt范例word版本 (14页)

本文部分内容来自网络整理，本司不为其真实性负责，如有异议或侵权请及时联系，本司将立即删除！== 本文为word格式，下载后可方便编辑和修改！ ==robots.txt范例篇一：Robots.txt文件是什么有什么用Robots.txt文件是什么有什么用1、Robots.txt文件是什么首先SEO博客要和大家弄清楚robots.txt的概念问题，带有txt后缀的文件是纯文本文档，robots是机器人的意思，也就是说，robots.txt文件是给搜索引擎蜘蛛看的纯文本文件。

它告诉搜索引擎哪些网页允许抓取、索引并在搜索结果中显示，哪些网页是被禁止抓取的。

搜索引擎蜘蛛来访问你的网站页面的，首先会查看网站根目录下是否有robots.txt文件，robots.txt文件就是起到这个作用的。

我们都知道淘宝网是屏蔽百度的，靠的就是robots.txt文件。

文件是这样书写的：User-agent: BaiduspiderDisallow: /User-agent: baiduspiderDisallow: /2. robots.txt的作用通过设置屏蔽搜索引擎，使之不必要页面被收录，可以大大降低抓取页面所占用的网站带宽，大型网站尤为明显了。

设置robots.txt文件可以指定某个搜索引擎不去索引不想被收录的URL，比如我们通过url重写将动态URL静态化为永久固定链接，就可以通过robots.txt设置权限，阻止某些搜索引擎索引那些动态网址，网站重复页面将减少，有利于SEO优化。

3. robots.txt 怎么写下面以WordPress博客来作举例。

如robots.txt文件里写入以下代码： User-agent: *Disallow:Allow: /robots.txt写法中应该注意的几点。

1、robots.txt必须上传到网站根名录下，不能放在子目录下；2、robots.txt，Disallow等必须注意大小写，不能变化；3、User-agent，Disallow等后面的冒号必须是英文状态下的。

robots.txt的语法和写法详解

robots.txt的语法和写法详解robots.txt是⼀个纯⽂本⽂件，是搜索引擎蜘蛛爬⾏⽹站的时候要访问的第⼀个⽂件，当蜘蛛访问⼀个站点时，它会⾸先检查该站点根⽬录下是否存在robots.txt，如果存在，搜索机器⼈就会按照该⽂件中的内容来确定访问的范围，相当于⽹站与搜索引蜘蛛遵循协议，如果该⽂件不存在，所有的搜索蜘蛛将能够访问⽹站上所有没有被屏蔽的⽹页，作为站长，我们就可以通过robots.txt⽂件屏蔽掉错误的页⾯和⼀些不想让蜘蛛爬取和收录的页⾯，那么robots.txt该怎么样写呢? robots的语法： 1、User-agent 定义搜索引擎。

⼀般情况下，⽹站⾥⾯都是：User-agent: *，这⾥*的意思是所有，表⽰定义所有的搜索引擎。

⽐如，我想定义百度，那么就是User-agent: Baiduspider;定义google，User-agent: Googlebot。

2、Disallow 禁⽌爬取。

如，我想禁⽌爬取我的admin⽂件夹，那就是Disallow: /admin/。

禁⽌爬取admin⽂件夹下的login.html， Disallow: /admin/login.html。

3、Allow 允许。

我们都知道，在默认情况下，都是允许的。

那为什么还要允许这个语法呢?举个例⼦：我想禁⽌admin⽂件夹下的所有⽂件，除了.html的⽹页，那怎么写呢?我们知道可以⽤Disallow⼀个⼀个禁⽌，但那样太费时间很精⼒了。

这时候运⽤Allow就解决了复杂的问题，就这样写： Allow: /admin/.html$ Disallow: /admin/。

4、$ 结束符。

例：Disallow: .php$ 这句话的意思是，屏蔽所有的以.php结尾的⽂件，不管前⾯有多长的URL，如abc/aa/bb//index.php 也是屏蔽的。

5、* 通配符符号0或多个任意字符。

例：Disallow: *?* 这⾥的意思是屏蔽所有带“?”⽂件，也是屏蔽所有的动态URL。

SEO优化之robots文件的语法介绍及其应用实例

在上面这些搜索引擎蜘蛛别注意。
以上的robots.txt文件可以帮助我们对于搜索引擎的访问做一个限制，这里需要注意的有几个方面。
1、 robots.txt文件必须处于网站根目录下，而且必须命名为robots.txt
2、 robots.txt文件的文件名全部是小写字母，没有大写字母。
3、如果对于robots.txt文件的写法把握不准，那么可以直接放一个空的文本文档，命名为robots.txt即可。
好了，以上我们介绍了robots.txt的写法。这时候有一个问题，有些时候我们会遇到一些实际的特殊情况，那么遇到特殊情况我们应当怎样处理呢？一下就对限制搜索引擎的原标签（META）做一个介绍。
这里需要注意的是，不可把两个对立的反义词写到一起，例如
<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">
或者直接同时写上两句
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
第一种情况：限制网页快照
很多搜索引擎都提供一个网页快照的功能。但是网页快照功能却有很多的弊端，例如事实内容在网页快照中更新不及时、索引网页快照浪费大量的服务器资源等。因此，我们有些时候可能并不需要搜索引擎来索引我们某个页面的网页快照。
解决这样问题的办法很简单，只需要在你的网页元标记中（<head>和</head>之间）放置如下的一段代码。
<META NAME="ROBOTS" CONTENT="NONE">

Robots写法

Robots写法搜索引擎Robots协议，是放置在网站根目录下robots.txt文本文件，在文件中可以设定搜索引擎蜘蛛爬行规则。

设置搜索引擎蜘蛛Spider抓取内容规则。

下面Seoer惜缘举例robots写法规则与含义：首先要创建一个robots.txt文本文件，放置网站的根目录下，下面就开始编辑设置Robots协议文件：一、允许所有搜索引擎蜘蛛抓取所以目录文件，如果文件无内容，也表示允许所有的蜘蛛访问，设置代码如下：User-agent: *Disallow:或者User-agent: *Allow: /二、禁止某个搜索引擎蜘蛛抓取目录文件，设置代码如下：User-agent: MsnbotDisallow: /例如想禁止MSN的蜘蛛抓取就设为，Msnbot代表MSN的蜘蛛，如果想禁止其他搜索引擎就更换蜘蛛名字即可，其他蜘蛛名字如下：百度的蜘蛛：baiduspiderGoogle的蜘蛛：Googlebot腾讯Soso:SosospiderY ahoo的蜘蛛：Y ahoo SlurpMsn的蜘蛛：MsnbotAltavista的蜘蛛：ScooterLycos的蜘蛛：Lycos_Spider_(T-Rex)三、禁止某个目录被搜索引擎蜘蛛抓取，设置代码如下：User-agent: *Disallow: /目录名字1/Disallow: /目录名字2/Disallow: /目录名字3/把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取，目录名字未写表示可以被搜索引擎抓取。

四、禁止某个目录被某个搜索引擎蜘蛛抓取，设置代码如下：User-agent: 搜索引擎蜘蛛名字说明(上面有说明蜘蛛的名字)Disallow: /目录名字/ 说明(这里设定禁止蜘蛛抓取的目录名称)例如，想禁目Msn蜘蛛抓取admin文件夹，可以设代码如下：User-agent: MsnbotDisallow: /admin/五、设定某种类型文件禁止被某个搜索引擎蜘蛛抓取，设置代码如下:User-agent: *Disallow: /*.htm 说明(其中“.htm”，表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)六、充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取，设置代码如下: User-agent: *Allow: .htm$ 说明(其中“.htm”，表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件) 七、只充许某个搜索引擎蜘蛛抓取目录文件，设置代码如下：User-agent: 搜索引擎蜘蛛名字说明(上面有说明蜘蛛的名字)Disallow:。

SEO中Robots文件的使用介绍

SEO中Robots文件的使用介绍搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为robots.txt的文本文件，robots.txt用于指令搜索引擎禁止抓取网站某些内容或指定允许抓取某些内容，如百度的robots文件位于：（/robots.txt）只有在需要禁止抓取某些内容时，写robots.txt才有意义。

Robots文件不存在或者是空文件都意味着允许搜索引擎抓取所有内容。

有的服务器设置有问题。

Robots文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这有可能使搜索引擎错误解读robots文件信息，所以建议就算允许抓取所有内容，也要建一个空的robots.txt文件，放在你的网站的根目录下。

Robots文件由记录组成，记录记录之间以空行分开，记录格式为：<域名>：<可选空格><域值><可选空格>最简单的robots文件：User-agent:*Disallow:/以上这个robots文件的意思是禁止所有搜索引擎抓取任何文章内容。

User-agent:指定下面的贵州适用于那个蜘蛛。

通配符“*”代表所有搜索引擎，只适用于百度蜘蛛则用：User-agent:Baiduspider只适用于谷歌蜘蛛则用：User-agent:GooglebotDisallow:是告诉蜘蛛不要抓取某些文件或目录。

Disallow:禁止的目录或者文件必须分开写，每一个行，不能写成: Disallow: /cgi-bin/ /tmp/ /aa/index.html下面的指令相当于允许所有搜索引擎抓取任何内容：User-agent:*Disallow:Allow:告诉蜘蛛应该抓取某些文件，由于不指定就是允许抓取，Allow:单独写没有意义，Allow和Disallow配合使用可以告诉蜘蛛某个目录下大部分不允许抓取，知允许抓取一部分。

$通配符：匹配URL结尾字符。

SEO的Robots.txt文件设置

Robots.txt文件设置首先在这里给大家介绍一下Robots.txt文件的具体写法 1）允许所有搜索引擎访问User-agent:*Disallow:或User-agent:*Allow:/2）禁止所有搜索引擎访问User-agent:*Disallow:/或User-agent:*Allow:3）禁止所有搜索引擎访问网站中胡几个部分在这里用a.b.c目录来代替User-agent:*Disallow:/a/Disallow:/b/Disallow:/c/如果是允许，则是Allow:/a/Allow:/b/Allow:/c/4）禁止某个搜索引擎的访问User-agent：w（比如用w代替某个搜索引擎）Disallow：/或User-agent：wDisallow：/d/*.htm在Disallow：后加/d/.htm的意思是禁止/d/目录下所有以“。

htm”为后缀的URL，包含子目录。

5）只允许某个搜索引擎的访问User-agent：e（用e代替）Disallow：在Disallow：后不加任何东西，意思是仅允许e访问该网站6）使用“$”限制访问urlser-agent：*Allow：。

html$Disallow:/意思是仅允许访问以“。

htm”为后缀的url7）禁止访问网站中所有的动态页面User-agent：*Disallow：/*?*8）禁止搜索引擎F抓取网站上所有图片User-agent：*Disallow：。

jpg$Disallow：。

jpeg$Disallow：。

gif$Disallow：。

png$Disallow：。

bmp$意思是只允许搜索引擎抓取网页，禁止抓取任何图片（严格来说，是禁止抓取jpg、jpeg、gif、png、bmp格式的图片9）只允许搜索引擎E抓取网页和。

gif格式图片User-agent:EAllow:gif$Disallow:jpg$Disallow:png$意思是只允许抓取网页和gif格式图片，不允许抓取其他格式图片第一步：新建一个txt文档—命名为：Robost.txt—在文档里写入User-agent:*Disallow:（注：这里的意思是允许所有的搜索引擎访问所有的文件）第二步：连接FXP软件，将Robots文件夹上传到根目录里，（提示：如果你的根目录里已经有了Robots文件，就得先要备份，再进行上传。

robots.txt文件如何制作

看google AdSense时，发现今天的点击不知道为什么被清0了。

查看了下建议，发现需要我做个robots。

好吧，为了我的美刀，同时也为了让spider不收录我的一个页面，我做了个robots。

User-agent:*
Disallow:/index.php/about
Disallow:/index.php/search.html
Disallow:/index.php/tag
Disallow:/?cat=
Disallow:/index.php/category
怎么用的呢？
在robots.txt文件中包含三条代码：
User-agent:
Disallow:
Allow:
User-agent后面为spider的名字，“*”说明希望phpdo被所有的spider抓取；Disallow后面跟的是不允许spider访问的目录；
Allow为允许spider访问的目录，一般情况下不用写。

如果我脑袋犯晕，不想phpdo被蜘蛛抓取怎么办？
User-agent:*
Disallow:/
如果我又不想网站被baidu抓取怎么办？
User-agent:Baiduspider
Disallow:/
没有谁会这么傻的，不是吗?
如果只允许baiduspider抓取，该怎么设计呢？
User-agent:Crawler
Disallow:
User-agent:*
Disallow:/
不知道，广告的收入能达到多少呢。

期待啊。

lvny工具文档Robots

网站工具Robots.txt 是存放在站点根目录下的一个纯文本文件。

虽然它的设置很简单，但是作用却很强大。

它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。

使用方法:Robots.txt 文件应该放在网站根目录下，并且该文件是可以通过互联网进行访问的。

例如：如果您的网站地址是 /那么，该文件必须能够通过/robots.txt 打开并看到里面的内容。

格式：User-agent:用于描述搜索引擎蜘蛛的名字，在" Robots.txt "文件中，如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。

如果该项的值设为*，则该协议对任何搜索引擎蜘蛛均有效，在" Robots.txt "文件中，"User-agent:*"这样的记录只能有一条。

Disallow:用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被Robot访问到。

举例：例一："Disallow:/help"是指/help.html 和/help/index.html都不允许搜索引擎蜘蛛抓取。

例二："Disallow:/help/"是指允许搜索引擎蜘蛛抓取/help.html，而不能抓取/help/index.html。

例三：Disallow记录为空说明该网站的所有页面都允许被搜索引擎抓取，在"/robots.txt"文件中，至少要有一条Disallow记录。

如果"/robots.txt"是一个空文件，则对于所有的搜索引擎蜘蛛，该网站都是开放的可以被抓取的。

#:Robots.txt 协议中的注释符。

综合例子：例一：通过"/robots.txt"禁止所有搜索引擎蜘蛛抓取"/bin/cgi/"目录，以及 "/tmp/"目录和 /foo.html 文件，设置方法如下：User-agent: *Disallow: /bin/cgi/Disallow: /tmp/Disallow: /foo.html例二：通过"/robots.txt"只允许某个搜索引擎抓取，而禁止其他的搜索引擎抓取。

robots.txt写法大全和robots.txt语法的作用(超详细)

Disallow: /
4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
即可
robots.txt写法如下：
User-agent: Googlebot
Disallow: /
5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
Allow: /
2如果我们禁止所有搜索引擎访问网站的所有部分的话
robots.txt写法如下：
User-agent: *
Disallow: /
3如obots.txt写法访问我们网站的某个目录中的某些特定网址的话
robots.txt写法如下：
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
robots.txt写法如下：
User-agent: *
Disallow: /*?*
有些时候，我们为了节省服务器资源，需要禁止各类搜索引擎来索引我们网站上的图片，这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外，还可以采取直接屏蔽图片后缀名的方式。
示例12
robots.txt写法如下：
User-agent:*
Allow:/*?$
Disallow:/*?
Disallow:/ *?
一行将拦截包含 ? 的网址（具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号 (?)，而后又是任意字符串的网址）。Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址（具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号 (?)，问号之后没有任何字符的网址）。

robots.txt写法

/
User-agent: googlebot
Disallow: /
6、阻止搜索引擎访问网站中全部的动态页面（动态页面便是URL中任何带有“？”的页面）
User-agent: *
Disallow: /*?*
7、仅仅容许搜索引擎访问某一特定文件后缀形式的网页。
7、要是你不想自己动手写robots.txt文件，那么请Google帮你写。登录Google平台，有生成robots.txt文件的。
8、
User-agent: *
Disallow: /
这种格式不但仅是阻止抓取页面，更主要的是你的网站被收录了，然后又把robots.txt文件修改成以上格局，那么你的网站将在搜索引擎中被删除，整个地删除。
5、robots.txt通常在某个分目录中还可以存在，但是要是与顶级目录中的robots.txt有不同，则以顶级目录中robots.txt为准。
6、仅当您的网站包括不希望被搜索引擎收录的内容时，才要利用robots.txt文件。要是您希望搜索引擎收录网站上全部内容，请勿创建 robots.txt文件，不要创建一个内容为空的robots.txt文件。这一点通常被人们马虎，实际上创建空的robots.txt文件对搜刮引擎非常不友好。
Allow: /
3、要是你网站的某个目录不想被搜索引擎收录，写法如下：
User-agent: *
Disallow: /目录名称1/
Disallow: /目录名称2/
Disallow: /目录名称3/
过细：不能写成Disallow: /目录名称1/ /目录名称2/ 这样的情势，每个目录要单独另起一行特别阐明。
robots.txt写法

网站robots_txt的详细写法

Robots.txt是一个SEO文本（而不是HTML）的档桉，你把你的网站告诉搜索机器人哪些页面，你想他们不要访问。 robots.txt是绝不为搜索引擎，但一般搜索引擎服从什么要求他们不要做强制性的。重要的是要澄清的robots.txt是不是从阻止抓取您的网站搜索引擎的方法（也就是说，它是不是一个防火墙，或密码保护的一种）和事实，即你把robots.txt文件有点像再一次说明：“请不要进入一个上锁的门” -例如：你不能阻止，但好人无法打开门，进入到未来的小偷。这就是为什么我们说，如果你真的有敏感数据，这是太天真的依赖robots.txt来保护它被索引并显示在搜索结果。
其中一个方法告诉您的SEO优化网站上，以避免搜索引擎的文件和文件夹是符合预定的标准和使用。但是，因为并非所有的搜索引擎阅读MetaTags，机器人MetaTags可以简单地被忽视。一个更好的方法，告知您的意愿，搜索引擎是使用robots.txt文件。
所在robots.txt是非常重要的。它必须在主目录，否则User-agent（搜索引擎）将无法找到它-他们不robots.txt的搜索为命名文件整个网站。相反，他们先看看在主目录（即/robots.txt），如果他们没有找到，他们只是假设这个网站设计没有robots.txt文件，因此他们指数的一切，他们找到前进的道路。所以，如果你不把在正确的地方的robots.txt，不要惊讶，搜索引擎索引你的整个网站。
robots.txt是伟大的搜索引擎时，经常访问的网站SEO和索引你的内容，但往往出现情况下，当您的在线内容索引部分，不是你想要的。例如，如果你有两个1页（在浏览器中查看和打印一个）版本，您更愿意在印刷版本从爬行排除，否则，你可能被处以罚款重复内容。如果你碰巧在网站上，你不希望世界看到的敏感数据，那么你就会喜欢，搜索引擎不要索引不敏感的数据索引这些网页（虽然在这种情况下，唯一的办法是肯定保持离线对一个单独的机器）。此外，如果您想节省一些所不计形象，样式表和索引JavaScript，您还需要一种方法来告诉蜘蛛，以防止这些项目以外的带宽。

robots.txt文件讲解-坏脾气

User-agent: *
Dis片文件可以通过设置robots实现，请参考“robots.txt文件用法举例”中的例10、11、12。
7. robots.txt文件的格式
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~;限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
下面写蜘蛛爬行方向：
disallow标签是禁止爬行
disallow:/
加/就是根目录的意思
也就是说禁止爬行根目录下所有文件
disallow:/news/
禁止爬行news文件夹内文件
disallow:/news/index.html
禁止爬行/news/index.html这个文件
重要的是页面垃圾不要太多，尽量蜘蛛容易抓取，这样提升网站速度会增加很快，比如网站后台的页面和文件，这些都不需要。
************************************
1. 什么是robots.txt文件?
<meta name="spider" content="nofollow">
5. 禁止搜索引擎在搜索结果中显示网页快照，而只对网页建索引
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的<HEAD>部分：

robots文件的写法

Robots.txt的写法说明这是梦程序的robots文件，打开你的网址：http://www.******.com/robots.txt，应该有以下内容：User-agent: *Disallow: /plus/ad_js.phpDisallow: /plus/advancedsearch.phpDisallow: /plus/car.phpDisallow: /plus/carbuyaction.phpDisallow: /plus/shops_buyaction.phpDisallow: /plus/erraddsave.phpDisallow: /plus/posttocar.phpDisallow: /plus/disdls.phpDisallow: /plus/feedback_js.phpDisallow: /plus/mytag_js.phpDisallow: /plus/rss.phpDisallow: /plus/search.phpDisallow: /plus/recommend.phpDisallow: /plus/stow.phpDisallow: /plus/count.phpDisallow: /includeDisallow: /templetsDisallow: *?*sitemap: http://www.******.com/sitemap.xml说明：User-agent: * 定义搜索引擎，*指所有的搜索引擎。

Disallow: 不允许抓取的内容，注意冒号后面应该有个空格。

Disallow: *?*这样就屏蔽了站内所有的动态地址不被抓取。

有人会问，我设置了可是怎么还有搜索动态网址啊，那是因为搜索引擎需要一段时间做出反应。

过段时间就没不抓取了。

sitemap: 这个是网站地图，用于给搜索引擎看的，指引他找到网站里面所有的网页文件。

注意：可以把网站上的死链接写到这里进行屏蔽。

robots.txt文件用法举例

1.robots.txt例1.禁止所有搜索引擎访问网站的任何部分User-agent: * Disallow: /例2.允许所有的robot访问(或者也可以建一个空文件"/robots.txt") User-agent: * Disallow:或者User-agent: * Allow: /例3. 仅禁止Baiduspider访问您的网站User-agent: Baiduspider Disallow: /例4. 仅允许Baiduspider访问您的网站User-agent: Baiduspider Disallow:User-agent: * Disallow: /例5. 禁止spider访问特定目录在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot 不会访问这三个目录。

需要注意的是对每一个目录必须分开声明，而不能写成"Disallow: /cgi-bin/ /tmp/"。

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/例6. 允许访问特定目录中的部分url User-agent: * Allow: /cgi-bin/see Allow: /tmp/hi Allow: /~joe/look Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/例7. 使用"*"限制访问url禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

User-agent: * Disallow: /cgi-bin/*.htm例8. 使用"$"限制访问url仅允许访问以".htm"为后缀的URL。

User-agent: * Allow: .htm$ Disallow: /例9. 禁止访问网站中所有的动态页面User-agent: * Disallow: /*?*例10. 禁止Baiduspider抓取网站上所有图片User-agent: Baiduspider仅允许抓取网页，禁止抓取任何图片。

互联网爬虫Robots.txt文件全解

互联⽹爬⾍Robots.txt⽂件全解该⽂章转⾃⼀、robots.txt有什么⽤？如果您不希望互联⽹爬⾍（⼜叫蜘蛛、Crawler、Spider等）抓取您⽹站的每⼀个公开的链接，⽽只抓取您指定的某⼀部分链接，或根本不抓取任何链接，你可以使⽤robots.txt向搜索引擎汇报爬⾍信息。

robots.txt（统⼀⼩写）是⼀种存放于⽹站根⽬录下的ASCII编码的⽂本⽂件。

⽐如 /robots.txt⼤多数主流搜索引擎⽀持robots协议，它通常告诉搜索引擎，此⽹站中的哪些内容是不能抓取的，哪些是可以被抓取的。

⼆、怎么使⽤robots.txt？建议您在站点的根⽬录下存放⼀个robots.txt⽂件。

我们的爬⾍在第⼀次抓取您站点时会⾸先确认根⽬录下是否有robots.txt⽂件。

例如，您的⽹站地址是，我们会⾸先抓取再进⾏后续操作。

如⽆法访问robots.txt⽂件，系统则默认为您站点的每个链接都可以被抓取。

这就是七彩软件站（）不设置robots.txt⽂件的原因。

三、怎么写robots.txt⽂件？robots.txt是个很简单的⽂本⽂件，您只要标明“谁不能访问哪些链接”即可。

在⽂件的第⼀⾏写：User-Agent: Baiduspider这就告诉了爬⾍下⾯的描述是针对名叫Baiduspider的爬⾍。

您还可以写：User-Agent: *这就意味着向所有的爬⾍开放。

需要注意的是⼀个robots.txt⽂件⾥只能有⼀个"User-Agent: *"。

接下来是不希望被访问的链接前缀。

例如：Disallow: /private这就告诉爬⾍不要抓取以"/private"开头的所有链接。

包括/private.html，/private/some.html，/private/some/haha.html。

如果您写成：Disallow: /则表明整个站点都不希望被访问。

您也可以分多⾏来指定不希望被抓取的链接前缀，例如：Disallow: /tmpDisallow: /disallow那么所有以"/tmp"和"/disallow"开头的链接都不会被访问了。

robots协议

robots协议Robots协议（Robots Exclusion Protocol）是一种用于指导网络爬虫在抓取网页时的行为规范。

通过robots.txt文件，网站管理员可以告诉搜索引擎哪些页面可以被抓取，哪些页面不能被抓取。

这个协议对于维护网站的安全和保护用户隐私非常重要。

Robots协议的文件名为robots.txt，一般位于网站的根目录。

文件内容由若干行规则组成，每行规则包含两部分：User-agent和Disallow。

User-agent指定要适用的搜索引擎或爬虫，而Disallow指定哪些页面不希望被抓取。

例如，一个简单的robots.txt文件如下：```User-agent: *Disallow: /private/Disallow: /admin/```这意味着所有搜索引擎和爬虫都不应该抓取网站中以/private/和/admin/开头的页面。

这对于保护网站的敏感信息非常重要，比如用户的私人数据和管理后台。

Robots协议的规则还可以包含通配符。

通配符"*"可以匹配任意字符，可以用来表示一类搜索引擎或爬虫。

例如，下面的规则表示只允许Google抓取网站的所有页面：```User-agent: GooglebotDisallow:```而其他搜索引擎和爬虫则无法抓取任何页面。

另外，Robots协议还可以通过Allow规则来允许某些页面被抓取。

例如，以下规则表示允许所有搜索引擎和爬虫抓取网站的根目录、/public/目录和以.html结尾的页面：```User-agent: *Disallow: /private/Allow: /public/Allow: /*.html$```这个协议的设计初衷是为了使网站管理员能够对搜索引擎爬虫的行为进行控制，而不是用来阻止非法爬虫的访问。

虽然大部分合法的搜索引擎和爬虫会遵守Robots协议，但也有一些不遵守规则的爬虫，它们会忽略robots.txt文件中的限制。

分析五个robots实用案例学习robots的语句使用方法

Disallow: /cgi-bin
上面是笔者随意想到的，可以在这里解释一下斜杠的使用，在上述的简答语句之中，第二行和第三行，一个有"/"，一个没有，其中在 allow 语句之中，因为有"/"存在，所以允许蜘
蛛可以爬取文件夹"cgi-bin"下的网站文件，而不能控制蜘蛛
是否爬取这个文件夹，也就是说"/"控制文件夹下的文件，不
件夹就是在网站目录中，也收到了第二条的影响，所以，第三条是无效的，那么可以说来，这段 robots.txt 的写法中，蜘
蛛任然可以抓取/abcd/文件夹。
User-agent: *
Disallow: /abcd/
Allow: /
这个例子仅仅是将顺序颠倒了一番，可是去可以让蜘蛛访
问/abcd/文件夹，如果你看懂了上一个例子的解释的话，那么
而下获取的，在下面所写的规则不能打败在上面所写的规则，如果按照影响范围来解释上面的情况的话，那就是，因为已经设置了"Allow: /"那么对蜘蛛的影响是全局性的，允许蜘蛛访问这个网站所有的文件，而在第三行中， "Disallow: /abcd/"，设置之后，就是在前一个影响范围之中进行的，本身 abcd 文
上面的语句中，笔者这样写，是因为有很多朋友都会忽视
"/"的存在，如果"regnew.asp"是注册页面的话，那么如果不
放置"/"指定文件的所在地，蜘蛛可能就会找不到文件，引发错乱;记得以前笔者也设置不能访问的文件的时候，如果文件在根目录下的时候，就直接放上"Disallow: ***.asp"就可以了，然后却发现阻止不了蜘蛛，直到发现少了一个"/"之后，