robots.txt文件的作用以及写法

合集下载

什么是robots.txt

一．什么是robots.txt文件?搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。

您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

二. robots.txt文件放在哪里?robots.txt文件应该放在网站根目录下。

举例来说，当robots访问一个网站（比如）时，首先会检查该网站中是否存在/robots.txt这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

网站URL 相应的robots.txt的URL//robots.txt:80/:80/robots.txt:1234/:1234/robots.txt/??/robots.txt三. robots.txt文件的格式"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optionalspace><value><optionalspace>"。

在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。

该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：User-agent:该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent 记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。

如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent：*"这样的记录只能有一条。

SEO中Robots文件的使用介绍

SEO中Robots文件的使用介绍搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为robots.txt的文本文件，robots.txt用于指令搜索引擎禁止抓取网站某些内容或指定允许抓取某些内容，如百度的robots文件位于：（/robots.txt）只有在需要禁止抓取某些内容时，写robots.txt才有意义。

Robots文件不存在或者是空文件都意味着允许搜索引擎抓取所有内容。

有的服务器设置有问题。

Robots文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这有可能使搜索引擎错误解读robots文件信息，所以建议就算允许抓取所有内容，也要建一个空的robots.txt文件，放在你的网站的根目录下。

Robots文件由记录组成，记录记录之间以空行分开，记录格式为：<域名>：<可选空格><域值><可选空格>最简单的robots文件：User-agent:*Disallow:/以上这个robots文件的意思是禁止所有搜索引擎抓取任何文章内容。

User-agent:指定下面的贵州适用于那个蜘蛛。

通配符“*”代表所有搜索引擎，只适用于百度蜘蛛则用：User-agent:Baiduspider只适用于谷歌蜘蛛则用：User-agent:GooglebotDisallow:是告诉蜘蛛不要抓取某些文件或目录。

Disallow:禁止的目录或者文件必须分开写，每一个行，不能写成: Disallow: /cgi-bin/ /tmp/ /aa/index.html下面的指令相当于允许所有搜索引擎抓取任何内容：User-agent:*Disallow:Allow:告诉蜘蛛应该抓取某些文件，由于不指定就是允许抓取，Allow:单独写没有意义，Allow和Disallow配合使用可以告诉蜘蛛某个目录下大部分不允许抓取，知允许抓取一部分。

$通配符：匹配URL结尾字符。

怎么写robots规则 robots全记录

怎么写robots规则robots全记录by admins on 九.13, 2010, under 其他下载, 网站建设搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。

robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。

因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。

robots.txt应放置于网站的根目录下。

如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。

Robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。

注意Robots.txt是用字符串比较来确定是否获取URL，所以目录末尾有和没有斜杠“/”这两种表示是不同的URL，也不能用”Disallow: *.gif”这样的通配符。

其他的影响搜索引擎的行为的方法包括使用robots元数据：<meta name=”robots”content=”noindex,nofollow”/> 这个协议也不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个元数据，不索引这个页面，以及这个页面的链出页面robots.txt文件放在哪里?robots.txt文件应该放在网站根目录下。

robots.txt文件格式详解

robots.txt⽂件格式详解在说明ROTBOT⽂件的编写语法前先来了解⼏个重要的概念！1. 什么是baiduspider？ baiduspider是Baidu搜索引擎的⼀个⾃动程序。

它的作⽤是访问互联⽹上的html⽹页，建⽴索引数据库，使⽤户能在Baidu搜索引擎中搜索到贵⽹站的⽹页。

　 2. baiduspider为什么⼤量访问我的⽹页？ baiduspider访问您的⽹页后，会⾃动分析每个⽹页上的⽂字内容并记忆⽹页⽹址，然后其它⽹友才能通过百度搜索引擎找到您的⽹页。

如果baiduspider不访问您的⽹页，那么所有通过baiduspider提供⽹页信息的搜索引擎都找不到您的⽹页，也就是说，其它⽹友在百度搜狐新浪雅虎Tom等⼏⼗个搜索⽹站都会找不到您的⽹页。

　您可以到这⾥进⼀步了解搜索引擎。

3. baiduspider对⼀个⽹站服务器造成的访问压⼒如何？对于⼀个⽹站，baiduspider每访问⼀个⽹页会间隔30秒，不会造成过⼤压⼒。

4. 我不想我的⽹站被baiduspider访问，我该怎么做？ baiduspider象其它spider⼀样遵守互联⽹robots协议。

您可以利⽤robots.txt⽂件完全禁⽌baiduspider访问您的⽹站，或者禁⽌baiduspider访问您⽹站上的部分⽂件。

注意：禁⽌baiduspider访问您的⽹站，将使您的⽹站上的所有⽹页，在Baidu搜索引擎以及所有Baidu提供搜索引擎服务的搜索引擎中⽆法被搜索到，包括搜狐、新浪、雅虎、Tom、Lycos等⼏⼗个搜索引擎。

关于robots.txt的写作⽅法，请参看我们的介绍：robots.txt写作⽅法 5. 为什么我的⽹站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。

虽然baiduspider已经停⽌访问您⽹站上的⽹页，但Baidu搜索引擎数据库中已经建⽴的⽹页索引信息，可能需要2到4周才会清除。

robots.txt使用和写法

robots使用和写法：1、什么是robots.txt?robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

2、robots.txt的语法"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。

在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。

该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下:User-agent:该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。

如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。

Disallow :该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow 开头的URL均不会被robot访问到。

SEO的Robots.txt文件设置

Robots.txt文件设置首先在这里给大家介绍一下Robots.txt文件的具体写法 1）允许所有搜索引擎访问User-agent:*Disallow:或User-agent:*Allow:/2）禁止所有搜索引擎访问User-agent:*Disallow:/或User-agent:*Allow:3）禁止所有搜索引擎访问网站中胡几个部分在这里用a.b.c目录来代替User-agent:*Disallow:/a/Disallow:/b/Disallow:/c/如果是允许，则是Allow:/a/Allow:/b/Allow:/c/4）禁止某个搜索引擎的访问User-agent：w（比如用w代替某个搜索引擎）Disallow：/或User-agent：wDisallow：/d/*.htm在Disallow：后加/d/.htm的意思是禁止/d/目录下所有以“。

htm”为后缀的URL，包含子目录。

5）只允许某个搜索引擎的访问User-agent：e（用e代替）Disallow：在Disallow：后不加任何东西，意思是仅允许e访问该网站6）使用“$”限制访问urlser-agent：*Allow：。

html$Disallow:/意思是仅允许访问以“。

htm”为后缀的url7）禁止访问网站中所有的动态页面User-agent：*Disallow：/*?*8）禁止搜索引擎F抓取网站上所有图片User-agent：*Disallow：。

jpg$Disallow：。

jpeg$Disallow：。

gif$Disallow：。

png$Disallow：。

bmp$意思是只允许搜索引擎抓取网页，禁止抓取任何图片（严格来说，是禁止抓取jpg、jpeg、gif、png、bmp格式的图片9）只允许搜索引擎E抓取网页和。

gif格式图片User-agent:EAllow:gif$Disallow:jpg$Disallow:png$意思是只允许抓取网页和gif格式图片，不允许抓取其他格式图片第一步：新建一个txt文档—命名为：Robost.txt—在文档里写入User-agent:*Disallow:（注：这里的意思是允许所有的搜索引擎访问所有的文件）第二步：连接FXP软件，将Robots文件夹上传到根目录里，（提示：如果你的根目录里已经有了Robots文件，就得先要备份，再进行上传。

robots.txt和Robot.txt准确代码的写法说明

robots.txt和Robot.txt准确代码的写法说明国内很多网民都不知道 robots.txt 是干什么的，没有大重视、今天希望看到本文章学习到 robots.txt 的准确解释和使用方法！robots.txt基本介绍robots.txt 是一个纯文本的txt文本文档文件，这种重命名的文本文档是用在网站目录下存储！只有百度，搜搜，搜狗搜索，360搜索等搜索引擎网站上调用的声明！搜索引擎也可以叫《蜘蛛》（例如：站长只想让百度里能搜到本站，就可以用robots.txt上写段代码就能实现！）robots.txt 使用方法：robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

robots.txt写作语法首先，我们来看一个 robots.txt 的写法案例：访问以上具体地址，我们可以看到robots.txt的具体内容如下：# Robots.txt file from# All robots will spider the domainUser-agent: *Disallow:以上文本表达的意思是允许所有的搜索机器人访问站点下的所有文件。

代码第一行：#解释：只要有“#”开头的一行全被隐藏的！（一般不需要写）写法：“#”后面不管填写任何文字都不会有影响！（只是起到隐藏作用）我们一般填写声明就可以了！代码第二行：User-agent:解释：这是控制蜘蛛访问的代码（用来设置蜘蛛的白黑名单）写法：“User-agent:”后面就可以填写百度蜘蛛名称或者搜狗蜘蛛名称！例如：只允许百度蜘蛛：User-agent: BadBot所有蜘蛛可访问：User-agent: *代码第三行：Disallow:解释：这是控制蜘蛛动态的黑名单写法：“Disallow:” 后面可填写以下禁止访问本站所有内容：/禁止访问本站指定目录：/01/允许访问本站指定目录：/01禁止访问目录下的格式：/01*.html允许访问目录下的格式：/01/index.html代码第四行：Allow:解释：访问一组URL或者关键字母的文件名和目录名写法：“Allow:”后面可以填写关键字母例如：Allow:/index演示：即可访问：/index.html/index.asp/index/index.html/index/indextop.html/indexlogo/indexnamo.html====================================== =模拟蜘蛛写法案例说明1. 允许所有的robot访问User-agent: *Allow:或者User-agent: *Disallow:2. 禁止所有搜索引擎访问网站的任何部分User-agent: *Disallow: /3. 仅禁止Baiduspider访问您的网站User-agent: BaiduspiderDisallow: /4. 仅允许Baiduspider访问您的网站User-agent: BaiduspiderDisallow:5. 禁止spider访问特定目录User-agent: *Disallow: /cofig/Disallow: /totm/Disallow: /~jot/6. 允许访问特定目录中的部分urlUser-agent: *Allow: /acgi-lbin/sseeAllow: /tml/itmAllow: /~jotw/bookDisallow: /cdgi-bins/Disallow: /ddw/Disallow: /~jseoe/7. 使用”*”限制访问url禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。

网站robots,txt的写法

robots.txt是一个协议，搜索引擎来到你的我网站第一眼看到就是这个协议，这个协议是告诉搜索引擎我的某个页面你可以抓取的意思,robots.txt要怎么写呢?其中要有以下几样User-agent: *这个代表所有蜘蛛Disallow:/代表不抓取，/代表你网站后面的路径，如/list/?3.html中的/list/?3.html就是一个网站后面的路径。*代表所有，要是只想屏蔽其中一个搜索引擎的蜘蛛，那就把名字改成特定蜘蛛的名字。每个网站都要有这个协议，能有效的阻止不重要的页面的抓取。让他抓取的写法：User-agent: *所有蜘蛛Allow：/优先抓取代表这个/后面的你可以优先去看和抓取等等。下面给大家看个网站的实例

zblogrobots写法

zblogrobots写法
在Z-BlogPHP 中，robots.txt 是用于搜索引擎爬虫控制网站爬取行为的文本文件。

Z-BlogPHP 提供了一个插件`ZC_ROBOTS`，该插件使你可以方便地编辑和生成robots.txt 文件。

以下是使用`ZC_ROBOTS` 插件的简单写法：
1. 下载和安装插件：
-将插件文件解压缩，并将文件夹放置在Z-BlogPHP 的`zb_users/plugin` 目录下。

-在Z-BlogPHP 后台的插件管理页面启用`ZC_ROBOTS` 插件。

2. 编辑robots.txt：
-在Z-BlogPHP 后台，进入"插件" -> "ZC_ROBOTS" 配置页面。

-在配置页面中，你可以直接编辑robots.txt 内容。

3. 设置robots.txt 规则：
-使用合适的robots.txt 规则，例如禁止爬虫访问某些页面或目录。

```plaintext
User-agent: *
Disallow: /private/
Allow: /public/
```
上述规则表示允许所有爬虫访问`/public/` 目录，但禁止访问`/private/` 目录。

4. 保存配置：
-在编辑完成robots.txt 后，记得保存配置。

5. 生效检查：
-访问你的网站的robots.txt 文件路径，确保配置生效。

robots.txt文件的作用和语法介绍

robots.txt文件的作用和语法介绍1、什么是robots.txt文件搜索引擎有自己的搜索习惯，当它对一个网站进行搜索时，哪些目录和文件要看，哪些不用看，它有自己的算法。

我们也可以自己建立一个robots.txt文件，告诉搜索引擎的机器人哪些可以被收录，哪些不需要收录。

这样可以节约自己网站的资源，提高被搜索引擎收录的效率。

２、robots.txt放置位置robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

３、robots相关语法1)User-agent: 适用下列规则的漫游器(搜索引擎)该项的值用于描述搜索引擎robot的名字。

在robots.txt文件中，如果有多条User-agent 记录，就说明有多个robot会受到robots.txt的限制，对该文件来说，至少要有一条User-agent 记录。

如果该项的值设为*，则对任何robot均有效。

●Google爬虫名称: Googlebot●百度（Baidu）爬虫名称：Baiduspider●雅虎（Yahoo）爬虫名称：Yahoo Slurp●有道（Yodao）蜘蛛名称：YodaoBot●搜狗（sogou）蜘蛛名称：sogou spider●MSN的蜘蛛名称(微软最新搜索引擎Bing蜘蛛名也是这个)：Msnbot２）Disallow: 拒绝访问的目录或文件该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。

例如：Disallow:/seo.html 表示禁止robot访问文件/seo.html３）Allow:允许访问的目录或文件该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。

例如：Allow:/hibaidu/ 表示允许robot访问目录/hibaidu/4)使用通配符"*"和"$"：$ 匹配行结束符。

robots.txt写法大全和robots.txt语法的作用(超详细)

Disallow: /
4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
即可
robots.txt写法如下：
User-agent: Googlebot
Disallow: /
5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
Allow: /
2如果我们禁止所有搜索引擎访问网站的所有部分的话
robots.txt写法如下：
User-agent: *
Disallow: /
3如obots.txt写法访问我们网站的某个目录中的某些特定网址的话
robots.txt写法如下：
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
robots.txt写法如下：
User-agent: *
Disallow: /*?*
有些时候，我们为了节省服务器资源，需要禁止各类搜索引擎来索引我们网站上的图片，这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外，还可以采取直接屏蔽图片后缀名的方式。
示例12
robots.txt写法如下：
User-agent:*
Allow:/*?$
Disallow:/*?
Disallow:/ *?
一行将拦截包含 ? 的网址（具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号 (?)，而后又是任意字符串的网址）。Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址（具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号 (?)，问号之后没有任何字符的网址）。

robots.txt协议

robots.txt协议robots.txt协议是一种让网站管理员告诉搜索引擎哪些页面可以抓取，哪些页面不可以抓取的协议。

这个协议是通过在网站的根目录下放置一个名为robots.txt的文本文件来实现的。

在这个文件中，网站管理员可以指定搜索引擎爬虫访问的权限，以及哪些页面不希望被搜索引擎收录。

这个协议的存在可以帮助网站管理员更好地控制搜索引擎爬虫的行为，从而更好地保护网站的内容和隐私。

robots.txt协议的作用主要有以下几个方面：1. 控制搜索引擎爬虫的访问范围。

通过robots.txt文件，网站管理员可以指定哪些页面可以被搜索引擎爬虫访问，哪些页面不可以被访问。

这样可以避免搜索引擎爬虫访问一些不希望被公开的页面，比如一些内部管理页面或者一些隐私内容。

2. 优化搜索引擎收录。

通过robots.txt文件，网站管理员可以指定哪些页面可以被搜索引擎收录，哪些页面不希望被收录。

这样可以帮助网站管理员更好地控制搜索引擎对网站内容的收录，从而更好地展现网站的核心内容。

3. 保护网站安全。

通过robots.txt文件，网站管理员可以排除一些敏感信息和目录，避免被搜索引擎爬虫访问，从而保护网站的安全。

在编写robots.txt文件时，网站管理员需要注意以下几点：1. 确保robots.txt文件位于网站的根目录下。

搜索引擎爬虫在访问网站时会首先查找robots.txt文件，因此这个文件必须放置在网站的根目录下，以确保搜索引擎爬虫能够正确地读取到这个文件。

2. 使用正确的语法。

robots.txt文件采用了一种特定的语法规则，网站管理员需要按照这种规则编写文件内容，以确保搜索引擎爬虫能够正确地解析和执行这个文件。

3. 定期更新文件内容。

随着网站内容的更新和变化，robots.txt文件的内容也需要相应地进行更新，以确保搜索引擎爬虫能够正确地访问和收录网站的最新内容。

总之，robots.txt协议是网站管理员在管理搜索引擎爬虫行为方面的重要工具，通过合理地编写和使用robots.txt文件，可以更好地控制搜索引擎对网站内容的访问和收录，从而更好地保护网站的内容和隐私，提升网站的安全性和搜索引擎优化效果。

robots.txt写法

/
User-agent: googlebot
Disallow: /
6、阻止搜索引擎访问网站中全部的动态页面（动态页面便是URL中任何带有“？”的页面）
User-agent: *
Disallow: /*?*
7、仅仅容许搜索引擎访问某一特定文件后缀形式的网页。
7、要是你不想自己动手写robots.txt文件，那么请Google帮你写。登录Google平台，有生成robots.txt文件的。
8、
User-agent: *
Disallow: /
这种格式不但仅是阻止抓取页面，更主要的是你的网站被收录了，然后又把robots.txt文件修改成以上格局，那么你的网站将在搜索引擎中被删除，整个地删除。
5、robots.txt通常在某个分目录中还可以存在，但是要是与顶级目录中的robots.txt有不同，则以顶级目录中robots.txt为准。
6、仅当您的网站包括不希望被搜索引擎收录的内容时，才要利用robots.txt文件。要是您希望搜索引擎收录网站上全部内容，请勿创建 robots.txt文件，不要创建一个内容为空的robots.txt文件。这一点通常被人们马虎，实际上创建空的robots.txt文件对搜刮引擎非常不友好。
Allow: /
3、要是你网站的某个目录不想被搜索引擎收录，写法如下：
User-agent: *
Disallow: /目录名称1/
Disallow: /目录名称2/
Disallow: /目录名称3/
过细：不能写成Disallow: /目录名称1/ /目录名称2/ 这样的情势，每个目录要单独另起一行特别阐明。
robots.txt写法

robots写法大全，教你巧妙运用robots文件

robots写法大全，教你巧妙运用robots文件robots.txt文件的运用，在SEO技术里面是比较不易懂的知识，但是SEOER的我们又必须要去了解，因为它牵扯到一些代码、URL在内，也许稍微偏差一字，对网站的影响就和本身的效果远远不同了。

robots.txt的功能分很多，我们如果合理运用好，对网站的帮助是起很大作用的。

接下来我们来介绍一些比较常用的功能。

一、利用robots.txt来限制网页快照很多搜索引擎都提供一个网页快照的功能。

但是网页快照功能却有很多的弊端，例如事实内容在网页快照中更新不及时、索引网页快照浪费大量的服务器资源等。

因此，我们有些时候可能并不需要搜索引擎来索引我们某个页面的网页快照。

解决这样问题的办法很简单，只需要在你的网页元标记中（<head>和</head>之间）放置如下的一段代码。

如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写<meta name=”Baiduspider”content=”noarchive”>需要注意的是，这样的标记仅仅是禁止搜索引擎为你的网站建立快照，如果你要禁止搜索引擎索引你的这个页面的话，请参照后面的办法。

二、禁止搜索引擎抓取网页页面在SEO中，禁止搜索引擎抓取本页面或者是允许搜索引擎抓取本页面是经常会用到的。

因为网页有一些是我们不需要用来参加关键词排名的，所以可以屏蔽掉。

为了让搜索引擎禁止抓取本页面，我们一般的做法是在页面的元标记中加入如下的代码：<META NAME=”ROBOTS”CONTENT=”NOINDEX,FOLLO W”><meta content=’***************’ name=deｓｃｒｉｐｔion>在这里，META NAME=”ROBOTS”是泛指所有的搜索引擎的，在这里我们也可以特指某个搜索引擎，例如META NAME=”Googlebot”、META NAME=”Baiduspide”、META NAME=”www.********.com” 等。

robots.txt的写法

User-agent： *
Disallow： /admin/ 《禁止蜘蛛抓取admin目录下所有文件》
3，防止盗链
一般盗链也就几个人，可是一旦被搜索引擎“盗链”那家伙你100M宽带也吃不消，如果你做的不是图片网站，又不想被搜索引擎“盗链”你的网站图片
User-agent： *
Disallow： .jpg$
1，用robots屏蔽网站重复页
很多网站一个内容提供多种浏览版本，虽然很方便用户却对蜘蛛造成了困难，因为它分不清那个是主，那个是次，一旦让它认为你在恶意重复，你就惨了
User-agent： *
Disallow： /sitemap/ 《禁止蜘蛛抓取文本网页》
2，用robots保护网站安全
很多人纳闷了，robots怎么还和网站安全有关系了？其实关系还很大，不少低级黑客就是通过搜索默认后台登陆，以达到入侵网站的目标
User-agent: Googlebot
Disallow: /*?
要指定与某个网址的结尾字符相匹配，请使用 $。例如，要拦截以 .xls 结尾的所有网址，请使用以下内容： User-agent: Google您可将此模式匹配与 Allow 指令配合使用。例如，如果 ? 代表一个会话 ID，那么您可能希望排除包含 ? 的所有网址，以确保 Googlebot 不会抓取重复网页。但是以 ? 结尾的网址可能是您希望包含
Allow: /*?$ 指令将允许以 ? 结尾的任何网址(具体地说，它将允许所有以您的域名开头、后接任意字符串，然后接 ?，? 之后不接任何字符的网址)。
以上介绍多数都是Google的/support/we … bots.html
4，提交网站地图
现在做优化的都知道做网站地图了，可是却没几个会提交的，绝大多数人是干脆在网页上加个链接，其实robots是支持这个功能的

robots.txt写法完全攻略

错误11―网络服务器端的错误配置
为什么对robots.txt文件的调用请求会产生一个二进制文件？只有网络服务器或FTP客户端软件错误设置的情况下才可能发生这种错误。建议大家定期检查自己的robots.txt文件(http:/ /robo ts.txt)。
服务器/域名“农场”
错误5―指令行前有空格
例如"Disallow:/cgi-bin/"，虽然RES标准并未对这种格式予以特别说明，但我们对这种格式是持极力反对态度的。同样的问题摆在你面前你冒得起无法被Spiders正确解读的险吗?
错误6--404重定向至另一页面
一般没有robots.txt的网站会将对robots.txt文件的调用请求转至另一页面。这种重定向通常不会产生服务器状态错误或重定向状态信息。然而因为是Spiders自己决定它看到的是robots.txt文件还是一个.html文件。虽然理论上应该不会有什么问题，不过为了保险起见，不妨在你服务器的顶级目录下放一个空的robots.txt文件。在www.go /bot.html下，也提供了相同的建议―“如欲避免网络服务器日志中的出错信息‘找不到文件’，可在其根域下创建一个空的robots.txt文件。”
绝大多数的spiders对上述声明行都无法做出正确的解析，有些Spiders会忽略其空格而解析为/css//cgi-bi n//images/，或只解析/images/或/css/，或者根本不予解析。
正确的语法应为：
Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/
对RES标准的扩展：
尽管已经提出了一些扩展标准，如Allow行或Robot版本控制(例如应该忽略大小写和版本号)，但尚未得到RES工作组的正式批准认可。

robots文件的写法

网站robots文件怎么写我们要先了解什么是robots文件，才能来讨论怎么写robots 文件。

那robots究竟是什么呢？robots文件是用来告诉搜索引擎：这个网站上哪些部分可以被访问、哪些不可以，robots文件是存放在网站根目录下的一个纯文本文件。

当搜索引擎访问一个网站时，它首先会检查该网站根目录下是否存在robots文件。

robots文件必须放置在一个网站的根目录下，而且文件名必须全部小写。

我们做的网站肯定希望被收录，因为网站流量的一部分或者是大部分都是来自搜索，所以网站排名对网站来说是很重要的。

问题是：我们有的网站内容不希望杯搜索到，那么怎么办呢？在这种情况下，我们就有必要会用到robots文件，来与搜索引擎沟通。

所有的搜索引擎蜘蛛自动在网站根目录中寻找这个文件，所以你只需创建它并上传，然后等待蜘蛛来阅读。

Robots.txt文件没有任何方式来保护你的内容，只是阻止搜索引擎的索引。

我在这里主要说明下怎么写Robots.txt文件首先，我们来看一个robots文件的范例：/robots.txt访问以上具体地址，我们可以看到robots.txt的具体内容如下：# Robots.txt file from # All robots will spider the domainUser-agent: *Disallow: /admnt88/这些的意思是：允许所有的搜索引擎对网站进行访问，但是不允许所有的引擎来访问名为admnt88的文件夹。

搜索引擎蜘蛛看到之后，就会遵守这个规矩，而不是想搜索什么就搜索什么了。

所以，知道了怎么写robots文件之后，就可以控制蜘蛛读取的内容了。

语法分析：#后面的文字为说明信息；User-agent：后面是要加搜索引擎的名称，如果后面是*，则代表所有的搜索引擎；Disallow：后面为不允许搜索引擎访问的文件目录。

robots文件具体写法：1、允许所有搜索引擎访问User-agent: *Disallow:或者User-agent: *Allow: /在这里大家要注意下，可以最直接的建一个空文件“robots.txt”然后放到网站的根目录。

搜索引擎的Robots规则以及robots协议写法规则

搜索引擎的Robots规则以及robots协议写法规则robots.txt是一个协议，而不是一个命令。

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。

如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt 文件。

如果将网站视为酒店里的一个房间，robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。

这个文件告诉来访的搜索引擎哪些房间可以进入和参观，哪些房间因为存放贵重物品，或可能涉及住户及访客的隐私而不对搜索引擎开放。

但robots.txt不是命令，也不是防火墙，如同守门人无法阻止窃贼等恶意闯入者。

搜索引擎的Robots规则robots.txt是一种存放于网站根目录下的文本文件，用于告诉搜索引擎的爬虫（spider），此网站中的哪些内容是不应被搜索引擎的索引，哪些是可以被索引。

通常认为，robots.txt文件用来搜索引擎对目标网页的抓取。

robots.txt协议并不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个文件，但也有一些特殊情况。

对于Google来说，使用robots也未必能阻止Google将网址编入索引，如果有其他网站链接到该网页的话，Google依然有可能会对其进行索引。

按照Google的说法，要想彻底阻止网页的内容在Google网页索引中（即使有其他网站链接到该网页）出现，需要使用noindex元标记或x-robots-tag。

例如将下面的一行加入到网页的header部分。