robots通用写法
SEO优化之robots文件的语法介绍及其应用实例
以上的robots.txt文件可以帮助我们对于搜索引擎的访问做一个限制，这里需要注意的有几个方面。
1、 robots.txt文件必须处于网站根目录下，而且必须命名为robots.txt
2、 robots.txt文件的文件名全部是小写字母，没有大写字母。
3、 如果对于robots.txt文件的写法把握不准，那么可以直接放一个空的文本文档，命名为robots.txt即可。
好了，以上我们介绍了robots.txt的写法。这时候有一个问题，有些时候我们会遇到一些实际的特殊情况，那么遇到特殊情况我们应当怎样处理呢？一下就对限制搜索引擎的原标签（META）做一个介绍。
这里需要注意的是，不可把两个对立的反义词写到一起，例如
<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">
或者直接同时写上两句
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
第一种情况：限制网页快照
很多搜索引擎都提供一个网页快照的功能。但是网页快照功能却有很多的弊端，例如事实内容在网页快照中更新不及时、索引网页快照浪费大量的服务器资源等。因此，我们有些时候可能并不需要搜索引擎来索引我们某个页面的网页快照。
解决这样问题的办法很简单，只需要在你的网页元标记中（<head>和</head>之间）放置如下的一段代码。
<META NAME="ROBOTS" CONTENT="NONE">
Robots协议（爬虫协议、机器人协议）
Robots协议（爬⾍协议、机器⼈协议）Robots协议（也称为爬⾍协议、机器⼈协议等）的全称是“⽹络爬⾍排除标准”（Robots Exclusion Protocol），⽹站通过Robots协议告诉搜索引擎哪些页⾯可以抓取，哪些页⾯不能抓取。
____________________________________Robots协议也称为爬⾍协议、爬⾍规则、机器⼈协议，是⽹站国际互联⽹界通⾏的道德规范,其⽬的是保护⽹站数据和敏感信息、确保⽤户个⼈信息和隐私不被侵犯。
“规则”中将搜索引擎抓取⽹站内容的范围做了约定,包括⽹站是否希望被搜索引擎抓取,哪些内容不允许被抓取,⽽⽹络爬⾍可以据此⾃动抓取或者不抓取该⽹页内容。
如果将⽹站视为酒店⾥的⼀个房间,robots.txt就是主⼈在房间门⼝悬挂的“请勿打扰”或“欢迎打扫”的提⽰牌。
这个⽂件告诉来访的搜索引擎哪些房间可以进⼊和参观,哪些不对搜索引擎开放。
____________________________________robots.txt（统⼀⼩写）是⼀种存放于⽹站根⽬录下的ASCII编码的⽂本⽂件，它通常告诉⽹络搜索引擎的漫游器（⼜称⽹络蜘蛛），此⽹站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。
因为⼀些系统中的URL是⼤⼩写敏感的，所以robots.txt的⽂件名应统⼀为⼩写。
robots.txt应放置于⽹站的根⽬录下。
如果想单独定义搜索引擎的漫游器访问⼦⽬录时的⾏为，那么可以将⾃定的设置合并到根⽬录下的robots.txt，或者使⽤robots元数据（Metadata，⼜稱元資料）。
robots.txt协议并不是⼀个规范，⽽只是约定俗成的，所以并不能保证⽹站的隐私。
注意robots.txt是⽤字符串⽐较来确定是否获取URL，所以⽬录末尾有与没有斜杠“/”表⽰的是不同的URL。
robots.txt允许使⽤类似"Disallow: *.gif"这样的通配符[1][2]。
robots的写法
网站robots的写法站长的工作是设计精美的网站，为大众展现网站丰富多彩的内容。
当然，我们也希望精心设计的网站获得理想的排名，这就要求我们去研究搜索引擎排名规律，最大程度的获得机会展现给客户。
然而，搜索引擎种类很多，有时候，我们对某一种搜索引擎的排名很好，却在另外的搜索引擎上面获得不到一样的排名，原因是各个搜索引擎规则不一样。
为此，有人复制出相同的内容以应付不同搜索引擎的排名规则，制造出大量的重复页面。
搜索引擎一旦发现就会给予惩处。
为此，robots的出现了。
一、r obots的基本概念和功能robots.txt文件是网站的一个文件，它是给搜索引擎蜘蛛看的。
搜索引擎蜘蛛爬行道我们的网站首先就是抓取这个文件，根据里面的内容来决定对网站文件访问的范围。
robots.txt 也可用在某一目录中。
对这一目录下的文件进行搜索范围设定。
几点注意：1）网站必须要有一个robots.txt文件。
2）文件名是小写字母。
3）当需要完全屏蔽文件时，需要配合meta的robots属性。
robots具有两个主要功能：一个功能是屏蔽重复页面另一个功能是屏蔽如让抓取的页面比如隐私。
对于不同的搜索引擎展现不同的搜索路径，在robots中有哪些搜索引擎和其对应的User-agent呢？下面，我列出了一些，以供参考。
搜索引擎User-AgentAltaVista Scooterbaidu BaiduspiderInfoseek InfoseekHotbot SlurpAOL Search SlurpExcite ArchitextSpiderGoogle GooglebotGoto SlurpLycos LycosMSN SlurpNetscape GooglebotNorthernLight GulliverWebCrawler ArchitextSpiderIwon SlurpFast FastDirectHit GrabberYahoo Web Pages GooglebotLooksmart Web Pages Slurp二、robots.txt的语法内容项的基本格式：域: 值对。
网站robots设置及书写方式
robots.txt和Robots META标签我们知道，搜索引擎都有自己的“搜索机器人”(ROBOTS)，并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库。
对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。
为了解决这个问题，ROBOTS开发界提供了两个办法:一个是robots.txt，另一个是The Robots META标签。
一、robots.txt1、什么是robots.txt?robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
相应网站的robots.txt的URL/robots.txt2、robots.txt的语法"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL,or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。
该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下: User-agent:该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent 记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。
robots.txt和Robot.txt准确代码的写法说明
robots.txt和Robot.txt准确代码的写法说明国内很多网民都不知道 robots.txt 是干什么的，没有大重视、今天希望看到本文章学习到 robots.txt 的准确解释和使用方法！robots.txt基本介绍robots.txt 是一个纯文本的txt文本文档文件，这种重命名的文本文档是用在网站目录下存储！只有百度，搜搜，搜狗搜索，360搜索等搜索引擎网站上调用的声明！搜索引擎也可以叫《蜘蛛》（例如：站长只想让百度里能搜到本站，就可以用robots.txt上写段代码就能实现！）robots.txt 使用方法：robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
robots.txt写作语法首先，我们来看一个 robots.txt 的写法案例：访问以上具体地址，我们可以看到robots.txt的具体内容如下：# Robots.txt file from# All robots will spider the domainUser-agent: *Disallow:以上文本表达的意思是允许所有的搜索机器人访问站点下的所有文件。
代码第一行：#解释：只要有“#”开头的一行全被隐藏的！（一般不需要写）写法：“#”后面不管填写任何文字都不会有影响！（只是起到隐藏作用）我们一般填写声明就可以了！代码第二行：User-agent:解释：这是控制蜘蛛访问的代码（用来设置蜘蛛的白黑名单）写法：“User-agent:”后面就可以填写百度蜘蛛名称或者搜狗蜘蛛名称！例如：只允许百度蜘蛛：User-agent: BadBot所有蜘蛛可访问：User-agent: *代码第三行：Disallow:解释：这是控制蜘蛛动态的黑名单写法：“Disallow:” 后面可填写以下禁止访问本站所有内容：/禁止访问本站指定目录：/01/允许访问本站指定目录：/01禁止访问目录下的格式：/01*.html允许访问目录下的格式：/01/index.html代码第四行：Allow:解释：访问一组URL或者关键字母的文件名和目录名写法：“Allow:”后面可以填写关键字母例如：Allow:/index演示：即可访问：/index.html/index.asp/index/index.html/index/indextop.html/indexlogo/indexnamo.html====================================== =模拟蜘蛛写法案例说明1. 允许所有的robot访问User-agent: *Allow:或者User-agent: *Disallow:2. 禁止所有搜索引擎访问网站的任何部分User-agent: *Disallow: /3. 仅禁止Baiduspider访问您的网站User-agent: BaiduspiderDisallow: /4. 仅允许Baiduspider访问您的网站User-agent: BaiduspiderDisallow:5. 禁止spider访问特定目录User-agent: *Disallow: /cofig/Disallow: /totm/Disallow: /~jot/6. 允许访问特定目录中的部分urlUser-agent: *Allow: /acgi-lbin/sseeAllow: /tml/itmAllow: /~jotw/bookDisallow: /cdgi-bins/Disallow: /ddw/Disallow: /~jseoe/7. 使用”*”限制访问url禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
robots协议
robots协议 如何查看robots协议？怎么写？ 对于seo来讲，robots⽂件⾮常重要。
搜索引擎爬⾍爬取的⽹站的第⼀个⽂件便是这个⽂件，这个⽂件告诉搜索引擎⽹站的那些内容可以被爬取，那些内容不能被爬取，或者说禁⽌爬取。
怎么查看l？可以使⽤这种办法，主域名/robots.txt。
怎么写robots协议？ 当⼀个搜索蜘蛛访问⼀个站点时，它会⾸先检查该站点根⽬录下是否存在robots.txt，如果存在，搜索机器⼈就会按照该⽂件中的内容来确定访问的范围；如果该⽂件不存在，所有的搜索蜘蛛将能够访问⽹站上所有没有被⼝令保护的页⾯。
⼀、什么是Robots协议 Robots协议（也称为爬⾍协议、机器⼈协议等）的全称是“⽹络爬⾍排除标准”（Robots Exclusion Protocol），⽹站通过Robots协议告诉搜索引擎哪些页⾯可以抓取，哪些页⾯不能抓取,对于seo来讲，意义重⼤。
robots是⼀个协议，⽽不是⼀个命令。
robots.txt⽂件是⼀个⽂本⽂件，是放置在⽹站根⽬录下，使⽤任何⼀个常见的⽂本编辑器，就可以创建和编辑它。
robots.txt是搜索引擎中访问⽹站的时候要查看的第⼀个⽂件，其主要的作⽤就是告诉蜘蛛程序在服务器上什么⽂件是可以被查看的。
robots协议⽂件的写法及语法属性解释-seo 如果将⽹站视为⼀个房间，robots.txt就是主⼈在房间门⼝悬挂的“请勿打扰”或“欢迎进⼊”的提⽰牌。
这个⽂件告诉来访的搜索引擎哪些房间可以进⼊和参观，哪些房间因为存放贵重物品，或可能涉及住户及访客的隐私⽽不对搜索引擎开放。
但robots.txt不是命令，也不是防⽕墙，如同守门⼈⽆法阻⽌窃贼等恶意闯⼊者。
所以，seo建议各位站长仅当您的⽹站包含不希望被搜索引擎收录的内容时，才需要使⽤robots.txt⽂件，如果您希望搜索引擎收录⽹站上所有内容，请勿建⽴robots.txt⽂件。
⼆、Robots协议的原则 Robots协议是国际互联⽹界通⾏的道德规范，基于以下原则建⽴： 1、搜索技术应服务于⼈类，同时尊重信息提供者的意愿，并维护其隐私权； 2、⽹站有义务保护其使⽤者的个⼈信息和隐私不被侵犯。
robots.txt写法大全和robots.txt语法的作用(超详细)
4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
即可
robots.txt写法如下：
User-agent: Googlebot
Disallow: /
5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
Allow: /
2如果我们禁止所有搜索引擎访问网站的所有部分的话
robots.txt写法如下：
User-agent: *
Disallow: /
3如obots.txt写法访问我们网站的某个目录中的某些特定网址的话
robots.txt写法如下：
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
robots.txt写法如下：
User-agent: *
Disallow: /*?*
有些时候，我们为了节省服务器资源，需要禁止各类搜索引擎来索引我们网站上的图片，这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外，还可以采取直接屏蔽图片后缀名的方式。
示例12
robots.txt写法如下：
User-agent:*
Allow:/*?$
Disallow:/*?
Disallow:/ *?
一行将拦截包含 ? 的网址（具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号 (?)，而后又是任意字符串的网址）。Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址（具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号 (?)，问号之后没有任何字符的网址）。
robots.txt写法
User-agent: googlebot
Disallow: /
6、阻止搜索引擎访问网站中全部的动态页面（动态页面便是URL中任何带有“？”的页面）
User-agent: *
Disallow: /*?*
7、仅仅容许搜索引擎访问某一特定文件后缀形式的网页。
7、要是你不想自己动手写robots.txt文件，那么请Google帮你写。登录Google平台，有生成robots.txt文件的。
8、
User-agent: *
Disallow: /
这种格式不但仅是阻止抓取页面，更主要的是你的网站被收录了，然后又把robots.txt文件修改成以上格局，那么你的网站将在搜索引擎中被删除，整个地删除。
5、robots.txt通常在某个分目录中还可以存在，但是要是与顶级目录中的robots.txt有不同，则以顶级目录中robots.txt为准。
6、仅当您的网站包括不希望被搜索引擎收录的内容时，才要利用robots.txt文件。要是您希望搜索引擎收录网站上全部内容，请勿创建 robots.txt文件，不要创建一个内容为空的robots.txt文件。这一点通常被人们马虎，实际上创建空的robots.txt文件对搜刮引擎非常不友好。
Allow: /
3、要是你网站的某个目录不想被搜索引擎收录，写法如下：
User-agent: *
Disallow: /目录名称1/
Disallow: /目录名称2/
Disallow: /目录名称3/
过细：不能写成Disallow: /目录名称1/ /目录名称2/ 这样的情势，每个目录要单独另起一行特别阐明。
robots.txt写法
robots写法大全，教你巧妙运用robots文件
robots写法大全，教你巧妙运用robots文件robots.txt文件的运用，在SEO技术里面是比较不易懂的知识，但是SEOER的我们又必须要去了解，因为它牵扯到一些代码、URL在内，也许稍微偏差一字，对网站的影响就和本身的效果远远不同了。
robots.txt的功能分很多，我们如果合理运用好，对网站的帮助是起很大作用的。
接下来我们来介绍一些比较常用的功能。
一、利用robots.txt来限制网页快照很多搜索引擎都提供一个网页快照的功能。
但是网页快照功能却有很多的弊端，例如事实内容在网页快照中更新不及时、索引网页快照浪费大量的服务器资源等。
因此，我们有些时候可能并不需要搜索引擎来索引我们某个页面的网页快照。
解决这样问题的办法很简单，只需要在你的网页元标记中（<head>和</head>之间）放置如下的一段代码。
<meta name=”robots”content=”noarchive”>以上的一段代码限制了所有的搜索引擎建立你的网页快照。
如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写<meta name=”Baiduspider”content=”noarchive”>需要注意的是，这样的标记仅仅是禁止搜索引擎为你的网站建立快照，如果你要禁止搜索引擎索引你的这个页面的话，请参照后面的办法。
二、禁止搜索引擎抓取网页页面在SEO中，禁止搜索引擎抓取本页面或者是允许搜索引擎抓取本页面是经常会用到的。
因为网页有一些是我们不需要用来参加关键词排名的，所以可以屏蔽掉。
为了让搜索引擎禁止抓取本页面，我们一般的做法是在页面的元标记中加入如下的代码：<META NAME=”ROBOTS”CONTENT=”NOINDEX,FOLLO W”><meta content=’***************’ name=deｓｃｒｉｐｔion>在这里，META NAME=”ROBOTS”是泛指所有的搜索引擎的，在这里我们也可以特指某个搜索引擎，例如META NAME=”Googlebot”、META NAME=”Baiduspide”、META NAME=”www.********.com” 等。
robots口语
robots口语在口语中，当我们谈到"robots"时，通常会使用简单、直接且非正式的表达方式。
以下是一些关于"robots"的常用口语表达：1.Hey, look at that robot!嘿，看那个机器人！2.Robots are so cool!机器人太酷了！3.I can't believe robots can do that!我简直不敢相信机器人能做那件事！4.Do you think robots will take over the world?你认为机器人会统治世界吗？5.I'm thinking of buying a robot vacuum. What do you think?我想买一个机器人吸尘器。
你觉得呢？6.Robots make my life easier.机器人让我的生活变得更轻松。
7.I heard robots are now used in hospitals to help patients.我听说现在医院里用机器人来帮助病人。
8.Wow, that robot looks like it's from the future!哇，那个机器人看起来像是来自未来！9.I'm afraid of robots. They might hurt me.我害怕机器人。
他们可能会伤害我。
10.With robots, the future is full of possibilities!有了机器人，未来充满了可能性！请注意，这些口语表达可能因地区、文化和个人习惯而有所不同。
在使用时，请考虑你的听众和环境，确保你的表达方式是合适和恰当的。
织梦DedeCMS站点robots文件写法全解析
织梦DedeCMS站点robots文件写法全解析织梦DEDECMS本身自带的robots.txt文件设置很简单，并不能完全满足网站的优化要求，如何才能结合自己网站的情况，做好robots.txt优化呢?下面是我自己的一点想法，仅供参考，适用于未伪静态的DEDECMS网站。
User-agent: *Disallow: /dede 管理后台目录，需要改名，具体设置后面具体讲Disallow: /include 程序核心文件目录Disallow: /member 会员管理目录，有些文件可以开放Disallow: /plus 插件及辅助功能目录，有些文件可以开放，如search.phpDisallow: /templets 默认模板存放目录Disallow: /data 系统缓存或其它可写入数据存放目录Disallow: /uploads 上传下载文件保存目录,不想搜索引擎引用图片的话，禁止Disallow: /images 系统默认模板图片存放目录Disallow: /index.php 网站默认首页，静态化的话，最好禁止Disallow: /404.htmlAllow: /plus/search.php 开放禁止目录里的具体文件...基本设置就是这样，下面着重讲下后台管理目录和栏目页的设置：1.dede目录，为了网站安全考虑需要改名。
然而改名之后，大家不免疑惑：改了名，在robots.txt文件里怎么设置呢?直接禁止抓取，还是泄露了后台目录，等于改名无效。
那么该如何解决这个问题呢?我们可以通过下面的设置解决这个问题，如后台目录为dedecms：Disallow: /d*ms这样我们就能即禁止了搜索引擎的抓取，又不会泄露了后台目录名称。
2.栏目页。
有些人会注意到，如果网站不做伪静态优化的话，栏目分页后会有两个链接指向栏目首页，如*/web/和*/web/list_1_1.html，为了网站优化，建议先将栏目分页优化以下(具体做法大家可以在网上找)，把首页和第一页的链接改为*/web/的形式，然后在robots.txt 文件里做以下设置:Disallow: /*1.html$以上就是DEDECMS robots.txt文件的设置，大家可以根据自己网站的情况具体设置。
robots.txt写法完全攻略
为什么对robots.txt文件的调用请求会产生一个二进制文件？只有网络服务器或FTP客户端软件错误设置的情况下才可 能发生这种错误。建议大家定期检查自己的robots.txt文件(http:/ /robo ts.txt)。
服务器/域名“农场”
错误5―指令行前有空格
例如"Disallow:/cgi-bin/"，虽然RES标准并未对这种格式予以特别说明，但我们对这种格式是持极力反对态度的。同样的问题摆在你面前 你冒得起无法被Spiders正确解读的险吗?
错误6--404重定向至另一页面
一般没有robots.txt的网站会将对robots.txt文件的调用请求转至另一页面。这种重定向通常不会产生服务器状态错误或重定向状态信息。然而因为是Spiders自己决定它看到的是robots.txt文件还是一个.html文件。虽然理论上应该不会有什么问题，不过为了保险起见，不妨在你服务器的顶级目录下放一个空的robots.txt文件。在www.go /bot.html下，也提供了相同的建议―“如欲避免网络服务器日志中的出错信息‘找不到文件’，可在其根域下创建一个空的robots.txt文件。”
绝大多数的spiders对上述声明行都无法做出正确的解析，有些Spiders会忽略其空格而解析为/css//cgi-bi n//images/，或只解析/images/或/css/，或者根本不予解析。
正确的语法应为：
Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/
对RES标准的扩展：
尽管已经提出了一些扩展标准，如Allow行或Robot版本控制(例如应该忽略大小写和版本号)，但尚未得到RES工作组 的正式批准认可。
Wordpress新手Robots.txt文件规范写法
Wordpress新手Robots.txt文件规范写法今日发现，有好多同学开始玩WordPress了，很高兴有些志同道合的朋友加入WP的大家庭。
可是，不管你的水平如何，只要你是站长，就有必要懂的Robots.txt的写法与作用。
近日，小站的?p=XX页面老是出现在百度收录中，虽然有增加收录的作用，但是会对网站权重造成影响。
所以我采取了一系列的措施来避免过多的重复页面抓取。
其实，我从一开始就做了Robot的优化工作，只不过搬空间时候忘了那个Robots文件了……一失足成千古恨，博客收录降了好多……Word Press的优化还是做得很好的，虽然有些地方需要借助自己对Html等小知识的掌握，但这并不妨碍你把WordPress站点打造成优化典范！下面我分享一下自己博客的Robots文件，并简单的说一下作用。
User-agent: *Disallow: /comments/feed/Disallow: /*/trackbackDisallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-content/plugins/Disallow: /wp-content/themes/Disallow: /*?replytocom=Disallow: /*/comment-page-*Disallow: /?r=*Disallow: /?p=*Disallow: /page/Allow: /wp-content/uploads/Sitemap: http://***.me/sitemap.xmlSitemap: http://***.me/sitemap_baidu.xml上面的User-agent:*意思就是对所有的蜘蛛进行规则，Disallow想必大家英文稍微会一点的都懂。
比如Disallow: /page/意思就是不要抓取/page下面的网页，以免造成降权。
robots文件的语法及用法
只允许Google的蜘蛛抓取；
User-agent: *
允许所有蜘蛛抓取。
注意：User-agent必须出现在第一行（有意义的行，注释除外），首先声明用户代理。
(2)Disallow:
指定禁止蜘蛛抓取的目录或文件，如：
Disallow: /help.php
noindex,nofollow可以写成none，如：
<meta name=”robots” content=”none” />
需要注意的是，robots Meta标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。所以，尽可能的使用robots.txt文件来限制抓取。
最后，给大家一个建议，不要太刻意的在robots.txt中设置过多禁止文件或目录，只设置确实不希望被搜索引擎索引的目录和文件就可以了。
这就是前面说到的那两位朋友网站robots.txt的问题，他们用“Disallow: /”禁止了蜘蛛抓取根目录下的所有内容。
4、robots.txt需要注意的几个问题：
robots.txt文件中任意一行Disallow的值为空，其他指定的项都将失效，整站允许User-agent指定的蜘蛛抓取；robots.txt文件中允许使用注释，以“#”开头的内容被认作注释；但注释最好独立成一行，尽量不要加在参数后面，如“Disallow: /admin/ #manage dir”，某些蜘蛛可能将注释当作值的一部分。
# All robots will spider the domain
User-agent: *
Disallow:
以上文本表达的意思是允许所有的搜索机器人访问站点下的所有文件。
robots文件的写法
Robots.txt的写法说明这是梦程序的robots文件，打开你的网址：http://www.******.com/robots.txt，应该有以下内容：User-agent: *Disallow: /plus/ad_js.phpDisallow: /plus/advancedsearch.phpDisallow: /plus/car.phpDisallow: /plus/carbuyaction.phpDisallow: /plus/shops_buyaction.phpDisallow: /plus/erraddsave.phpDisallow: /plus/posttocar.phpDisallow: /plus/disdls.phpDisallow: /plus/feedback_js.phpDisallow: /plus/mytag_js.phpDisallow: /plus/rss.phpDisallow: /plus/search.phpDisallow: /plus/recommend.phpDisallow: /plus/stow.phpDisallow: /plus/count.phpDisallow: /includeDisallow: /templetsDisallow: *?*sitemap: http://www.******.com/sitemap.xml说明：User-agent: * 定义搜索引擎，*指所有的搜索引擎。
Disallow: 不允许抓取的内容，注意冒号后面应该有个空格。
Disallow: *?*这样就屏蔽了站内所有的动态地址不被抓取。
有人会问，我设置了可是怎么还有搜索动态网址啊，那是因为搜索引擎需要一段时间做出反应。
过段时间就没不抓取了。
sitemap: 这个是网站地图，用于给搜索引擎看的，指引他找到网站里面所有的网页文件。
注意：可以把网站上的死链接写到这里进行屏蔽。
robots文件的写法
网站robots文件怎么写我们要先了解什么是robots文件，才能来讨论怎么写robots 文件。
那robots究竟是什么呢？robots文件是用来告诉搜索引擎：这个网站上哪些部分可以被访问、哪些不可以，robots文件是存放在网站根目录下的一个纯文本文件。
当搜索引擎访问一个网站时，它首先会检查该网站根目录下是否存在robots文件。
robots文件必须放置在一个网站的根目录下，而且文件名必须全部小写。
我们做的网站肯定希望被收录，因为网站流量的一部分或者是大部分都是来自搜索，所以网站排名对网站来说是很重要的。
问题是：我们有的网站内容不希望杯搜索到，那么怎么办呢？在这种情况下，我们就有必要会用到robots文件，来与搜索引擎沟通。
所有的搜索引擎蜘蛛自动在网站根目录中寻找这个文件，所以你只需创建它并上传，然后等待蜘蛛来阅读。
Robots.txt文件没有任何方式来保护你的内容，只是阻止搜索引擎的索引。
我在这里主要说明下怎么写Robots.txt文件首先，我们来看一个robots文件的范例：/robots.txt访问以上具体地址，我们可以看到robots.txt的具体内容如下：# Robots.txt file from # All robots will spider the domainUser-agent: *Disallow: /admnt88/这些的意思是：允许所有的搜索引擎对网站进行访问，但是不允许所有的引擎来访问名为admnt88的文件夹。
搜索引擎蜘蛛看到之后，就会遵守这个规矩，而不是想搜索什么就搜索什么了。
所以，知道了怎么写robots文件之后，就可以控制蜘蛛读取的内容了。
语法分析：#后面的文字为说明信息；User-agent：后面是要加搜索引擎的名称，如果后面是*，则代表所有的搜索引擎；Disallow：后面为不允许搜索引擎访问的文件目录。
robots文件具体写法：1、允许所有搜索引擎访问User-agent: *Disallow:或者User-agent: *Allow: /在这里大家要注意下，可以最直接的建一个空文件“robots.txt”然后放到网站的根目录。
robots 写法
robots 写法在搜索引擎优化（SEO）中，文件是一个标准的做法，用于指导搜索引擎爬虫（如Googlebot）如何爬取和索引网站内容。
文件是一个纯文本文件，通常位于网站的根目录下，并命名为""。
下面是一些基本的规则和示例：1. Disallow: 禁止爬虫访问特定页面或目录```plaintextDisallow: /private/```这会阻止爬虫访问网站上的“/private/”目录及其下的所有页面。
2. Allow: 允许爬虫访问特定页面或目录```plaintextAllow: /about/```这会允许爬虫访问网站上的“/about/”目录及其下的所有页面。
3. Sitemap: 指定网站地图的位置```plaintextSitemap:```这告诉爬虫网站地图的位置，以便爬虫可以更容易地找到网站的所有页面。
4. User-agent: 针对特定的爬虫进行规则设置```plaintextUser-agent: GooglebotDisallow: /```这会阻止Googlebot访问网站的所有页面。
5. Crawl-delay: 延迟爬虫的访问速度```plaintextCrawl-delay: 5```这会告诉爬虫在连续访问页面之间等待5秒。
6. Noindex: 阻止页面被索引```plaintextUser-agent:Disallow: /noindex/```这会阻止所有爬虫访问网站上的“/noindex/”目录及其下的所有页面，并防止这些页面被搜索引擎索引。
7. Nofollow: 阻止链接追踪```plaintextUser-agent:Disallow: /nofollow/```这会阻止所有爬虫跟踪网站上的“/nofollow/”目录及其下的所有页面的外部链接。
robots 英文作文
robots 英文作文下载温馨提示:该文档是我店铺精心编制而成，希望大家下载以后，能够帮助大家解决实际的问题。
文档下载后可定制随意修改，请根据实际需要进行相应的调整和使用，谢谢!并且，本店铺为大家提供各种各样类型的实用资料，如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等，如想了解不同资料格式和写法，敬请关注!Download tips: This document is carefully compiled by theeditor. I hope that after you download them,they can help yousolve practical problems. The document can be customized andmodified after downloading,please adjust and use it according toactual needs, thank you!In addition, our shop provides you with various types ofpractical materials,such as educational essays, diaryappreciation,sentence excerpts,ancient poems,classic articles,topic composition,work summary,word parsing,copyexcerpts,other materials and so on,want to know different data formats andwriting methods,please pay attention!Robots are everywhere these days. From manufacturing plants to hospitals, robots are taking over jobs that were once done by humans. They can work faster and more efficiently than people, but some worry that they will eventually replace humans in the workforce.Robots come in all shapes and sizes. Some are small and can fit in the palm of your hand, while others are massive and can tower over buildings. They can be programmed to perform a wide range of tasks, from simple repetitive actions to complex problem-solving.One of the most exciting developments in robotics is the use of artificial intelligence. This allows robots to learn from their experiences and make decisions on their own. It's a bit scary to think about, but it's also incredibly impressive.Of course, there are also concerns about the rise ofrobots. Some worry that they will lead to mass unemployment as they take over more and more jobs. Others worry about the ethical implications of giving robots too much power and autonomy.Despite these concerns, it's clear that robots are here to stay. They have already revolutionized many industries, and it's likely that they will continue to do so in the future. It's an exciting time to be alive, as we witness the rise of the robots.。