SEO中Robots文件的使用介绍
robot文件相关知识大全
你真的懂robots文件吗？前些日子针对企业网站内部优化和大家分享了下，相信大家也都比较了解站内优化所包含的几大步骤。
其中robots文件的设置相信很多的seoer都知道起着举足轻重的作用。
今天我菜鸟seo郝晓奇就来为大家相信的介绍介绍robots文件，让您真的更懂它。
搜索引擎都有自己的“搜索机器人”（Robots），并通过这些Robots在网络上沿着网页上的链接不断抓取资料建立自己的数据库。
但是有时候对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被Robots抓取公开。
为了解决这个问题，robots文件就应运而生了。
robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
相信很多seoer都知道如何书写robots文件，那么我就针对像我一样菜鸟级的seoer们在啰嗦啰嗦robots文件的格式问题。
robots文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow 行，详细情况如下：1、 User-agent:该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。
如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中， "User-agent: *"这样的记录只能有一条。
Robots写法
Robots写法搜索引擎Robots协议，是放置在网站根目录下robots.txt文本文件，在文件中可以设定搜索引擎蜘蛛爬行规则。
设置搜索引擎蜘蛛Spider抓取内容规则。
下面Seoer惜缘举例robots写法规则与含义：首先要创建一个robots.txt文本文件，放置网站的根目录下，下面就开始编辑设置Robots协议文件：一、允许所有搜索引擎蜘蛛抓取所以目录文件，如果文件无内容，也表示允许所有的蜘蛛访问，设置代码如下：User-agent: *Disallow:或者User-agent: *Allow: /二、禁止某个搜索引擎蜘蛛抓取目录文件，设置代码如下：User-agent: MsnbotDisallow: /例如想禁止MSN的蜘蛛抓取就设为，Msnbot代表MSN的蜘蛛，如果想禁止其他搜索引擎就更换蜘蛛名字即可，其他蜘蛛名字如下：百度的蜘蛛：baiduspiderGoogle的蜘蛛：Googlebot腾讯Soso:SosospiderY ahoo的蜘蛛：Y ahoo SlurpMsn的蜘蛛：MsnbotAltavista的蜘蛛：ScooterLycos的蜘蛛：Lycos_Spider_(T-Rex)三、禁止某个目录被搜索引擎蜘蛛抓取，设置代码如下：User-agent: *Disallow: /目录名字1/Disallow: /目录名字2/Disallow: /目录名字3/把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取，目录名字未写表示可以被搜索引擎抓取。
四、禁止某个目录被某个搜索引擎蜘蛛抓取，设置代码如下：User-agent: 搜索引擎蜘蛛名字说明(上面有说明蜘蛛的名字)Disallow: /目录名字/ 说明(这里设定禁止蜘蛛抓取的目录名称)例如，想禁目Msn蜘蛛抓取admin文件夹，可以设代码如下：User-agent: MsnbotDisallow: /admin/五、设定某种类型文件禁止被某个搜索引擎蜘蛛抓取，设置代码如下:User-agent: *Disallow: /*.htm 说明(其中“.htm”，表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)六、充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取，设置代码如下: User-agent: *Allow: .htm$ 说明(其中“.htm”，表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件) 七、只充许某个搜索引擎蜘蛛抓取目录文件，设置代码如下：User-agent: 搜索引擎蜘蛛名字说明(上面有说明蜘蛛的名字)Disallow:。
什么是robots文件
robots文件全名叫做robots.txt是网站和搜索引擎之间的协议，并不是每个网站都有robots文件、所以就需要我们做seo来给我们网站添加robots文件、并且优化robots文件。
robots文件添加的位置
robots文件必须放在网站根目录，而且文件名称必须要是小写（robots.txt）文件
User-agent: * 跟的是蜘蛛的名称
*是一个通配符，代表是所有的蜘蛛的名称
googlebot: 谷歌baiduspider: 百度
Disallow: 跟的是不允许被抓取的文件路径
Allow: 跟的是允许被抓取的文件路径
我们一般使用robots.txt屏蔽对于排名没有价值的文件，或者网站安全隐私的文件或者是网站的死链接文件。
Disallow: /hang （后台登陆路径）
Disallow: /data （数据库文件）
Disallow: /member （会员注册文件）
m（文件夹织梦自适应的移动站点的文件夹）
什么叫站点地图
网站栏目和内容的集合、可把网站栏目和内容汇聚到一个页面，那么这个页面就包含了所有的内容和栏目链接，做站点地图的目的就是为了提高蜘蛛的抓取效率，提高网站收率。
站点地图如何制作
站点地图常见的格式有三种
sitemap.html （常见）
sitemap.xml （常见）
sitemap.txt （最少见）
百度更喜欢html格式的地图
谷歌更喜欢xml格式的地图。
SEO教程 robots.txt文件常见用途
Disallow: /images/ 图片
Disallow: /data/ 数据库文件
Disallow: /template/ 模板文件
Disallow: /css/ 样式表文件
Disallow: /lang/ 编码文件 Disallow: /script/ 脚本文件 注：每个网站的文件夹名字可能会不一样
User-agent: *
Disallow: /*?* 4. 禁止网站上的程序文件被搜索引擎蜘蛛索引，这样可以节 省服务器资源。
一般网站中不需要蜘蛛取的文件有：后台管理文件、程序脚 本、附件、数据库文件、编码文件、样式表文件、模板文件、 导航图片和背景图片等等。
User-agent: *
Disallow: /admin/ 后台管理文件 Disallow: /require/ 程序文件 Disallow: /attachment/ 附件
SEO 教程 robots.txt 文件常见用途 本文将为你介绍最常用的四种 robots.txt 文件格式。
1. 允许所有的搜索引擎访问网站的任何部分
User-agent: * Disallow:
(或者也可以建一个空文件 "/robots.txt")
2. 禁止所有搜索引擎访问网站的任何部分
User-agent: * Disallow: / 3. 禁止所有搜索引擎访问网站中所有的动态页面
SEO的Robots.txt文件设置
Robots.txt文件设置首先在这里给大家介绍一下Robots.txt文件的具体写法 1）允许所有搜索引擎访问User-agent:*Disallow:或User-agent:*Allow:/2）禁止所有搜索引擎访问User-agent:*Disallow:/或User-agent:*Allow:3）禁止所有搜索引擎访问网站中胡几个部分在这里用a.b.c目录来代替User-agent:*Disallow:/a/Disallow:/b/Disallow:/c/如果是允许，则是Allow:/a/Allow:/b/Allow:/c/4）禁止某个搜索引擎的访问User-agent：w（比如用w代替某个搜索引擎）Disallow：/或User-agent：wDisallow：/d/*.htm在Disallow：后加/d/.htm的意思是禁止/d/目录下所有以“。
htm”为后缀的URL，包含子目录。
5）只允许某个搜索引擎的访问User-agent：e（用e代替）Disallow：在Disallow：后不加任何东西，意思是仅允许e访问该网站6）使用“$”限制访问urlser-agent：*Allow：。
html$Disallow:/意思是仅允许访问以“。
htm”为后缀的url7）禁止访问网站中所有的动态页面User-agent：*Disallow：/*?*8）禁止搜索引擎F抓取网站上所有图片User-agent：*Disallow：。
jpg$Disallow：。
jpeg$Disallow：。
gif$Disallow：。
png$Disallow：。
bmp$意思是只允许搜索引擎抓取网页，禁止抓取任何图片（严格来说，是禁止抓取jpg、jpeg、gif、png、bmp格式的图片9）只允许搜索引擎E抓取网页和。
gif格式图片User-agent:EAllow:gif$Disallow:jpg$Disallow:png$意思是只允许抓取网页和gif格式图片，不允许抓取其他格式图片第一步：新建一个txt文档—命名为：Robost.txt—在文档里写入User-agent:*Disallow:（注：这里的意思是允许所有的搜索引擎访问所有的文件）第二步：连接FXP软件，将Robots文件夹上传到根目录里，（提示：如果你的根目录里已经有了Robots文件，就得先要备份，再进行上传。
robots.txt文件的作用和语法介绍
robots.txt文件的作用和语法介绍1、什么是robots.txt文件搜索引擎有自己的搜索习惯，当它对一个网站进行搜索时，哪些目录和文件要看，哪些不用看，它有自己的算法。
我们也可以自己建立一个robots.txt文件，告诉搜索引擎的机器人哪些可以被收录，哪些不需要收录。
这样可以节约自己网站的资源，提高被搜索引擎收录的效率。
２、robots.txt放置位置robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
３、robots相关语法1)User-agent: 适用下列规则的漫游器(搜索引擎)该项的值用于描述搜索引擎robot的名字。
在robots.txt文件中，如果有多条User-agent 记录，就说明有多个robot会受到robots.txt的限制，对该文件来说，至少要有一条User-agent 记录。
如果该项的值设为*，则对任何robot均有效。
●Google爬虫名称: Googlebot●百度（Baidu）爬虫名称：Baiduspider●雅虎（Yahoo）爬虫名称：Yahoo Slurp●有道（Yodao）蜘蛛名称：YodaoBot●搜狗（sogou）蜘蛛名称：sogou spider●MSN的蜘蛛名称(微软最新搜索引擎Bing蜘蛛名也是这个)：Msnbot２）Disallow: 拒绝访问的目录或文件该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。
例如：Disallow:/seo.html 表示禁止robot访问文件/seo.html３）Allow:允许访问的目录或文件该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。
例如：Allow:/hibaidu/ 表示允许robot访问目录/hibaidu/4)使用通配符"*"和"$"：$ 匹配行结束符。
robots.txt协议
robots.txt协议robots.txt协议是一种让网站管理员告诉搜索引擎哪些页面可以抓取，哪些页面不可以抓取的协议。
这个协议是通过在网站的根目录下放置一个名为robots.txt的文本文件来实现的。
在这个文件中，网站管理员可以指定搜索引擎爬虫访问的权限，以及哪些页面不希望被搜索引擎收录。
这个协议的存在可以帮助网站管理员更好地控制搜索引擎爬虫的行为，从而更好地保护网站的内容和隐私。
robots.txt协议的作用主要有以下几个方面：1. 控制搜索引擎爬虫的访问范围。
通过robots.txt文件，网站管理员可以指定哪些页面可以被搜索引擎爬虫访问，哪些页面不可以被访问。
这样可以避免搜索引擎爬虫访问一些不希望被公开的页面，比如一些内部管理页面或者一些隐私内容。
2. 优化搜索引擎收录。
通过robots.txt文件，网站管理员可以指定哪些页面可以被搜索引擎收录，哪些页面不希望被收录。
这样可以帮助网站管理员更好地控制搜索引擎对网站内容的收录，从而更好地展现网站的核心内容。
3. 保护网站安全。
通过robots.txt文件，网站管理员可以排除一些敏感信息和目录，避免被搜索引擎爬虫访问，从而保护网站的安全。
在编写robots.txt文件时，网站管理员需要注意以下几点：1. 确保robots.txt文件位于网站的根目录下。
搜索引擎爬虫在访问网站时会首先查找robots.txt文件，因此这个文件必须放置在网站的根目录下，以确保搜索引擎爬虫能够正确地读取到这个文件。
2. 使用正确的语法。
robots.txt文件采用了一种特定的语法规则，网站管理员需要按照这种规则编写文件内容，以确保搜索引擎爬虫能够正确地解析和执行这个文件。
3. 定期更新文件内容。
随着网站内容的更新和变化，robots.txt文件的内容也需要相应地进行更新，以确保搜索引擎爬虫能够正确地访问和收录网站的最新内容。
总之，robots.txt协议是网站管理员在管理搜索引擎爬虫行为方面的重要工具，通过合理地编写和使用robots.txt文件，可以更好地控制搜索引擎对网站内容的访问和收录，从而更好地保护网站的内容和隐私，提升网站的安全性和搜索引擎优化效果。
Sitemap和Robots.txt SEO优化技巧
在做网站优化的时候，我们不仅要进行网站内容，外链，内链的优化，还需要从sitemap.xml 和robots.txt这些细节之处着手。
sitemap和robots.txt是一个网站针对搜索引擎设置的两个极其重要的文件。
一般的站长都知道，建好网站后需要建立网站的sitemap.xml，还有特殊情况的话需要进行robots.txt文件的设置。
下面说说Sitemap和Robots.txt SEO优化技巧。
第一部分：网站sitemap优化的技巧1. 网站必须要设立sitemap文件。
不管你的网站是不是已经被收录，设置sitemap文件就像相当于给搜索引擎提供了你网站的目录，让搜索引擎更有效率的在你的网站上爬行抓取。
2. 根目录下必须要有sitemap.xml文件。
这是针对第一点来说的，许多网站系统可以自动生成sitemap文件。
但是存储的名称和位置可是多种多样：比如ecshop默认生成的sitemap文件命名为sitemaps.xml；dedecms系统生成的sitemap文件就位于data/rss/目录之下，名称也是已数字命名的。
这些都不是规范的。
搜索引擎默认的格式是你根目录下的sitemap.xml文件。
也就是说，搜索引擎来到你网站的时候会自动寻找你的sitemap.xml文件，而不是其他目录或其他名称的文件。
3. 建立sitemap的索引文件。
关于sitemap的索引文件，了解的人并不多，主要是大家都没有考虑到第2个问题，以为只要自己设立了sitemap文件就可以了。
俗话说酒香还怕巷子深，你把sitemap文件放到那么深的文件目录，你觉得搜索能找到吗。
有人说，我提交到搜索引擎的管理员工具中，但并不是每个搜索引擎都有管理员工具的。
如果你在网站根目录下设立了默认的sitemap索引文件，则可以便捷的向来到你网站的任何一个搜索引擎展示你的网站目录。
并不是每个网站都需要一个sitemap索引文件。
这是因为索引文件的作用是指引搜索引擎爬行你真正的sitemap文件的。
robots 协议
robots 协议Robots 协议。
Robots 协议是一种被网站使用的协议，它告诉搜索引擎爬虫哪些页面可以被抓取，哪些页面不可以被抓取。
这个协议是由 Robots Exclusion Standard 制定的，它是一种被广泛接受的标准，用于网站管理员控制搜索引擎爬虫对其网站内容的访问。
Robots 协议的作用是保护网站的内容，防止搜索引擎爬虫抓取一些敏感信息，比如会员专区、个人信息等。
通过 Robots 协议，网站管理员可以在网站的根目录下放置一个名为 robots.txt 的文件，通过这个文件来告诉搜索引擎爬虫哪些页面可以被抓取，哪些页面不可以被抓取。
在 robots.txt 文件中，网站管理员可以使用一些指令来控制搜索引擎爬虫的行为。
比如，可以使用 Disallow 指令来告诉搜索引擎爬虫哪些页面不可以被抓取，可以使用 Allow 指令来告诉搜索引擎爬虫哪些页面可以被抓取。
此外，还可以使用User-agent 指令来指定针对某个搜索引擎爬虫的规则，也可以使用 Sitemap 指令来指定网站地图的位置。
Robots 协议对于网站的搜索引擎优化（SEO）非常重要。
通过合理地设置robots.txt 文件，可以让搜索引擎爬虫更加高效地抓取网站内容，从而提升网站在搜索引擎中的排名。
另外，通过 Robots 协议，网站管理员还可以控制搜索引擎爬虫对网站内容的访问频率，避免因为爬虫过于频繁地访问而导致服务器负载过重。
除了 robots.txt 文件，网站管理员还可以通过在网页的头部添加 meta 标签来指定搜索引擎爬虫的行为。
通过使用 meta 标签，网站管理员可以指定某个页面的索引行为、跟踪行为，以及搜索引擎爬虫的抓取频率等信息。
总的来说，Robots 协议是网站管理员用来控制搜索引擎爬虫行为的重要工具。
通过合理地设置 Robots 协议，可以保护网站的内容，提升网站在搜索引擎中的排名，从而带来更多的流量和用户。
robots.txt写法
User-agent: googlebot
Disallow: /
6、阻止搜索引擎访问网站中全部的动态页面（动态页面便是URL中任何带有“？”的页面）
User-agent: *
Disallow: /*?*
7、仅仅容许搜索引擎访问某一特定文件后缀形式的网页。
7、要是你不想自己动手写robots.txt文件，那么请Google帮你写。登录Google平台，有生成robots.txt文件的。
8、
User-agent: *
Disallow: /
这种格式不但仅是阻止抓取页面，更主要的是你的网站被收录了，然后又把robots.txt文件修改成以上格局，那么你的网站将在搜索引擎中被删除，整个地删除。
5、robots.txt通常在某个分目录中还可以存在，但是要是与顶级目录中的robots.txt有不同，则以顶级目录中robots.txt为准。
6、仅当您的网站包括不希望被搜索引擎收录的内容时，才要利用robots.txt文件。要是您希望搜索引擎收录网站上全部内容，请勿创建 robots.txt文件，不要创建一个内容为空的robots.txt文件。这一点通常被人们马虎，实际上创建空的robots.txt文件对搜刮引擎非常不友好。
Allow: /
3、要是你网站的某个目录不想被搜索引擎收录，写法如下：
User-agent: *
Disallow: /目录名称1/
Disallow: /目录名称2/
Disallow: /目录名称3/
过细：不能写成Disallow: /目录名称1/ /目录名称2/ 这样的情势，每个目录要单独另起一行特别阐明。
robots.txt写法
什么是robots？如何设置robots？
什么是robots？如何设置robots？robots是位于网站根目录的一个TXT文本文件，主要的作用是告诉搜索引擎那些页面可以抓取，那些页面不可以抓取。
一、robots定义：robots是网站和搜索引擎爬虫之间的协议，当搜索引擎爬虫爬取一个网站之前，第一先访问该网站有没有robots协议，如果有按照设置的robots协议进行对网站的抓取，如果没有默认网站所有页面都可以被抓取。
搜索引擎通过一个程序（搜索引擎蜘蛛），自动获取互联网上数亿的网页，经过分析和对比，筛选出质量优质的网页，进行收录和索引，最后得到网页的排名，用户查询关键词就可以访问到被收录的网页。
所以在网站的根目录创建一个robots协议用来告诉搜索引擎，网站这个页面可以被抓取，那个网页不让抓取。
可以说robots协议是对搜索引擎蜘蛛的行为设定了要求。
二、robots注意事项网站所有的内容都可以让搜索引擎抓取，我就不设置robots文件这是不对的，每次搜索引擎蜘蛛来到网站访问robots 文件都会生成一个404页面，网页不存在，对网站有不好的影响。
这种的可以在网站根目录放一个空的robots文件，什么都不写就可以了。
设置所有网页都让搜索引擎抓取，可以增加收目率这个想法也是错误的，搜索引擎对html文件情有独钟，对JS、框架等文件很是排斥。
网站的脚本文件、样式表等可以选择屏蔽，浪费服务器资源还得不到好处。
蜘蛛抓取浪费服务器资源，在robots协议中屏蔽所有搜索引擎这样就把搜索引擎蜘蛛屏蔽了，搜索引擎蜘蛛不会抓取网站内的内容，也不会有收录robots文件需要放置到网站的根目录，url格式域名+robots.txtrobots文件可以放置网站地图的链接，搜索引擎蜘蛛每次到网站首先访问的就是robots文件，所以放上网站的网站地图，有利于搜索引擎蜘蛛发现更多的链接。
robots文件必须是小写命名三、robots协议的设置robots文件的设置有两种参数，一个允许，一个拒绝。
SEO优化之网站收录：利用robots.txt禁止不想被收
SEO优化之网站收录：利用robots.txt禁止不想被收robots.txt 文件位于您网站的根目录下，用于表明您不希望搜索引擎抓取工具访问您网站上的哪些内容。
此文件使用的是Robots 排除标准，该标准是一项协议，其中含有一小组命令，用于表明哪些类型的网页抓取工具可以访问您网站的哪些部分。
什么样的URL需要robots.txt 禁止搜索引擎蜘蛛抓取呢？1.同时存在动态和静态URL通常情况下很多网站都会对URL进行静态化，但是很多时候在网站的运营过程中，往往导致动态URL也被抓取了，比如营销部门不小心用动态URL来推广，比如产品部门不小心也用了动态URL，这个时候就会导致两个不一样的URL对应相同的内容，这对搜索引擎来讲是不友好的，也会导致权重的分散，或者导致搜索引擎抓取的页面不是站长需要的，这时候就需要用robots.txt来屏蔽动态的URL了。
2.有些内容我们不需要搜索引擎进行抓取大家都知道淘宝不希望被百度抓取，淘宝认为他的商品页面最具价值，不希望百度收录之后导致用户搜索商品到来百度搜索，这样对淘宝来讲是不利益的，所以淘宝就屏蔽了百度的抓取，自然淘宝也少了很多流量。
我们有些会员信息，网站程序URL等都不希望被搜索引擎抓取，那么也可以用robots.txt进行屏蔽。
利用robots.txt 禁止不想被收录的url的好处：1.重复的URL被屏蔽之后，有利于权重的积累2.屏蔽一些无效的URL能提高搜索引擎的抓取效率，因为搜索引擎到网站的时间是固定的，那么如果有很多无效的URL，对于大型网站来讲，比如几千万级别的，搜索引擎花了大量的时间处理无效的URL，自然对有效的URL处理的时间就会减少，自然就会导致收录有问题。
robots.txt的撰写规则：robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它[2]。
robots.txt是一个协议，而不是一个命令。
Robots.txt文件是什么有什么用
Robots.txt文件是什么有什么用1、Robots.txt文件是什么首先SEO博客要和大家弄清楚robots.txt的概念问题，带有txt后缀的文件是纯文本文档，robots是机器人的意思，也就是说，robots.txt文件是给搜索引擎蜘蛛看的纯文本文件。
它告诉搜索引擎哪些网页允许抓取、索引并在搜索结果中显示，哪些网页是被禁止抓取的。
搜索引擎蜘蛛来访问你的网站页面的，首先会查看网站根目录下是否有robots.txt文件，robots.txt文件就是起到这个作用的。
我们都知道淘宝网是屏蔽百度的，靠的就是robots.txt文件。
文件是这样书写的：User-agent: BaiduspiderDisallow: /User-agent: baiduspiderDisallow: /2. robots.txt的作用通过设置屏蔽搜索引擎，使之不必要页面被收录，可以大大降低抓取页面所占用的网站带宽，大型网站尤为明显了。
设置robots.txt文件可以指定某个搜索引擎不去索引不想被收录的URL，比如我们通过url重写将动态URL静态化为永久固定链接，就可以通过robots.txt设置权限，阻止某些搜索引擎索引那些动态网址，网站重复页面将减少，有利于SEO优化。
3. robots.txt 怎么写下面以WordPress博客来作举例。
如robots.txt文件里写入以下代码：User-agent: *Disallow:Allow: /robots.txt写法中应该注意的几点。
1、robots.txt必须上传到网站根名录下，不能放在子目录下；2、robots.txt，Disallow等必须注意大小写，不能变化；3、User-agent，Disallow等后面的冒号必须是英文状态下的。
4、User-agent是表示搜索引擎（spider）的：星号“*”代表所有spider，Google的spider是“Googlebot”，百度是“Baiduspider”；5、Disallow:表示不允许搜索引擎访问和索引的目录；6、Allow:指明允许spider访问和索引的目录，Allow: / 表示允许所有，和Disallow: 一样。
robots文件
robots文件1、什么是robots.txt文件搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。
spider 在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt 的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。
您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。
如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt 文件。
2、robots.txt文件放在哪里robots.txt文件应该放置在网站根目录下。
举例来说，当spider访问一个网站（比如 ）时，首先会检查该网站中是否存在/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
3、我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中如果其他网站链接了您robots.txt文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。
4、禁止搜索引擎跟踪网页的链接，而只对网页建索引如果您不想搜索引擎追踪此网页上的链接，且不传递链接的权重，请将此元标记置入网页的<HEAD>部分：<meta name="robots" content="nofollow">如果您不想百度追踪某一条特定链接，百度还支持更精确的控制，请将此标记直接写在某条链接上：<a href="signin.php" rel="nofollow">sign in</a>要允许其他搜索引擎跟踪，但仅防止百度跟踪您网页的链接，请将此元标记置入网页的<HEAD>部分：<meta name="Baiduspider" content="nofollow">5、禁止搜索引擎在搜索结果中显示网页快照，而只对网页建索引要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的<HEAD>部分：<meta name="robots" content="noarchive">要允许其他搜索引擎显示快照，但仅防止百度显示，请使用以下标记：<meta name="Baiduspider" content="noarchive">注：此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。
seo如何写robots.txt
Disallow
2、允许所有的robot访问
User-agent
Disallow
或者
User-agent
Allow
注意，最直接的可以建一个空文件 “r-binsee
Allow tmphi
Allow ~joelook
Disallow cgi-bin
Disallow tmp
Disallow ~joe
5、使用””限制访问url
User-agent
Disallow cgi-bin.htm
意为禁止访问cgi-bin目录下的所有以”.htm”为后缀的URL(包含子目录)。
allow
或者： User-agent spider Disallow
disallow：后许访问特定目录中的部分url
User-agent
如何写robots.txt文件
在学习seo的过程中，robots.txt的撰写是不可避免的，但是众多新手并不知道如何写robots.txt，甚至连什么是robots.txt都不知道，我在刚开始的时候也是没有怎么认真写，我们广州seo咨询室就写了一个空的robots.txt文件，现在想想，对它的研究是少了点，毕竟robots.txt文件对一个网站的收录和排名还是有很大的帮助的，写好了，就等于你牵着se的鼻子走。
6、使用”$”限制访问url
User-agent
Allow .htm$
Disallow
意为仅允许访问以”.htm”为后缀的URL
7、禁止访问网站中所有的动态页面
User-agent
Disallow 8、禁止spider抓取网站上所有图片 译过来是不允许，可以写成allow。后面的“”表示所有文件，如果是某个文件夹，则要表示为“文件夹1ser-agent
robots文件的语法及用法
只允许Google的蜘蛛抓取；
User-agent: *
允许所有蜘蛛抓取。
注意：User-agent必须出现在第一行（有意义的行，注释除外），首先声明用户代理。
(2)Disallow:
指定禁止蜘蛛抓取的目录或文件，如：
Disallow: /help.php
noindex,nofollow可以写成none，如：
<meta name=”robots” content=”none” />
需要注意的是，robots Meta标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。所以，尽可能的使用robots.txt文件来限制抓取。
最后，给大家一个建议，不要太刻意的在robots.txt中设置过多禁止文件或目录，只设置确实不希望被搜索引擎索引的目录和文件就可以了。
这就是前面说到的那两位朋友网站robots.txt的问题，他们用“Disallow: /”禁止了蜘蛛抓取根目录下的所有内容。
4、robots.txt需要注意的几个问题：
robots.txt文件中任意一行Disallow的值为空，其他指定的项都将失效，整站允许User-agent指定的蜘蛛抓取；robots.txt文件中允许使用注释，以“#”开头的内容被认作注释；但注释最好独立成一行，尽量不要加在参数后面，如“Disallow: /admin/ #manage dir”，某些蜘蛛可能将注释当作值的一部分。
# All robots will spider the domain
User-agent: *
Disallow:
以上文本表达的意思是允许所有的搜索机器人访问站点下的所有文件。
robots 写法
robots 写法在搜索引擎优化（SEO）中，文件是一个标准的做法，用于指导搜索引擎爬虫（如Googlebot）如何爬取和索引网站内容。
文件是一个纯文本文件，通常位于网站的根目录下，并命名为""。
下面是一些基本的规则和示例：1. Disallow: 禁止爬虫访问特定页面或目录```plaintextDisallow: /private/```这会阻止爬虫访问网站上的“/private/”目录及其下的所有页面。
2. Allow: 允许爬虫访问特定页面或目录```plaintextAllow: /about/```这会允许爬虫访问网站上的“/about/”目录及其下的所有页面。
3. Sitemap: 指定网站地图的位置```plaintextSitemap:```这告诉爬虫网站地图的位置，以便爬虫可以更容易地找到网站的所有页面。
4. User-agent: 针对特定的爬虫进行规则设置```plaintextUser-agent: GooglebotDisallow: /```这会阻止Googlebot访问网站的所有页面。
5. Crawl-delay: 延迟爬虫的访问速度```plaintextCrawl-delay: 5```这会告诉爬虫在连续访问页面之间等待5秒。
6. Noindex: 阻止页面被索引```plaintextUser-agent:Disallow: /noindex/```这会阻止所有爬虫访问网站上的“/noindex/”目录及其下的所有页面，并防止这些页面被搜索引擎索引。
7. Nofollow: 阻止链接追踪```plaintextUser-agent:Disallow: /nofollow/```这会阻止所有爬虫跟踪网站上的“/nofollow/”目录及其下的所有页面的外部链接。
Robots的格式和作用
Robots的格式和作用来源首选，我们要认识的是什么是Robots，robots.txt是一种存放于网站根目录下的文本文件，用于告诉搜索引擎的爬虫(spider)，此网站中的哪些内容是不应被搜索引擎的索引，哪些是可以被索引。
但是对于很多刚接触seo的站长们来说的话，对于Robots搜索引擎蜘蛛还是很不了解，不了解他是怎么使用的？下面我跟大家分享下搜索引擎robots详解：1.robots.txt文件的用途robots的主要作用是引导蜘蛛去爬行，抓取，不需要参与排名的东西可以用robots屏蔽掉，主要作用是引导和屏蔽。
2.robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。
举例来说，当spider访问一个网站（比如）时，首先会检查该网站中是否存在/robots.txt这个文件，如果蜘蛛找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
3.robots.txt文件的格式User-agent:该项后面主要接的是蜘蛛的名字，比如百度蜘蛛是baiduspider、谷歌蜘蛛是googlebot、雅虎蜘蛛是Yahoo slurp。
如果后面接的是“*”,就代表所有蜘蛛都可以爬行Disallow:这个代表的就是说不希望蜘蛛访问的路径。
例如"Disallow:/aaAllow:这条是允许蜘蛛访问的内容。
例如你用disallow禁止蜘蛛爬行一个文件夹，然后又希望这个文件夹的某个php文件被爬行，那么久可以用到allow。
在添加网站地图的时候也经常用到allow，比如allow:/sitemap。
对于站长们，莆田seo建议大家只有了解了robots.txt的具体用途和相关性的规则。
可以利用robots来巧妙的引导蜘蛛爬行，一个优秀的站长总是能很巧妙的利用robots，这样不仅便于搜索引擎的搜索。
而且还对网站优化起了一个很大的帮助。
转载请注明来源，跟大家分享seo学习知识。
robots.txt文件用法举例
1.robots.txt例1.禁止所有搜索引擎访问网站的任何部分User-agent: * Disallow: /例2.允许所有的robot访问(或者也可以建一个空文件"/robots.txt") User-agent: * Disallow:或者User-agent: * Allow: /例3. 仅禁止Baiduspider访问您的网站User-agent: Baiduspider Disallow: /例4. 仅允许Baiduspider访问您的网站User-agent: Baiduspider Disallow:User-agent: * Disallow: /例5. 禁止spider访问特定目录在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot 不会访问这三个目录。
需要注意的是对每一个目录必须分开声明，而不能写成"Disallow: /cgi-bin/ /tmp/"。
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/例6. 允许访问特定目录中的部分url User-agent: * Allow: /cgi-bin/see Allow: /tmp/hi Allow: /~joe/look Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/例7. 使用"*"限制访问url禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
User-agent: * Disallow: /cgi-bin/*.htm例8. 使用"$"限制访问url仅允许访问以".htm"为后缀的URL。
User-agent: * Allow: .htm$ Disallow: /例9. 禁止访问网站中所有的动态页面User-agent: * Disallow: /*?*例10. 禁止Baiduspider抓取网站上所有图片User-agent: Baiduspider仅允许抓取网页，禁止抓取任何图片。
robots.txt规则
robots.txt规则robots.txt是一种文件，用于告诉搜索引擎爬虫哪些页面可以被访问，哪些不可以被访问。
它通常放置于网站的根目录下，即域名后面的第一个文件。
网站管理员可以通过修改robots.txt来控制搜索引擎爬虫的行为，从而保证网站内容的安全和正确性。
下面是robots.txt规则及其解释。
User-agent:Disallow:这是robots.txt文件中最基本的规则，意思是所有的搜索引擎爬虫都不可以访问网站的任何页面。
这个规则的意思是所有的搜索引擎爬虫都不可以访问网站的任何页面。
这个规则通常比较危险，应该只在特殊情况下使用，比如网站被黑或者正在进行重大维护升级等。
这个规则的意思是只限制Google爬虫（googlebot）不能访问网站的/private/目录下的页面。
其他的搜索引擎爬虫依然可以访问这些页面。
User-agent: *Disallow: /admin/Disallow: /cgi-bin/Disallow: /db/Disallow: /includes/Disallow: /modules/Disallow: /tmp/Disallow: /web_services/Disallow: /xmlrpc/这个规则禁止搜索引擎爬虫访问网站的管理员目录、cgi-bin目录、数据库目录、代码包含目录、模块目录、临时文件目录、Web服务目录和XML-RPC目录。
这些目录通常包含的是网站的敏感信息和业务数据，所以要严格控制访问权限。
这个规则是WordPress网站的标准robots.txt规则。
它禁止了Google爬虫访问网站的说明文件、许可证文件、登录页面、XML-RPC文件以及WordPress的后台目录和核心文件目录。
其他的搜索引擎爬虫也可以根据这个规则进行访问控制。
这个规则禁止搜索引擎爬虫访问网站的压缩文件、PDF文件、Word文件、Excel文件、PPT文件和Flash文件。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
SEO中Robots文件的使用介绍
搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为robots.txt的文本文件，robots.txt用于指令搜索引擎禁止抓取网站某些内容或指定允许抓取某些内容，如百度的robots文件位于：（/robots.txt）只有在需要禁止抓取某些内容时，写robots.txt才有意义。
Robots文件不存在或者是空文件都意味着允许搜索引擎抓取所有内容。
有的服务器设置有问题。
Robots文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这有可能使搜索引擎错误解读robots文件信息，所以建议就算允许抓取所有内容，也要建一个空的robots.txt文件，放在你的网站的根目录下。
Robots文件由记录组成，记录记录之间以空行分开，记录格式为：
<域名>：<可选空格><域值><可选空格>
最简单的robots文件：
User-agent:*
Disallow:/
以上这个robots文件的意思是禁止所有搜索引擎抓取任何文章内容。
User-agent:指定下面的贵州适用于那个蜘蛛。
通配符“*”代表所有搜索引擎，只适用于百度蜘蛛则用：
User-agent:Baiduspider
只适用于谷歌蜘蛛则用：
User-agent:Googlebot
Disallow:是告诉蜘蛛不要抓取某些文件或目录。
Disallow:禁止的目录或者文件必须分开写，每一个行，不能写成: Disallow: /cgi-bin/ /tmp/ /aa/index.html
下面的指令相当于允许所有搜索引擎抓取任何内容：
User-agent:*
Disallow:
Allow:告诉蜘蛛应该抓取某些文件，由于不指定就是允许抓取，Allow:单独写没有意义，Allow和Disallow配合使用可以告诉蜘蛛某个目录下大部分不允许抓取，知允许抓取一部分。
$通配符：匹配URL结尾字符。
下面的代码意思是禁止百度蜘蛛抓取所有.jpg文件：
User-agent:Baiduspider
Disallow:.jpg$
*通配符：告诉蜘蛛匹配任意一段字符。
Sitemaps位置:告诉蜘蛛XML网站的地图位置。
Sitemaps:<网站地图位置>
主流搜索引擎都遵守robots文件指令，robots.txt禁止抓取的文件搜索引擎将不访问不抓取，但是要注意的是，被robots文件禁止抓取的URL，还是可能被索引并出现在搜索结果中，只要有导入链接指向这个URL，搜索引擎就知道这个URL的存在，虽然不会抓取页面内容，但是索引库中还是有这个URL的信息，列如出现以下几种情况：
1.只显示URL，没有标题、描述
2.显示开放目录或者等重要目录收录的标题和描述。
3.导入链接的锚文字显示为标题和描述。
4.搜索引擎从其他地方获得信息显示为标题和描述。
以上就是robots.txt文件的使用简单介绍。