认识网站中的robots与网站地图

合集下载

什么是robots文件

robots文件全名叫做robots.txt是网站和搜索引擎之间的协议，并不是每个网站都有robots文件、所以就需要我们做seo来给我们网站添加robots文件、并且优化robots文件。

robots文件添加的位置
robots文件必须放在网站根目录，而且文件名称必须要是小写（robots.txt）文件
User-agent: * 跟的是蜘蛛的名称
*是一个通配符，代表是所有的蜘蛛的名称
googlebot: 谷歌baiduspider: 百度
Disallow: 跟的是不允许被抓取的文件路径
Allow: 跟的是允许被抓取的文件路径
我们一般使用robots.txt屏蔽对于排名没有价值的文件，或者网站安全隐私的文件或者是网站的死链接文件。

Disallow: /hang （后台登陆路径）
Disallow: /data （数据库文件）
Disallow: /member （会员注册文件）
m（文件夹织梦自适应的移动站点的文件夹）
什么叫站点地图
网站栏目和内容的集合、可把网站栏目和内容汇聚到一个页面，那么这个页面就包含了所有的内容和栏目链接，做站点地图的目的就是为了提高蜘蛛的抓取效率，提高网站收率。

站点地图如何制作
站点地图常见的格式有三种
sitemap.html （常见）
sitemap.xml （常见）
sitemap.txt （最少见）
百度更喜欢html格式的地图
谷歌更喜欢xml格式的地图。

robots协议的概念

robots协议的概念
Robots协议是一种用来指导网络爬虫（也称为机器人）在网
站上抓取页面的协议。

它通过告诉爬虫哪些页面可以被抓取，哪些页面不应该被抓取来控制爬虫的行为。

Robots协议是在
网站的根目录下的robots.txt文件中定义的。

通过Robots协议，网站管理员可以指定：
1. User-Agent：指定爬虫的名称或类型。

2. Disallow：指定不允许被抓取的页面或目录。

3. Allow：指定允许被抓取的页面或目录，当与Disallow同时
存在时，Allow优先级更高。

4. Crawl-delay：指定爬虫每次抓取的延迟时间。

5. Sitemap：指定网站的XML Sitemap文件的位置。

使用Robots协议可以有效控制爬虫对网站的抓取，保护重要
信息或避免过度抓取造成的服务器负载增加。

但是Robots协
议仅仅是一种建议，不能保证所有爬虫都会遵守协议中的规则。

一些恶意的爬虫可能会忽略Robots协议而进行非法的抓取操作。

对robots协议的理解

对robots协议的理解Robots协议是一种用于指导搜索引擎爬虫在网站上进行抓取的协议。

它通过网站的robots.txt文件来告诉搜索引擎哪些页面可以抓取，哪些页面不应该被抓取。

这个协议的存在是为了帮助网站所有者控制搜索引擎爬虫对其网站内容的访问，以保护隐私、节省带宽和优化搜索引擎抓取的效率。

从技术角度来看，robots.txt文件是一个文本文件，位于网站的根目录下，它包含一系列指令，告诉搜索引擎爬虫哪些页面可以被抓取，哪些页面不应该被抓取。

这些指令包括User-agent字段，用于指定哪个爬虫执行后面的指令；Disallow字段，用于指定不允许抓取的页面或目录；Allow字段，用于指定允许抓取的页面或目录；还有一些其他的可选字段，用于提供额外的指令。

从搜索引擎优化的角度来看，robots协议对于网站的排名和可见性也有一定的影响。

通过合理地设置robots.txt文件，网站所有者可以控制搜索引擎爬虫抓取的内容，从而更好地指导搜索引擎对网站的收录和排名。

合理地利用robots.txt文件可以避免搜索引擎抓取到一些无关紧要的页面，提高网站核心内容的曝光度，从而对网站的SEO产生积极的影响。

然而，需要注意的是，robots协议并不是强制性的，它只是一种建议性的协议。

一些不怀好意的爬虫可能会无视robots.txt文件的指令，抓取网站内容，因此网站所有者还需要采取其他手段来保护网站内容的安全。

同时，robots.txt文件只能控制搜索引擎爬虫的行为，对于其他类型的爬虫并没有作用。

总的来说，robots协议是一种非常重要的协议，它帮助网站所有者控制搜索引擎爬虫对网站内容的访问，对于网站的隐私保护、搜索引擎优化和内容安全都具有重要意义。

因此，网站所有者应该充分了解并合理地利用robots.txt文件，以更好地管理和保护自己的网站。

SEO中Robots文件的使用介绍

SEO中Robots文件的使用介绍搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为robots.txt的文本文件，robots.txt用于指令搜索引擎禁止抓取网站某些内容或指定允许抓取某些内容，如百度的robots文件位于：（/robots.txt）只有在需要禁止抓取某些内容时，写robots.txt才有意义。

Robots文件不存在或者是空文件都意味着允许搜索引擎抓取所有内容。

有的服务器设置有问题。

Robots文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这有可能使搜索引擎错误解读robots文件信息，所以建议就算允许抓取所有内容，也要建一个空的robots.txt文件，放在你的网站的根目录下。

Robots文件由记录组成，记录记录之间以空行分开，记录格式为：<域名>：<可选空格><域值><可选空格>最简单的robots文件：User-agent:*Disallow:/以上这个robots文件的意思是禁止所有搜索引擎抓取任何文章内容。

User-agent:指定下面的贵州适用于那个蜘蛛。

通配符“*”代表所有搜索引擎，只适用于百度蜘蛛则用：User-agent:Baiduspider只适用于谷歌蜘蛛则用：User-agent:GooglebotDisallow:是告诉蜘蛛不要抓取某些文件或目录。

Disallow:禁止的目录或者文件必须分开写，每一个行，不能写成: Disallow: /cgi-bin/ /tmp/ /aa/index.html下面的指令相当于允许所有搜索引擎抓取任何内容：User-agent:*Disallow:Allow:告诉蜘蛛应该抓取某些文件，由于不指定就是允许抓取，Allow:单独写没有意义，Allow和Disallow配合使用可以告诉蜘蛛某个目录下大部分不允许抓取，知允许抓取一部分。

$通配符：匹配URL结尾字符。

SEO之robots文件详细说明

Robots文件有些朋友可能会很陌生，robots文件是大多数主流搜索引擎都支持的一个协议文件，robots是一个纯文本的txt文档放在网站的根目录下。

它主要告诉搜索引擎那些内容是可以被抓取得，那些内容是不能被抓取的。

只有在需要禁止抓取某些内容的时候，robots.txt文件才有意义的。

Robots.txt文件如果不存在或者内容为空的话，那么默认搜索引擎全部都可以抓取。

有时由于服务器设置的问题当搜索引擎没有发现robots.txt文件时会返回一些错误，这样可能会使得搜索引擎错误的解读robots.txt文件，导致内容抓取失败。

所以即使您想网站内容全部被抓取，也要建立一个空的robots.txt文件，放到网站的根目录下面。

最简单的robots.txt文件：User-agent：*Disallow：/这个robots.txt给搜索引擎的信息是禁止抓取网站的所有信息。

User-agent：后面跟的是蜘蛛名称。

通配符*指的是所有的蜘蛛，如User-agent：baiduspider 这个规则就只适合百度蜘蛛，对谷歌的和雅虎的蜘蛛没有作用。

Disallow：告诉搜索引擎蜘蛛不要抓取哪些内容文件或目录，例如：User-agent：*Disallow: /bin/Disallow：/admin/这段代码告诉所有的搜索引擎不能抓取/bin和/admin目录下的所有文件和内容。

注意禁止的文件不能写在同一行上，必须分开写！通配符$的使用如下：User-agent：*Disallow：.asp$Allow: .htm$这段代码将允许所有蜘蛛抓取所有的htm页面内容，不抓取asp页面内容。

Sitemap：这个指令告诉搜索引擎网站地图在哪里如下：User-agent：*Disallow：Sitemap：/sitemap_index.xml这段代码告诉搜索引擎sitemap站点地图在这个位置。

更多内容尽在：。

巧用robots文件提升页面抓取率

巧用robots文件提升页面抓取率一、认识robots文件我们知道，robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的，什么是不可以被查看的，蜘蛛知道了这些以后，就可以将所有的精力放在被我们允许访问的页面上面，从而将有限的权重集中起来。

同时，我们还不能互略最重要的一点就是，robots.txt是搜索引擎访问网站要查看的第一个文件。

明白了这一点，我们就有必要，也可能针对这一条做一些文章。

二、将sitemap.xml写入robots文件前面提到了，robots.txt文件是搜索引擎中访问网站要查看的第一个文件，那么，如果我们将sitemap.xml（网站地图）文件地址写入robots.txt文件里面，自然而然会被搜索引擎蜘蛛在第一时间发现，也增大了网站页面被快速抓取和收录的可能性。

此种做法，对于新站作用明显，对于大站更具有积极和现实的作用。

具体写法示例如下：所以，无论是新站还是老站，为了使得更多的页面被搜索引擎抓取，有必要将sitemap.xml写入robots.txt文件中。

三、Sitemap.xml文件的获取前面讲了那么多，可能很多人还不是很明白，sitemap.xml文件究竟如何攻取呢？给大家提供一个工具，也是谷歌官方推荐的sitemap.xml在线生成工具，/，大家可以根据里面的选项选择适合自己网站的sitemap.xml生成样式。

生成sitemap.xml后，一般需要将该文件放置在根目录下面即可。

综上，把sitemap.xml地址写入robots.txt文件，从而提升页面抓取率的方式是可行的，也是具有可操作性的。

希望可以与更多的朋友就网站推广和优化进行探讨。

本文原创台州人才网。

欢迎转载，请保留出处。

Sitemap和Robots.txt SEO优化技巧

在做网站优化的时候，我们不仅要进行网站内容，外链，内链的优化，还需要从sitemap.xml 和robots.txt这些细节之处着手。

sitemap和robots.txt是一个网站针对搜索引擎设置的两个极其重要的文件。

一般的站长都知道，建好网站后需要建立网站的sitemap.xml，还有特殊情况的话需要进行robots.txt文件的设置。

下面说说Sitemap和Robots.txt SEO优化技巧。

第一部分：网站sitemap优化的技巧1. 网站必须要设立sitemap文件。

不管你的网站是不是已经被收录，设置sitemap文件就像相当于给搜索引擎提供了你网站的目录，让搜索引擎更有效率的在你的网站上爬行抓取。

2. 根目录下必须要有sitemap.xml文件。

这是针对第一点来说的，许多网站系统可以自动生成sitemap文件。

但是存储的名称和位置可是多种多样：比如ecshop默认生成的sitemap文件命名为sitemaps.xml；dedecms系统生成的sitemap文件就位于data/rss/目录之下，名称也是已数字命名的。

这些都不是规范的。

搜索引擎默认的格式是你根目录下的sitemap.xml文件。

也就是说，搜索引擎来到你网站的时候会自动寻找你的sitemap.xml文件，而不是其他目录或其他名称的文件。

3. 建立sitemap的索引文件。

关于sitemap的索引文件，了解的人并不多，主要是大家都没有考虑到第2个问题，以为只要自己设立了sitemap文件就可以了。

俗话说酒香还怕巷子深，你把sitemap文件放到那么深的文件目录，你觉得搜索能找到吗。

有人说，我提交到搜索引擎的管理员工具中，但并不是每个搜索引擎都有管理员工具的。

如果你在网站根目录下设立了默认的sitemap索引文件，则可以便捷的向来到你网站的任何一个搜索引擎展示你的网站目录。

并不是每个网站都需要一个sitemap索引文件。

这是因为索引文件的作用是指引搜索引擎爬行你真正的sitemap文件的。

网站优化关于robot的基本使用

网站优化关于robot的基本使用当搜索引擎访问一个网站的时候，第一步就是检查网站的robots.txt文件，显然这是我们seo 必做的内容。

在了解robots.txt文件写法之前，我们就先要知道robot是什么？robot英文翻译过来：机器人。

robots.txt文件也很好理解：搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。

robots.txt这个文件用于指定spider（蜘蛛）在您网站上的抓取范围。

关于robots.txt需要注意以下几点：1,robots.txt文件应该放置在网站根目录下。

比如，当spider访问http://www. 时，首先会检查该网站中是否存在/robots.txt这个文件，如果Spider 找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

2,每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误文件（无法找到文件）。

每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误文件，所以不管你是否需要屏蔽蜘蛛抓取，都应该在网站中添加一个robots.txt。

3,一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

这些内容目录可以通过robots.txt 屏蔽。

4,robots.txt里主要有两个函数：User-agent和Disallow。

5,robots.txt文件里还可以直接包括在sitemap文件的链接。

就像这样：Sitemap: http://www. /sitemap.xml6,举例个robots.txt,不懂的朋友可以根据自己的网站情况，作为参考。

User-agent: *Disallow: /admin/ 后台管理文件Disallow: /require/ 程序文件Disallow: /attachment/ 附件Disallow: /images/ 图片Disallow: /data/ 数据库文件Disallow: /template/ 模板文件Disallow: /css/ 样式表文件Disallow: /lang/ 编码文件Disallow: /script/ 脚本文件7,文件里面至少要有一个Disallow函数，如果都允许收录，则写: Disallow: ，如果都不允许收录，则写:Disallow: / （注：只是差一个斜杆）。

什么是robots？如何设置robots？

什么是robots？如何设置robots？robots是位于网站根目录的一个TXT文本文件，主要的作用是告诉搜索引擎那些页面可以抓取，那些页面不可以抓取。

一、robots定义：robots是网站和搜索引擎爬虫之间的协议，当搜索引擎爬虫爬取一个网站之前，第一先访问该网站有没有robots协议，如果有按照设置的robots协议进行对网站的抓取，如果没有默认网站所有页面都可以被抓取。

搜索引擎通过一个程序（搜索引擎蜘蛛），自动获取互联网上数亿的网页，经过分析和对比，筛选出质量优质的网页，进行收录和索引，最后得到网页的排名，用户查询关键词就可以访问到被收录的网页。

所以在网站的根目录创建一个robots协议用来告诉搜索引擎，网站这个页面可以被抓取，那个网页不让抓取。

可以说robots协议是对搜索引擎蜘蛛的行为设定了要求。

二、robots注意事项网站所有的内容都可以让搜索引擎抓取，我就不设置robots文件这是不对的，每次搜索引擎蜘蛛来到网站访问robots 文件都会生成一个404页面，网页不存在，对网站有不好的影响。

这种的可以在网站根目录放一个空的robots文件，什么都不写就可以了。

设置所有网页都让搜索引擎抓取，可以增加收目率这个想法也是错误的，搜索引擎对html文件情有独钟，对JS、框架等文件很是排斥。

网站的脚本文件、样式表等可以选择屏蔽，浪费服务器资源还得不到好处。

蜘蛛抓取浪费服务器资源，在robots协议中屏蔽所有搜索引擎这样就把搜索引擎蜘蛛屏蔽了，搜索引擎蜘蛛不会抓取网站内的内容，也不会有收录robots文件需要放置到网站的根目录，url格式域名+robots.txtrobots文件可以放置网站地图的链接，搜索引擎蜘蛛每次到网站首先访问的就是robots文件，所以放上网站的网站地图，有利于搜索引擎蜘蛛发现更多的链接。

robots文件必须是小写命名三、robots协议的设置robots文件的设置有两种参数，一个允许，一个拒绝。

解说搜索引擎中robots的命令使用(古怪科技)

解说搜索引擎中robots的命令使用。

一个网站有多少人知道robots.txt 的作用了，特别新站长更要学习了。

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

robots.txt文件应该放置在网站根目录下。

举例来说，当蜘蛛访问一个网站时，首先会检查该网站中是否存在robots.txt这个文件，如果蜘蛛找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

robot’txt的常用写法：User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录Disallow: /cgi-bin禁止所有搜索引擎访问网站的任何部分User-agent: *Disallow: /禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）User-agent: *Disallow: /01/Disallow: /02/Disallow: /03/禁止百度搜索引擎的访问（Googlebot谷歌蜘蛛百度的蜘蛛：baiduspider ）User-agent: baiduspiderDisallow: /只允许百度个搜索引擎的访问（下例中的百度的蜘蛛：baiduspider）User-agent: baiduspiderDisallow:User-agent: *Disallow: /百度对robots.txt是有反应的，但比较慢，在减少禁止目录抓取的同时也减少了正常目录的抓取。

原因应该是入口减少了，正常目录收录需要后面再慢慢增加。

Google对robots.txt反应很到位，禁止目录马上消失了，部分正常目录收录马上上升了。

站长不要忽视robots.txt的存在-电脑资料

站长不要忽视robots.txt的存在-电脑资料认识了很多站长，大多数会使用robots.txt文件，只有40%左右的站长不知道robots.txt文件的重要性，。

当然了，如果你的网站完全没有让搜索...认识了很多站长，大多数会使用robots.txt文件，只有40%左右的站长不知道robots.txt文件的重要性。

当然了，如果你的网站完全没有让搜索引擎禁止的内容，可以不用robots.txt文件。

到底robots.txt是何许人也?robots.txt是一个纯文本文件，它就像网站地图一样，给搜索引擎指明道路。

当搜索引擎蜘蛛爬取网站的时候，一般会确实你网站的目录下是否有robots.txt这个文件。

如果有的话，会按照文件的内容来爬取该爬的网站内容。

如果没有这个文件，蜘蛛就会跟着链接直接爬取。

下面大家看看淘宝的robots.txt文件：可以看到，淘宝再一次屏弊了百度蜘蛛的爬取工作，我们再来看看下面这个收录图：只见二级域名或三级以后的页面了，电脑资料《站长不要忽视robots.txt的存在》(https://)。

robots.txt究竟有什么好处呢?1、可以禁止对私密文件的爬取工作。

比如说你的网站后台、数据库，管理程序。

如果没有配置好robots.txt文件，搜索引擎很有可能会索引那些所谓的“临时文件”。

2、方便搜索引擎爬取工作。

比如说你的网站很大，我看到过一个网站，整个网站有50多G，打开比腾讯还要慢。

如果不配置好robots.txt文件，蜘蛛爬取工作就会很费力，另外，太多的蜘蛛访问，甚至会影响你网站的正常访问。

3、减少带宽。

robots.txt可以制止不必要爬取工作，如果你的是图片站或美女站的话，没设置好robots.txt文件，就会浪费大量的带宽了。

]4、保证网站排名不受影响。

这时主要说说网站内容重复性问题，可能这个问题不大，但一旦存在有重复内容，就会受到搜索引擎惩罚了，特别是百度。

所以配置好robots.txt很重要!厚诚集智成长无限。

robots说明

robots.txtRobots是搜索引擎的爬虫程序通告（爬行器通告）。

对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。

为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是The Robots META标签。

1、什么是robots.txt？robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

下面是一些robots.txt基本的用法：禁止所有搜索引擎访问网站的任何部分：User-agent: *Disallow: /允许所有的robot访问User-agent: *Disallow:或者也可以建一个空文件"/robots.txt" file禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private目录）User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /private/禁止某个搜索引擎的访问（下例中的BadBot）User-agent: BadBotDisallow: /只允许某个搜索引擎的访问（下例中的WebCrawler）User-agent: WebCrawlerDisallow:User-agent: *Disallow: /3、常见搜索引擎机器人Robots名字名称搜索引擎Baiduspider Scooter ia_archiver bot FAST-WebCrawler Slurp BOT 4、robots.txt举例下面是一些著名站点的robots.txt：/robots.txtttp:///robots.txt/robots.txt/robots.txt5、常见robots.txt错误颠倒了顺序：错误写成Disallow: Bot正确的应该是：User-agent: GoogleBotDisallow: *把多个禁止命令放在一行中：例如，错误地写成Disallow: /css/ /cgi-bin/ /images/正确的应该是Disallow: /css/Disallow: /cgi-bin/Disallow: /images/行前有大量空格例如写成Disallow: /cgi-bin/尽管在标准没有谈到这个，但是这种方式很容易出问题。

网站robotstxt优化有什么作用

网站robotstxt优化有什么作用在当今数字化的时代，网站已经成为企业、个人展示自身形象和提供服务的重要窗口。

而在网站的运营和管理中，有一个不太为人所熟知但却十分重要的元素——robotstxt。

对于很多网站管理员和所有者来说，了解并优化robotstxt 文件是提升网站性能和搜索引擎优化（SEO）效果的关键一步。

那么，网站 robotstxt 优化到底有什么作用呢？让我们一起来深入探讨一下。

首先，我们要明白什么是 robotstxt。

简单来说，robotstxt 是一个位于网站根目录下的文本文件，它的作用是告诉搜索引擎的爬虫（也称为机器人或蜘蛛）哪些页面可以抓取，哪些页面不可以抓取。

这就像是给搜索引擎的爬虫颁发了一张“通行证”或者“禁止令”。

优化 robotstxt 的一个重要作用是节省服务器资源。

想象一下，如果搜索引擎的爬虫毫无限制地在您的网站上爬行，抓取大量不必要的页面或者重复抓取相同的页面，这将会给服务器带来巨大的负担。

通过合理设置 robotstxt，我们可以限制爬虫对一些不重要或者重复内容的访问，从而减少服务器的压力，提高网站的响应速度。

这对于用户体验来说是至关重要的，毕竟没有人愿意等待一个缓慢加载的网站。

其次，robotstxt 优化有助于保护网站的隐私和敏感信息。

有些页面可能包含了内部数据、尚未准备好公开的内容或者用户的个人隐私信息。

通过在 robotstxt 中明确禁止搜索引擎抓取这些页面，可以有效地防止这些敏感信息被搜索引擎索引和公开显示。

这对于保护网站的安全性和用户的信任是非常重要的。

另外，优化 robotstxt 还能够提高搜索引擎对网站的抓取效率和准确性。

当搜索引擎的爬虫能够明确知道哪些页面是重要的、可以抓取的，它们就能够更加有针对性地进行抓取和索引。

这样一来，搜索引擎能够更快地发现和收录您网站的核心内容，提高网站在搜索结果中的排名。

相反，如果 robotstxt 设置不当，导致搜索引擎爬虫无法抓取到关键页面，或者在一些不重要的页面上浪费时间，那么可能会影响网站的整体 SEO 效果。

站点地图与robots文件是什么

站点地图与robots文件是什么？一个标准完整的网站上，基本都会配备上站点地图、robots文件之类的，它们的功能都是为了更好的让搜索引擎抓取网站内容，提升网站的抓取速度，那么，站点地图以及robots文件到底是什么呢？一、站点地图是什么？站点地图是一种可以为百度蜘蛛爬行网站时指示出信息资源方位并具有导航功能的一个工具，将网站中的关键信息以可视化展现在搜索引擎面前，一般关键信息分为信息获取、信息检索、信息表示以及信息关联这四个方面，就是将这些内容以一种类似于地图的形式，将网站的信息罗列出来并附带上对应的链接，为用户与百度抓取蜘蛛提供网站的主体信息以及准确信息入口的工具，所以被通俗称之为站点地图。

站点地图的特点：1.可视化网站地图的可视化是它非常突出的一个特点，虽然我们常见的网站地图内容都是以文字表达的，但是它是以一个地图的展现形式出现的，可以清晰明了的表达出各个页面之前的关系。

2.快速当用户点击开站点地图之后，可以使用户对网站的信息一目了然，并且在站点地图中所有对应的文字都会配上对应的链接，使用户可以点击链接从而进入自己想要进的栏目，使用户更加精准的找到自己想要的信息。

3.同步实时更新站点地图有这么一个功能，就是会跟随网站上的内容信息，实时进行一个地图更新，它随着网站变动而变动，与网站上整体内容保持一致，使用户在站点地图中随时获得最新网站信息。

二、robots是什么？Robots协议也可以称呼它为爬虫协议或者机器人协议，这里要注意的是，robots协议可不是一个指令，而是一个txt文本，robots.txt是百度搜索蜘蛛来到网站时第一个需要查看的文件,蜘蛛将根据robots.txt文件来判断网站上哪些内容可以抓取，哪些内容是不允许被抓取的。

robots.txt的作用：在对网站进行优化的时候，我们都会使用robots.txt文件来把网站上哪些想要被搜索引擎抓取或者不想被搜索引擎抓取，通过robots文件来表达给百度蜘蛛，百度蜘蛛也会根据robots文件来进行爬行抓取网站。

如何在robots里面提交网站地图

其实在robots.txt里面提交网站地图是很简单的事，网站地图的提交也是企业网站建设要注意的问题，这样蜘蛛每次更新的时候都可以把最新的网站地图收录，从而更新网站的网页。我们只要在robots.txt文件里面增加一行就OK了。
如增加一行：Sitemap:
对于的网站地图提交来说。就是Sitemap:，注意sitemap:后面加个空格。这样就可以实现XML版本的网站地图提交了。
问题是我们做好网站地图之后该做什么呢？不是说还要提交网站地图吗？那么怎么提交？新站长可能知道谷歌管理员工具里面有地图的提交功能，可是他们可能不会用，或者是怕出错，弄得做好的新站一下就被K掉什么的。或者是他们还知道在robots文件夹里面提交的事。可是依然不会用，那么，究竟如何在robotsrobots.txt里面提交网站地图呢？
如何在robots里面提交网站地图
我们可以在robots.txt文件里直接提交网站地图。还是不知道如何在robots里面提交网站地图。
对于一些新站长来说，他们可能知道网站地图对网站的收录是有好处的，也知道如何做网站地图。因为HTML版本的网站地图做起来还是很简单的，特别是网站只要2级页面的话，做一个这样的地图一共也才30个以内的链接，而做XML版面的网站地图就更简单了，为什么呢？因为自己不会做没关系，我们可以用网站地图生成工具来完成。生成之后我们再另存为sitemap.xml放置在网站根目录下面就OK了。这样就可以做两个版本的地图了。

什么是robots

什么是robots?做过作业思考题的同学一定知道robots.txt是什么。

这里再详细介绍下：搜索引擎用来爬取网页内容的工具我们称之为搜索引擎机器人。

搜索引擎机器人每次来到要抓取的网站，都会先访问这个网站根目录下的一个文件（robots.txt），如果不存在该文件，则搜索引擎机器人默认这个网站允许其全部抓取。

robots.txt是一个简单的纯文本文件（记事本文件），搜索引擎机器人通过robots.txt里的“说明”，理解该网站是否可以全部抓取或部分抓取。

如果你希望搜索引擎收录你网站的全部网页，则你可以不设置robots.txt或上传一个命名为robots.txt的空记事本到根目录。

上传你的robots.txt后，通过你的域名/robots.txt 可以正常访问。

注意，robots.txt的命名，都应该是小写。

访问如：/robots.txtrobots.txt文件的内容主要就是一个代码：Disallow:注意，robots.txt文件中一般要包含至少一个Disallow:如果都允许收录，你可以写一行Disallow:/search.html 这个文件(search.html)本来就不存在也没事。

格式如：User-agent: *Disallow: /search.htmlDisallow: /index.php?Disallow: /tempweb/说明：User-agent: * 星号说明，允许所有的搜索引擎来收录，包括百度、google、yahoo等。

Disallow: /search.html 说明不允许收录/search.html 这个文件。

Disallow: /index.php? 说明不允许收录以index.php?为前缀的链接如：index.php?122.html、index.php?=12、index.php?/baidu等等Disallow: /tempweb/ 说明不允许收录/tempweb/里的所有文件。

SEO基础课件第41章 robots与网站地图.txt

➢Disallow: /*?*
禁止抓取网站中所有包含问号 “?”的网址
第12页/共30页
robots.txt语法案例
User-agent: * Disallow: /
User-agent: * Allow: /User-agent: spider Disallow: /
User-agent: spider Allow: / User-agent: Googlebot Allow: / User-agent: * Disallow: /
网站地图作用
第*页/共30页
DeDeCMS生成网站地图一
1.进入网站后台，找到左侧生成标签 2.选择生成选项中的更新网站地图 3.点击更新网站地图，选择普通地图 4.点击进行浏览
第*页/共30页
DeDeCMS生成网站地图二
网站后台 — 模块 — 上传新模块 — 选择文件选择下载的插件 — 点击确定 — 安装 — 确定模块 — xml地图 — 选择sitemap — 开始更新
第*页/共30页
robots meta标签特殊写法
➢特殊写法： <meta name="robots" content="index,follow"> 可以写成<meta name="robots" content="all"> <meta name="robots" content="noindex,nofollow"> 可以写成<meta name="robots" content="none">
第8页/共30页
robots.txt的写法