SEOer如何通过IIS日志来查看百度蜘蛛的爬行痕迹
iis 日志记录webservice的方法
iis 日志记录webservice的方法（原创实用版4篇）《iis 日志记录webservice的方法》篇1在IIS 中记录WebService 的日志，可以通过以下步骤实现：1. 打开IIS 管理器，找到要记录日志的WebService。
2. 在WebService 的属性窗口中，选择“日志记录”选项卡。
3. 在“日志记录”选项卡中，选择“记录所有请求”或“记录选定请求”选项。
这将决定是否记录WebService 的所有请求或仅记录特定的请求。
4. 在“日志格式”下拉菜单中，选择所需的日志格式。
常见的日志格式包括“XML”和“文本”。
5. 在“记录目标”下拉菜单中，选择要将日志记录到的目标。
可以选择本地计算机、共享目录或其他计算机。
6. 单击“应用”按钮以保存更改并关闭属性窗口。
完成以上步骤后，IIS 将开始记录WebService 的请求和响应，并将其存储在指定的日志文件中。
《iis 日志记录webservice的方法》篇2在IIS 中记录WebService 的日志，可以通过以下步骤实现：1. 打开IIS 管理器，找到要记录日志的WebService。
2. 在WebService 的属性窗口中，选择“日志记录”选项卡。
3. 在“日志记录”选项卡中，选择“记录所有请求”或“记录选定请求”选项。
这将决定是否记录WebService 的所有请求或仅记录特定的请求。
4. 在“日志记录”选项卡中，选择要记录的日志级别。
例如，选择“详细”级别以记录所有请求的详细信息。
5. 在“日志记录”选项卡中，选择要记录的日志文件。
例如，选择“Application log”以将日志记录到应用程序日志文件中。
6. 保存更改并关闭属性窗口。
《iis 日志记录webservice的方法》篇3在IIS 中记录WebService 的日志，可以通过以下步骤实现：1. 打开IIS 管理器，找到要记录日志的WebService。
搜索引擎spider爬虫（蜘蛛）原理
搜索引擎spider爬⾍（蜘蛛）原理做SEO的⼈应该要对搜索引擎的基本原理有⼀些了解，从搜索引擎发现⽹址到该页⾯拥有排名，以及后续更新整个过程中，搜索引擎到底是怎么⼯作的？你都需要了解。
对于专业的算法不必进⾏深⼊的研究，但是对于搜索引擎⼯作中的⽣命⼒和算法原理要有个简单的认知，这样才能更有效地开展SEO⼯作，知其然也要知其所以然；当然也有⼀些朋友不懂这些，照样做昨有声有⾊，但是有对搜索引擎⼯作原理，懂总⽐不懂好⼀点。
以往的SEO书藉中对这内容讲解都⽐较简单，希望在些能够尝试结合SEO实际⼯作和现象，更进⼀步剖析⼀下搜索引擎的⼯作原理，其实当你了解了搜索引擎的⼯作流程、策略和基本算法后，就可以在⼀定程序上避免因为不当操作⽽带来的不必要处罚，同也可以快速分析出很多搜索引擎搜索结果异常的原因。
有搜索⾏为的地⽅就有搜索引擎，站内搜索、全⽹搜索、垂直搜索等都⽤到搜索引擎；接下来，本⽂会根据从业认知，讨论⼀下全⽂搜索引擎的基本架构。
百度、⾕歌等综合搜索巨头肯定有着更为复杂的架构和检索技术，但宏观上基本原理都差不多的。
搜索引擎的⼤概架构如图2－1所⽰。
可以分成虚线左右两个部分：⼀部分是主动抓取⽹页进⾏⼀系列处理后建⽴索引，等待⽤户搜索；另⼀部分是分析⽤户搜索意图，展现⽤户所需要的搜索结果。
搜索引擎主动抓取⽹页，并进⾏内容处理、索引部分的流程和机制⼀般如下：1.派出spider按照⼀定策略把⽹页抓回到搜索引擎服务器；2.对抓回的⽹页进⾏链接抽离、内容处理，削除噪声、提取该页主题⽂本内容等；3.对⽹页的⽂本内容进⾏中⽂分词、去除停⽌词等；4.对⽹页内容进⾏分词后判断该页⾯内容与已索引⽹页是否有重复，剔除重复页，对剩余⽹页进⾏倒排索引，然后等待⽤户的检索。
当有⽤户进⾏查询后，搜索引擎⼯作的流程机制⼀般如下：1.先对⽤户所查询的关键词进⾏分词处理，并根据⽤户的地理位置和历史检索特征进⾏⽤户需求分析，以便使⽤地域性搜索结果和个性化搜索结果展⽰⽤户最需要的内容；2.查找缓存中是否有该关键词的查询结果，如果有，有为最快地呈现查询，搜索引擎会根据当下⽤户的各种信息判断其真正需求，对缓存中的结果进⾏微调或直接呈现给⽤户；3.如果⽤户所查询的关键词在缓存中不存在，那么就在索引库中的⽹页进⾏调取排名呈现，并将该关键词和对应的搜索结果加⼊到缓存中；4.⽹页排名是⽤户的搜索词和搜索需求，对索引库中⽹页进⾏相关性、重要性（链接权重分析）和⽤户体验的⾼低进⾏分析所得出的。
百度蜘蛛爬行原理
百度蜘蛛爬行原理百度蜘蛛，是百度搜索引擎的一个自动程序。
它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
(1)通过百度蜘蛛下载回来的网页放到补充数据区，通过各种程序计算过后才放到检索区，才会形成稳定的排名，所以说只要下载回来的东西都可以通过指令找到，补充数据是不稳定的，有可能在各种计算的过程中给k掉，检索区的数据排名是相对比较稳定的，百度目前是缓存机制和补充数据相结合的，正在向补充数据转变，这也是目前百度收录困难的原因，也是很多站点今天给k了明天又放出来的原因。
(2)深度优先和权重优先，百度蜘蛛抓页面的时候从起始站点(即种子站点指的是一些门户站点)是广度优先抓取是为了抓取更多的网址，深度优先抓取的目的是为了抓取高质量的网页，这个策略是由调度来计算和分配的，百度蜘蛛只负责抓取，权重优先是指反向连接较多的页面的优先抓取，这也是调度的一种策略，一般情况下网页抓取抓到40%是正常范围，60%算很好，100%是不可能的，当然抓取的越多越好。
百度蜘蛛在从首页登陆后抓取首页后调度会计算其中所有的连接，返回给百度蜘蛛进行下一步的抓取连接列表，百度蜘蛛再进行下一步的抓取，网址地图的作用是为了给百度蜘蛛提供一个抓取的方向，来左右百度蜘蛛去抓取重要页面，如何让百度蜘蛛知道那个页面是重要页面?可以通过连接的构建来达到这个目的，越多的页面指向该页，网址首页的指向，副页面的指向等等都能提高该页的权重，地图的另外一个作用是给百度蜘蛛提供更多的链接来达到抓去更多页面的目的，地图其实就是一个链接的列表提供给百度蜘蛛，来计算你的目录结构，找到通过站内连接来构建的重要页面。
补充数据到主检索区的转变:在不改变板块结构的情况下，增加相关连接来提高网页质量，通过增加其他页面对该页的反向连接来提高权重，通过外部连接增加权重。
如果改变了板块结构将导致seo的重新计算，所以一定不能改变板块结构的情况下来操作，增加连接要注意一个连接的质量和反向连接的数量的关系，短时间内增加大量的反向连接将导致k站，连接的相关性越高，对排名越有利。
百度搜索引擎爬行蜘蛛IP大全及详解
百度搜索引擎爬行蜘蛛IP大全及详解作为一名合格的SEO站长，不仅要具备SEO优化技术，同时还要学会分析网站日志，了解百度搜素引擎的爬行痕迹。
百度搜素引擎的蜘蛛每爬行一次都会留下他的足迹，而这个足迹就是蜘蛛爬行过来的IP地址，据了解，蜘蛛爬行的IP地址非常多，而且每个地址都有着它自己的含义，下面博主大家整理了一套比较全面的百度搜素引擎爬行蜘蛛的IP和解释（仅做参考作用，具体以网站实际情况为准）。
百度搜素引擎爬行蜘蛛IP区段220.181.108.75~220.181.108.123 百度蜘蛛电信段IP123.125.71.12~123.125.71.117 百度蜘蛛联通段IP220.181.107.* 其他区段IP220.181.38.177 其他区段IP220.181.19.* 其他区段IP159.226.50.* 其他区段IP202.108.11.* 其他区段IP202.108.22.* 其他区段IP202.108.23.* 其他区段IP202.108.249.* 其他区段IP202.108.250.* 其他区段IP61.135.145.* 其他区段IP61.135.146.* 其他区段IP百度搜素引擎爬行蜘蛛IP 解析123.125.68.* 此区段的IP 量增加说明网站即将进入沙盒期或受罚被降权了 220.181.68.* 此区段的IP 量增加说明网站已经处于沙盒期或者站点被K 220.181.7.*此区段的IP 初次出现代表搜素引擎预备抓取该站点 123.125.66.* 此区段的IP 初次出现代表搜素引擎预备抓取该站点 121.14.89.*此区段的IP 出现了那么恭喜你的站点已经成功渡过考核期 203.208.60.* 此区段的IP 出现在新站上面比较多或者是异常的站点210.72.225.此区段的IP 出现属于搜素引擎巡逻，相当于现实中的城管 125.90.88.*此区段的IP 属于广东电信区段，一般用了站长工具的站点出现较多 220.181.108.*此区段的IP 属于百度搜素引擎抓取站点的IP ，爬行后24小时内基本放出页面 123.125.71.* 此区段的IP 属于内页爬行IP ，一般放出时间较长，因采集或伪原创原因，属于待定IP 220.181.108.95 此IP 段属于百度搜素引擎抓取站点首页的公用IP220.181.108.92 此IP 与上个IP 相似，不同的是此IP 会抓取首页以外的其他页面123.125.71.106 此IP 属于内页爬行IP ，爬行过后放出时间较慢，原创文章放出较快220.181.108.91 此IP 属于综合性IP ，抓取站点里的每个页面，一般会在24小时内放出220.181.108.75 此IP 属于最新页面抓取IP ，爬取文章页面较多，爬行后24小时内放出123.125.71.95此IP 属于内页爬行IP ，爬行过后放出时间较慢，原创文章放出较快 123.125.71.97 此IP 属于内页爬行IP ，爬行过后放出时间较慢，原创文章放出较快123.125.71.117 此IP 属于内页爬行IP ，爬行过后放出时间较慢，原创文章放出较快220.181.108.86 此IP 属于首页专用爬行IP ，返回状态码为304 0 0（代表暂未更新）220.181.108.89 此IP 属于首页专用爬行IP ，返回状态码为304 0 0（代表暂未更新）220.181.108.94 此IP 属于首页专用爬行IP ，返回状态码为304 0 0（代表暂未更新）220.181.108.97 此IP 属于首页专用爬行IP ，返回状态码为304 0 0（代表暂未更新）220.181.108.80 此IP 属于首页专用爬行IP ，返回状态码为304 0 0（代表暂未更新）220.181.108.77 此IP 属于首页专用爬行IP ，返回状态码为304 0 0（代表暂未更新）123.125.71.117 此IP 属于首页专用爬行IP ，返回状态码为304 0 0（代表暂未更新）220.181.108.83 此IP 属于首页专用爬行IP ，返回状态码为304 0 0（代表暂未更新）以上就是博主给大家整理的百度搜素引擎爬行蜘蛛IP 地址，因百度搜素引擎爬行蜘蛛IP 几乎半个月更新一次，所以百度并有详细的说明，以上蜘蛛IP 都是各位站长在日常运营中摸索出来的经验，仅做参考作用。
SEO各IP段的百度蜘蛛详解权重及收录
SEO各IP段的百度蜘蛛详解权重及收录 SEO各IP段的百度蜘蛛详解权重及收录作者：莫⽔，个⼈资料整理，如有错误，请指正谢谢 根据不同的IP我们可以分析⽹站是个怎样的状态.就按照IIS⽇志上的百度蜘蛛IP为例: 123.125.68.*这个蜘蛛经常来,别的来的少,表⽰⽹站可能要进⼊沙盒了，或被者降权。
220.181.68.*每天这个IP 段只增不减很有可能进沙盒或K站。
220.181.7.*、123.125.66.* 代表百度蜘蛛IP造访，准备抓取你东西。
121.14.89.*这个ip段作为度过新站考察期。
203.208.60.*这个ip段出现在新站及站点有不正常现象后。
210.72.225.*这个ip段不间断巡逻各站。
125.90.88.* ⼴东茂名市电信也属于百度蜘蛛IP 主要造成成分，是新上线站较多，还有使⽤过站长⼯具，或SEO综合检测造成的。
220.181.108.95这个是百度抓取⾸页的专⽤IP，如是220.181.108段的话，基本来说你的⽹站会天天隔夜快照，绝对错不了的，我保证。
220.181.108.92 同上98%抓取⾸页，可能还会抓取其他 (不是指内页)220.181段属于权重IP段此段爬过的⽂章或⾸页基本24⼩时放出来. 123.125.71.106 抓取内页收录的，权重较低，爬过此段的内页⽂章不会很快放出来，因不是原创或采集⽂章。
220.181.108.91属于综合的，主要抓取⾸页和内页或其他，属于权重IP 段，爬过的⽂章或⾸页基本24⼩时放出来。
220.181.108.75重点抓取更新⽂章的内页达到90%，8%抓取⾸页，2%其他。
权重IP 段，爬过的⽂章或⾸页基本24⼩时放出来。
220.181.108.86专⽤抓取⾸页IP 权重段，⼀般返回代码是304 0 0 代表未更新。
123.125.71.95 抓取内页收录的，权重较低，爬过此段的内页⽂章不会很快放出来，因不是原创或采集⽂章。
如何分析网站IIS日志中的搜索引擎爬虫轨迹
如何分析网站IIS日志中的搜索引擎爬虫轨迹,这是很多新手SEOer放在心里的一个疑问。
网站建设中心鸿邦科技又来给您支招了！假如你要搜索百度的爬虫，那么就直接在保存记录的文本文档上搜索“Baiduspider”，我们节选以下一行来做详细的分析：2011-02-27 13:02:40 W3SVC321 222.73.86.227 GET /index.html - 80 - 61.135.168.39 Baiduspider+(+/search/spider.htm) 200 0 64- - 这段IIS日志代码表示：在2011-02-27 13:02:40 这个时间，百度搜索引擎的蜘蛛（ip 地址为61.135.168.39，后面的/search/spider.htm是关于Baiduspider+的相关问题）访问了服务器ip为222.73.86.227的网站，并且抓取了首页/index.html，该日志记录保存在W3SVC321文件夹。
其中，两个地方值得说明：一是各大搜索引擎爬虫（蜘蛛）的名称整理如下，大家可以对号入座：1. Google爬虫名称1.1 Googlebot：从Google的网站索引和新闻索引中抓取网页1.2 Googlebot-Mobile针对Google的移动索引抓取网页1.3 Googlebot-Image：针对Google的图片索引抓取网页1.4 Mediapartners-Google：抓取网页确定AdSense 的内容。
只有在你的网站上展示AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
1.5 Adsbot-Google：抓取网页来衡量AdWords 目标网页的质量。
只有在你使用Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
2. 百度（Baidu）爬虫名称：Baiduspider3. 雅虎（Yahoo）爬虫名称：Yahoo Slurp4. 有道（Yodao）蜘蛛名称：YodaoBot5. 搜狗（sogou）蜘蛛名称：sogou spider6. MSN的蜘蛛名称：Msnbot其他的搜索引擎我们使用得很少，就不需要理会了。
SEOer如何通过IIS日志来查看百度蜘蛛的爬行痕迹
SEOer如何通过IIS日志来查看百度蜘蛛的爬行痕迹百度蜘蛛，英文名是“Baiduspider”是百度搜索引擎的一个自动程序。
它的作用是访问互联网上的网页、图片、视频等内容，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
什么是IIS日志首先，Internet Information Server的缩写为（IIS）是一个World Wide Web server。
Gopher server和FTP server全部包容在里面。
IIS意味着你能发布网页，并且有ASP（Active Server Pages）、JA V A、VBscript产生页面，有着一些扩展功能。
IIS支持一些有趣的东西，象有编辑环境的界面（FRONTPAGE）、有全文检索功能的（INDEX SERVER）、有多媒体功能的（NET SHOW）其次,IIS是随Windows NT Server 4.0一起提供的文件和应用程序服务器，是在Windows NT Server上建立Internet服务器的基本组件。
它与Windows NT Server完全集成，允许使用Windows NT Server内置的安全性以及NTFS文件系统建立强大灵活的Internet／Intranet站点。
很多时候，SEOer在优化的时候，会遇种种的问题，比如，网站的空间是否稳定，网站的内容是否得到蜘蛛的青睐，蜘蛛爬行的频率，网站的排名为什么会下降，这些问题，我们都可以通过IIS日志来分析，有利利于帮助网站的排名。
IIS日志的作用：通过站点的IIS日志我们可以了解搜索引擎对我们站点的爬行情况，包括搜索引擎的爬行轨迹和爬行量，进而分析出我们建设的外链对爬行的影响，我们把外链形容为搜索引擎蜘蛛进入我们站点的入口，同时IIS记录则会记录下搜索引擎蜘蛛从入口爬入的记录。
站点的更新频率与搜索引擎的抓取频率存在着一定的关系，一般来说，更新的频率高则搜索引擎爬行得越勤。
IIS服务器日志分析详解
IIS服务器日志分析详解查看服务器IIS服务器日志是在Windows文件夹.>>>>system32>>LogFiles>>W3SVC1下的.Log文件。
打开一个IIS的日志,我们在最上边大约第三行能够看到一个表头,像这样:#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-querys-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status 这是日志每行中每个字段的名称,我们看到的"200 0 64"是最后3个,那就是sc-status sc-substatus sc-win32-status 这三个了,来看看这三个是什么东西: sc-status:HTTP协议的状态.HTTP协议的状态代码为200,这个可能大家不熟悉,但是,HTTP404找不到文件,HTTP500内部服务器错误,这两个状态代码大家应该很熟悉了吧? 不错,这个200,其实就是这个的一种,HTTP200就是文件被正常的访问了,只有这个数字是200以外的数字,才说明访问出现了错误(比如上面说的 404文件找不到等).sc-substatus:HTTP子协议的状态.一般来说网站都是不使用子协议的,所以这个代码为0就是很正常的,我们完全可以不用管它.sc-win32-status:Win32状态.这只是表示客户端是否为32位系统的代码.如果被32位的系统访问,那么这里记录的就是0,如果被64位系统访问,那么这里记录的就是64……比如说：2007-12-03 07:33:25 61.135.145.208 - *.*.*.* 80 GET/index/119.htm - 304 Baiduspider+ (+/search/spider.htm) 这就意味着百度蜘蛛在2007-12-03 07:33:25爬过/index/119.htm这一页，它发现这页是没有更新过的。
iis 日志 理解
IIS（Internet Information Services）是一个由微软开发的Web服务器平台，它提供了强大的功能和工具，以支持Web应用程序的开发和部署。
IIS的日志功能是它的重要特性之一，可以帮助管理员更好地了解和监控Web服务器的活动。
IIS日志记录了Web服务器处理的所有请求和响应，包括HTTP请求、HTTP响应、错误消息和其他相关信息。
这些日志可以帮助管理员了解服务器的负载情况、性能问题、安全问题和访问者的行为等。
IIS日志文件通常存储在Web服务器的日志目录中，例如C:\inetpub\logs\LogFiles。
这些日志文件通常以日期和时间命名，例如ex130904.log表示2013年9月4日的日志文件。
要理解IIS日志文件，需要了解其中的常见项目和格式。
以下是一些常见的IIS日志项目：Date - 日志记录的日期和时间。
Time - 请求的到达时间。
Client - 客户端的IP地址或域名。
User - 访问者的用户名（如果已认证）。
Method - HTTP请求的方法，例如GET、POST等。
URL - 请求的URL地址。
Protocol - HTTP协议的版本。
Status - HTTP响应的状态码，例如200表示成功，404表示未找到页面等。
Bytes - 响应的大小（以字节为单位）。
Referrer - 访问页面的来源页面或URL。
Agent - 访问者的浏览器类型和操作系统信息。
通过分析这些项目，可以了解Web服务器的活动情况，例如请求的数量、访问者的来源、页面的响应时间等。
此外，还可以通过比较不同日期的日志文件来了解服务器的负载趋势和性能问题。
除了默认的日志记录，IIS还支持自定义日志记录。
可以使用LogEventProvider属性来添加自定义的日志事件。
通过自定义日志记录，可以记录特定的信息或事件，例如数据库查询、应用程序错误等。
在分析IIS日志文件时，可以使用多种工具和技术。
百度只爬首页不爬内页原因分析
百度只爬首页，不怕内页原因分析百度蜘蛛只爬网站的首页不爬内页，这是怎么回事?这个问题很多人都纠结的，特别是新站上线，久久不见收录量增加，更是心急火燎。
首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”?蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。
神马?看不懂IIS日志?网上有很多IIS日志分析工具，百度一下。
这里推荐使用光年IIS日志分析工具，快速易用。
接下来，南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。
“百度蜘蛛只爬网站的首页不爬内页”原因有如下：1、robots.txt，错误操作，屏蔽了内页。
2、群发等作弊行为。
3、服务器的原因。
4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。
5、网站质量太烂，权重极低。
6、网站维护的时候三天打鱼两天晒网。
7、网站超级新，新的一塌糊涂。
8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。
首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。
那肯定就是上面7条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。
探讨到此完毕，最后的最后呢，针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因，我们一一击破。
1-8 依次检查网站，逐一排除，逐一解决。
8大爆破方案如下：破1、robots.txt的问题，浏览器输入，查看下，一目了然。
破2、这个情况，作为网站的维护者最清楚。
如果有群发的seo作弊手法，造成百度蜘蛛只爬网站的首页不爬内页”很常见。
处理方法：停止群发的一切seo作弊手法。
有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。
适当的做点外链和友情链接，引引蜘蛛。
这种情况只能淡定的坚持，等。
破3、可以通过查询“网页http状态码”，分析网站返回的代码，判断问题原因。
还有一种情况，与你同IP服务器的网站被百度惩罚，从而牵连到你的网站。
网站站长要懂得分析网站日志
网站站长要懂得分析网站日志看一个网站的日志和中医里的把脉一样，能看出网站的健康程度。
我们通过网站日志主要是分析搜索引擎蜘蛛的爬取记录和用户IP的记录，分析这些数据能够看到网站的不足之处，然后进行改正，今天第一商务跟大家分享一下蜘蛛抓取的行为分析。
一、蜘蛛访问次数、停留时间和抓取的字节数第一点中包含了3个小概念。
1、平均每次抓取页面数=总抓取量/访问次数；2、单页抓取停留=每次停留/每次抓取；3、平均每次停留时间=总停留时间/访问次数。
蜘蛛在我们网站上的活跃度从上面这3小点中体现出来，很明显，活跃度越高，说明蜘蛛越喜欢这个网站。
而且从蜘蛛在文章页面停留的时间也能看出蜘蛛对文章页面的喜爱程度。
对于一个想要运营良好的网站来说，定期整理网站蜘蛛爬取的数据报表，对我们网站发展会非常有帮助的。
二、蜘蛛抓取的网站页面统计分析网站日志，哪些目录页面、文章页面被蜘蛛抓取了可以一眼看出，看看蜘蛛是否抓取了有效页面，是否有重复抓取。
我们想要突出的栏目可以通过内部结构来进行指向，从而有效的增加栏目的权重和蜘蛛抓取的程度。
还可以对网站内链的调整，合理的布局给蜘蛛布一个大型的网，让它停留时间更久一点，收录也就会更多。
对于那些我们不希望蜘蛛抓取的页面，也可以进行屏蔽。
三、擦看蜘蛛是否爬行了网站，并了解http状态码网站如果出现异常情况，比如收录下降，权重降低，甚至是被K，还有可能是新站长期未收录，那么就要分析下网站日志是否有蜘蛛来抓取，次数多不多。
还要记得分析http状态码。
http状态码是服务器与网络之间的信息传递记录，200是正常的，比如有的站长才购买国内最稳定的空间构建了网站没几天擦看网站日志，发现大多都是200，即使未收录，那么也即将被收录。
还有301、503、403等，当出现这样情况的时候，我们尽早做处理，以免成为网站降权的隐患。
四、掌握蜘蛛抓取的时间段一般中小型网站蜘蛛抓取的时间是固定的，并不是全天都有，所以掌握这个时间段，在蜘蛛来抓取之前就更新好网站，会给蜘蛛一个良好的印象，效果好的也许会秒收。
百度蜘蛛
--------------------------------------------------：乎每天都会访问我的论坛，并且至少抓取几十个网页。我的论坛只开的频率和网， 这个域名比较（老），注册已经快一年了，开始做了一个学习站，感觉更新比较麻烦，而且也没有很多时间去维护，但是这个学习站是关于电脑方面的，虽然内容不多，但是页面却不下两W（是别人的整站源码），—第一天，几个好朋友光顾了一下，9IP，没想到
第三：要想排名靠前，目标关键词应该完整匹配地出现在页面中。比如说，你想让你的网站在用户搜索”电脑学习”时出现在前面，那么在你的网页上，”电脑学习”这四个字应该完整连续的出现，而不能”电脑”出现在第一段分析。所以一些目前比较认同的关于site：之iduspider不停的抓取我的网站？
答：跟踪处理。 5.我希望我的网站内容被索引但不被保存快照，我该怎么做？
答：spider遵守互联网meta robot显示该网页的快照。
和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。
最近还是因为时间不够，又用这个域名改了论坛，不知下蜘蛛似乎更注重页面内的因素。与Google更加重视内部，有点爬虫类的味道，越黑越深，它越是喜欢往里钻，–不相信你做100个页面，做得再漂亮，只要链接没有层次，哈哈，不好意思，你最多就孤零零的被收录可怜的一点点东西。我前两个站开通不到一个月，也很少有外部链接。但因为本身的结构什么方法识别—-我的最先进的中文搜索老大，，GG在中文搜索这快–哈哈，不用说了吧：）没得比！
ps:关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法
SEO优化之百度蜘蛛爬行规律？
百度蜘蛛，英文名是“Baiduspider”是百度搜索引擎的一个自动程序。
它的作用是访问互联网上的网页、图片、视频等内容，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
Baiduspider是一套人自己编制的程序，百度蜘蛛的爬行有一定的规律可寻，以下来看看百度蜘蛛到底是如何爬行的呢？一、爆发式爬行不知百度蜘蛛是不是喜欢高效率的爬行，有时百度蜘蛛能在一两分钟内爬行几百次。
因为蜘蛛机器人，它爬行一段时间过后，蜘蛛机器人再去运算程序，看是否是原来收录过的，是否是原创什么的，是否应该收录等等。
毕竟这样的爬行不会经常出现，只是偶有现身。
二、稳定式爬行稳定式爬行，指的是每天24小时，每一个小时的爬行量相差不大。
稳定式爬行往往是对新站才会出现，对于百度认为你站是成熟期的，如果出现了这种爬行方式，你可一定要小心了，这种爬行方式，你的站多半会被降权。
第二天就能看出来，首页的快照日期，一定不会给你更新的。
就好比一个人做任何事情时的，没有了激情，也就没有了爆发力，当然不会卖力干事的，不卖力干事，你说效果会有多好。
三、确认式爬行什么是确认式爬行呢？就是指你网站更新一个内容过后，百度第一次爬行过后，一定不会给你放出收录来，百度蜘蛛还要进行第二次爬行再运算、比较计算的，如果认为你这个更新内容有必要收录，百度蜘蛛会进行第三次爬行，正常情况下百度蜘蛛不会进行第四次爬行。
第三次确认过后，百度蜘蛛就会慢慢的给你放出收录。
这种确认式爬行方式，就有点类似与谷歌的爬行方式。
百度蜘蛛机器人爬行首页的方式还是同原来一样，一天不知要爬行多少次首页，其它页面，如果百度认为有必要进行计算的话，就会进行第二次确认爬行。
以上说了这么多，大家可能有疑问了，百度蜘蛛来没有，我怎么知道，这个很简单你可以去查看服务器的记录日志。
你如果查看不了记录日志的话，看一下网站后台有没有记录蜘蛛爬行记录的。
做百度优化的朋友都知道，百度相对Google而言是比较难做的，但“世上无难事，只怕有心人。
上网痕迹---查询
如果你的系统是WINXP,打开资源管理器，在C盘下，点击documents and settings__new___local settings__temporary internet files,这里是上网的全部记录。
打开recent,这里是你操作的全部记录。
在开始-所有程序-管理工具-事件查看器里,打开后你就会看到有三个项目,"应用程序","安全性","系统",你可以在左边点选你想要查看的项目,也可以在右边双击打开该项目,在打开所选项目后,就会在右边的框里显示出该项目的历史操作,如果你还想看哪个操作的详细内容,可以双击打开,就会看到更详细的操作内容.包括登录的时间,打开的文件,系统的错误等等信息.如果你发现有不是你上机的时间而又有上机记录的话,那就是有人动过你的电脑啦.你就可以在这个时间段内,看看对你的电脑都做过什么.如何清除搜索框内的搜索历史记录？答：这是网页浏览器的一项功能。
进入IE浏览器的相关菜单选项设置：·如果您使用IE4.0浏览器，则由“查看→internet选项→内容→自动完成→清除表单→完成”；·如果您使用IE5.0及以上版本的浏览器，则由“工具→internet选项→内容→自动完成→清除表单→完成”；·如果您希望IE浏览器以后不再记录查询过的内容，请在“自动完成”设置页面内把“表单”前的选项勾去掉。
对于此类问题有两种解决方案，第一就是点击360浏览器工具里面的清除浏览记录，然后把想清除的选项打上勾以后，点击清除选中项目即可！第二，就是点击工具里面的360安全浏览器选项在那个隐私保护里面把需要清楚的选项勾选，这样当退出360浏览器的时候就自动清除了！希望可以帮助到你！直接删除了，相当于按shift+delete键只要是电脑不进行清理，你多少可以从电脑的历史记录中知道曾经访问过哪些网页，文件等还有我们可以在桌面上右击我的电脑图标，从快捷菜单中选择管理选项，打开计算机管理窗口。
如何判断网站是不是被K了呢？
-------------------------------------------------------------------云客网您网站的流量加油站如何判断网站是不是被K了呢？BR为0 了，网站排名没有了，这是被K站了么?作为站长我们都知道网站一旦被K就相当于我们近半年的努力灰飞烟灭，但是却不能否定很多优化技术的过度是造成我们网站被K站的原因之一。
当然，除了本身操作原因之外，还有来自于外部的被挂马等原因。
那么今天笔者小丹要和大家一起探讨的就是如何判断网站是被K了。
第一，使用百度索引来来检查。
网站被K站后最明显的表现就是收录归零，链接超载。
那么可通过百度站长工具中的索引数据和外链数量来建材网站是否被K站。
倘若之前没有进行对网站验证百度站长工具的朋友们，可使用传统的语言命令site和link来检查判断。
第二，使用domain命令检查。
在搜索引擎搜索栏中输入domain命令，如果出现了记录，但是收录却是没有，那么很遗憾的告诉您网站确实是被K站了。
第三，通过网络日志来检查。
通过服务商的网络日志我们可以检查蜘蛛的爬行路径，倘若我们发现网站已经长时间没有蜘蛛爬行的痕迹了，那么就证明网站被K站了。
第四，直接检索域名检查。
在搜索引擎中直接输入域名，如果没有显示域名快照，而是出现未找到该域名的文本展示则表示网站被K站。
第五，网站排名全部百名后。
这是SEOer最不愿看到的，却也是网站被K站最明显的展示，网站排名全部百名后。
这种现象的出现往往就代表了网站已经被K。
第六，反链的检查。
网站被K站的另一明显表现就是反链的减少，尤其是友情链接的减少。
通常情况下，友链方会比你更注意网站的情况，一旦发现网站被K会速度去掉友链，以免被搜索引擎连坐处罚。
(转载请注明转自：/news/n1851.htm，谢谢!珍惜别人的劳动成果，就是在尊重自!)SEO排名 /。
百度蜘蛛一直抓取旧网页问题分析
百度蜘蛛一直抓取旧网页问题分析百度蜘蛛一直抓取旧网页的原因互联网最近遇到一个问题，为了图个方便，注册了一个已备-案的域名，发布之后百度一直没有收录，大概一星期左右收录了首页，不过问题来了，百度收录的首页非彼首页，而是这个域名之前的旧首页，并且快照是去年的，2011-12-4，刚开始没怎么在意，老域名嘛，百度蜘蛛藕断丝连，放出来以前的旧页面也是正常的。
这样大概过了一星期，百度仍然只收录首页，并且快照一直没有更新，分析IIS日志，终于发现了问题：上面是从IIS日志百度蜘蛛抓行记录中截取的一段，这两个URL是不存在的，百度蜘蛛天天来抓，并且后面的HTTP状态码200代表返回成功，说明网页抓取成功了，实际上并没有这个页面，却抓取成功了，问题肯定出现在服务器上，于是通过站长工具HTTP状态查询检测了一下，返回信息如下：返回状态码：200网页返回HEAD信息如下Date: Wed, 13 Jun 2012 11:03:50 GMTContent-Length: 2724Content-Type: text/htmlContent-Location:此处是返回的错误页面（省略）Last-Modified: Tue, 28 Oct 2008 08:30:38 GMTAccept-Ranges: bytesETag: "bef5575d738c91:3bc363"Server: Microsoft-IIS/6.0X-Powered-By: 200 - 服务器成功返回网页，而这个页面并不存在，服务器返回了200成功返回页面的信息，蜘蛛当然以为这个页面是存在的，每天坚持来抓也是很正常的。
该站点用的是息壤的虚拟主机，一直感觉息壤的虚拟主机不错，问题较少，今天却发现了这个问题，也让我找到了百度蜘蛛一直抓取旧网页的原因。
息壤的虚拟主机存在不能返回404错误这一问题也是挺严重的，不适合可能存在错误URL的网站使用。
IIS网站日志详解
网站日志详解说明各大搜索引擎的蜘蛛名称百度（Baidu）爬虫名称（Baiduspider）谷歌（Google）爬虫名称（Googlebot）雅虎（Yahoo）爬虫名称（Yahoo Slurp）有道（Yodao）蜘蛛名称（YodaoBot）搜狗（sogou）蜘蛛名称（sogou spider）MSN的蜘蛛名称：msnbot常用返回数字代码的意义2XX 成功；3XX 重定向；4XX 客户机中出现错误；5XX服务器出错200 正常；请求已完成304 很久未更新文章404 死链接500 服务器出现错误503 服务器没有运行百度IP解释查询蜘蛛是否为百度蜘蛛的方法：开始——运行——cmd——nslookup 【ip】——看最后的name名称来进行判断123.125.71.*这个百度蜘蛛为考察期的百度蜘蛛。
如果你是新站，很正常。
任何一个新战访问的百度蜘蛛都是123开头的，所以你不必担心，只要你好好检查你的原创内容，并且不要随便更改网站的架构，相信很快就能脱离百度考察期，我们平时常说的百度沙盒。
如果随便改网站的架构，你的考察期可能会拖长很长时间，因为百度蜘蛛也不知道你结构究竟什么时候能确定，最主要就是为了确定你到底要给用户一个什么样的体验。
用户体验很重要。
如果你是老站，那就太危险了。
一般来说，你如果是老站的话，并且曾经日志中是220开头的，这个时候如果百度蜘蛛访问的ip变成了123.125.71.*这个ip段，那就需要非常谨慎了，你需要看看你近段时间是不是采集了大量的文章，如果是，需要尽快的删除，并且更新大量的原创文章。
是不是你的网站结构变了，这个也是有很大的影响，如果架构变了，就有可能被当做新站处理。
还有一点就是是否作弊了。
网站来访蜘蛛IP段属于123.125.71.*段，查询了大量关于蜘蛛的资料与相关的说明之后，发现此蜘蛛并不能说明属于降权蜘蛛，但是可以确定的是绝对不是正常蜘蛛，是说明网站进入了考察期，也可以认为是我们常说的沙盒。
采集iis日志
采集iis日志全文共四篇示例，供读者参考第一篇示例：IIS（Internet Information Services）是一种由Microsoft开发的用于托管和管理Web应用程序的软件服务。
在运行Web应用程序时，IIS会生成日志文件来记录网站的访问情况和其他相关信息。
采集这些日志文件对于了解网站的运行状况和优化网站性能非常重要。
下面我们将介绍如何采集IIS日志，并利用日志数据来分析网站的访问情况和优化网站性能。
一、采集IIS日志1. 打开IIS管理器在Windows服务器上打开IIS管理器。
可以在“控制面板”中找到“IIS管理器”选项，或者在服务器上搜索“inetmgr”打开IIS管理器。
2. 配置日志文件在IIS管理器中，找到要配置日志文件的网站，右键点击该网站，选择“属性”。
然后在“网站属性”窗口中选择“W3C扩展日志文件”，点击“属性”按钮，在“属性”窗口中可以对日志文件进行配置，包括日志文件的存储路径、日志文件的格式、日志文件的最大大小等。
3. 启用日志在“属性”窗口中，在“日志文件”选项卡中找到“启用日志”，勾选该选项启用日志功能。
可以根据需要选择其他日志配置选项，然后点击“确定”保存设置。
4. 检查日志文件确认已经配置了日志文件后，可以在指定的日志文件存储路径下查看生成的日志文件。
通常，IIS默认将日志文件存储在“C:\inetpub\logs\LogFiles”下。
可以使用文本编辑器或日志分析工具来查看日志文件。
1. 分析日志文件格式在开始分析IIS日志之前，首先需要了解日志文件的格式。
在配置日志文件时选择了W3C扩展日志文件格式，日志文件将会以特定格式记录每次网站访问的详细信息，包括访问时间、请求的URL、用户的IP地址、响应状态码等。
可以查阅IIS官方文档中关于日志文件格式的说明来了解每个字段的含义。
2. 使用日志分析工具为了更方便地分析大量的日志数据，可以使用专门的日志分析工具，例如AwStats、LogParser等工具。
什么是IIS访问日志？如何查看IIS日志？
sc-substatus：协议子状态，记录HTTP子状态代码。
sc-win32-status：Win32状态，记录Windows状态代码。
sc-bytes：服务器发送的字节数。
如何查看IIS日志？
Windows2003环境中，IIS日志默认存储路径：C:\WINDOWS\system32\LogFiles\ ，在LogFiles文件夹下，存在多个IIS日志文件夹，每个IIS日志文件夹对应一个站点日志。当然IIS日志文件存储位置也可以根据自己的实际情况，在IIS管理器中重新设定。
"304" : Not Modified 客户端已经执行了GET，但文件未变化
"305" : Use Proxy 请求的资源必须从服务器指定的地址得到
"306" 前一版本HTTP中使用的代码，现行版本中不再使用
"100" : Continue 客户必须继续发出请求
"101" : witching Protocols 客户要求服务器根据请求转换HTTP协议版本 200交易成功
"200" : OK 交易成功
"307" : Temporary Redirect 申明请求的资源临时性删除
"400" : Bad Request 错误请求，如语法错误
"401" : Unauthorized 请求授权失败
cs(User-Agent)：用户代理，客户端浏览器、操作系统等情况。
“123.125.71.-”IP段百度蜘蛛是降权蜘蛛吗
“123.125.71.*”IP段百度蜘蛛是降权蜘蛛吗
我们在网站优化过程中，一旦遇到网站不被收录、网站快照不更新的情况时，分析蜘蛛的爬行轨迹还是很常见的。
很多朋友说，一旦在网站的访问日志里出现"123.125.71.*"IP段的百度蜘蛛就是百度的降权蜘蛛，也就是你的网站很快就要被降权了，是这个样子的吗?
其实细细翻看官方给出的相关答案，可以肯定的是"123.125.71.*"IP段的蜘蛛绝对不是什么降权蜘蛛。
这个可以通过百度站长平台中LEE的回答中见到。
而这个"123.125.71.*"IP段的蜘蛛是什么呢，其实经过众多SEOer的分析得知，此IP主要是用来抓取一些新站或者文章质量较低的网站的。
所以说，如果你的站如果是新站，那么就不必那么在意了，只需好好更新自己的网站即可，特别注意要高质量的更新，切不可为了更新而更新。
而对于一些老站中，如果出现"123.125.71.*"的IP段蜘蛛，那么就得小心你的站了，分析一下具体的问题出在哪里，否则很有可能面临被K的危险。
与"123.125.71.*"IP段相反的蜘蛛段"220.181.108.*"，我们也俗称为提权蜘蛛，姑且我们不认为它是不是正确的。
但是至少在很多站长朋友们的网站经营中发现，如果你的站大多都是220.181.108.*IP段的蜘蛛，那么恭喜你，你的站还是很健康的。
一般此蜘蛛ip会出现在一些老站或是质量较高的网站中。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
SEOer如何通过IIS日志来查看百度蜘蛛的爬行痕迹
百度蜘蛛，英文名是“Baiduspider”是百度搜索引擎的一个自动程序。
它的作用是访问互联网上的网页、图片、视频等内容，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
什么是IIS日志
首先，Internet Information Server的缩写为（IIS）是一个World Wide Web server。
Gopher server和FTP server全部包容在里面。
IIS意味着你能发布网页，并且有ASP（Active Server Pages）、JA V A、VBscript产生页面，有着一些扩展功能。
IIS支持一些有趣的东西，象有编辑环境的界面（FRONTPAGE）、有全文检索功能的（INDEX SERVER）、有多媒体功能的（NET SHOW）其次,IIS是随Windows NT Server 4.0一起提供的文件和应用程序服务器，是在Windows NT Server上建立Internet服务器的基本组件。
它与Windows NT Server完全集成，允许使用Windows NT Server内置的安全性以及NTFS文件系统建立强大灵活的Internet／Intranet站点。
很多时候，SEOer在优化的时候，会遇种种的问题，比如，网站的空间是否稳定，网站的内容是否得到蜘蛛的青睐，蜘蛛爬行的频率，网站的排名为什么会下降，这些问题，我们都可以通过IIS日志来分析，有利利于帮助网站的排名。
IIS日志的作用：
通过站点的IIS日志我们可以了解搜索引擎对我们站点的爬行情况，包括搜索引擎的爬行轨迹和爬行量，进而分析出我们建设的外链对爬行的影响，我们把外链形容为搜索引擎蜘蛛进入我们站点的入口，同时IIS记录则会记录下搜索引擎蜘蛛从入口爬入的记录。
站点的更新频率与搜索引擎的抓取频率存在着一定的关系，一般来说，更新的频率高则搜索引擎爬行得越勤。
我们可以利用IIS日志中的搜索引擎爬行频率进行内容更新的微调。
通过IIS日志可以体现出站点的空间存在着某些目前外表所不能识别的错误，而这些错误可以第一时间由IIS日志反映出来。
我们可以通过日志及早的发现问题并解决问题。
同时通过IIS日志我们可以分析出我们的内容中，有什么是搜索引擎所青睐的，什么是搜索引擎正眼不瞧的。
通过这些数据进行内容的微调。
通过站点的IIS日志SEOer可以了解搜索引擎对我们网站的爬行情况。
SEOer如何通过IIS日志查看和分析百度蜘蛛的痕迹
日志的在IIS中是很重要的，但是很多人却忽略了，在这里说说，日志格式建议使用W3C扩充日志文件格式，这也是IIS 5.0默认的格式，可以指定每天记录客户IP地址、用户名、服务器端口、方法、URI资源、URI查询、协议状态、用户代理，每天要审查日志。
如图1所示。
IIS 5.0的WWW日志文件默认位置为%systemroot%\system32\logfiles\w3svc1\，对于绝大多数系统而言（如果安装系统时定义了系统存放目录则根据实际情况修改）则是C:\winnt\system32\logfiles\w3svcl\，默认每天一个日志。
建议不要使用默认的目录，更换一个记录日志的路径，同时设置日志访问权限，只允许管理员和SYSTEM为完全控制的权限。
日志文件的名称格式是：ex+年份的末两位数字+月份+日期，如2002年8月10日的WWW 日志文件是ex020810.log。
IIS的日志文件都是文本文件，可以使用任何编辑器打开，例如记事本程序。
下面列举说明日志文件的部分内容。
每个日志文件都有如下的头4行：上面各行分别清楚地记下了远程客户端的IP地址、连接时间、端口、请求动作、返回结果（用数字表示，如页面不存在则以404返回）、所使用的浏览器类型等信息。
IIS的FTP日志文件默认位置为%systemroot%\system32\logfiles\MSFTPSVC1\，对于绝大多数系统而言（如果安装系统时定义了系统存放目录则根据实际情况修改）则是C:\winnt\system32\logfiles\ MSFTPSVC1\，和IIS的WWW日志一样，也是默认每天一个日
志。
日志文件的名称格式是：ex+年份的末两位数字+月份+日期，如2002年8月10日的WWW日志文件是ex020810.log。
它也是文本文件，同样可以使用任何编辑器打开，例如记事本程序。
和IIS的WWW日志相比，IIS的FTP日志文件要丰富得多。
下面列举日志文件的部分内容。
有经验的用户可以通过这段FTP日志文件的内容看出，来自IP地址210.12.195.2的远程客户从2002年7月24日3：15开始试图登录此服务器，先后换了4次用户名和口令才成功，最终以administrator的账户成功登录。
这时候就应该提高警惕，因为administrator账户极有可能泄密了，为了安全考虑，应该给此账户更换密码或者重新命名此账户。
如何辨别服务器是否有人曾经利用过UNICODE漏洞入侵过呢？可以在日志里看到类似如下的记录：如果入侵者技术比较高明，会删除IIS日志文件以抹去痕迹，这时可以到事件查看器看来自W3SVC的警告信息，往往能找到一些线索。
本文同时在发布，如转载请注明出处，特别感谢！。