网络爬虫策略以及IP意义

从网络爬虫的抓取策略来看有：

宽度优先遍历策略、非完全pagerank策略、ocip策略、大站优先策略。

不管它有多少种的爬取策略，其基本目标是一致的：优先选择重要的网页进行爬取。

怎么确定网页的重要性？

根据爬虫对链接的分析得出，而链接的分析又有两种：

用户发出的查询与网页内容的内容相似性得分；

通过链接分析方法计算获得的得分。

搜索引擎融合两者，共同拟合出相似性平分函数，来对搜索结果进行排序。

页面的重要性怎么得来？

通过pagerank算法：对于某个网页A来说，网页的计算基于两个基本假设。

数量假设：如果一个页面节点接收到其他网页指向的入链数越多，页面越重要。

质量假设：指向页面A的入链质量不同，质量高的页面会通过链接想其他页面传递更多的权重。越是质量高的页面指向页面A，则页面A越重要。

这样说来，不同的爬虫所在的服务器也指定是不相同的，而我们的网站被K和降权等等所表现的形式，肯定也能通过在ftp服务器的网站日志中查询到。

我们想象一下：网络爬虫具有四种策略，而不管那种策略的网络爬虫总不能只是用一台服务器来作为载体，我们如果深入了解搜索引擎的核心内容就应该知道，爬虫从服务器出发，看到了页面之后是把页面下载到它所属的服务器中。

我们的网站会有不同的变化：快照每天更新，快照基本上不更新，网站降权，收录下降，网站被K。许多许多的不同类型的网站表现情况。

那么每天的蜘蛛访问的ip地址不同的话，也就能很显著的了解到网站的情况以及即将面对的情况，这样以来也算得上是防患于未然。

下面是吾等简单摘抄的一些网络上流传的蜘蛛不同IP段所代表的不容含义：

123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权。220.181.68.*每天这个IP 段只增不减很有可能进沙盒或K站。

220.181.7.*、123.125.66.* 代表百度蜘蛛IP造访，准备抓取你东西。

121.14.89.*这个ip段作为度过新站考察期。

203.208.60.*这个ip段出现在新站及站点有不正常现象后。

210.72.225.*这个ip段不间断巡逻各站。

125.90.88.* 广东茂名市电信也属于百度蜘蛛IP 主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的。

220.181.108.95这个是百度抓取首页的专用IP，如是220.181.108段的话，基本来说你的网站会天天隔夜快照。

220.181.108.92 同上98%抓取首页，可能还会抓取其他(不是指内页)220.181段属于权重IP 段此段爬过的文章或首页基本24小时放出来。

123.125.71.106 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。

220.181.108.91属于综合的，主要抓取首页和内页或其他，属于权重IP 段，爬过的文章或首页基本24小时放出来。

220.181.108.75重点抓取更新文章的内页达到90%，8%抓取首页，2%其他。权重IP 段，爬过的文章或首页基本24小时放出来。

220.181.108.86专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。

123.125.71.95 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。

123.125.71.97 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。

220.181.108.89专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。

220.181.108.94专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。

220.181.108.97专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。

220.181.108.80专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。

220.181.108.77 专用抓首页IP 权重段，一般返回代码是304 0 0 代表未更新。

123.125.71.117 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。

220.181.108.83专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。

注：以上IP尾数还有很多，但段位一样的123.125.71.*段IP 代表抓取内页收录的权重比较低.可能由于你采集文章或拼文章暂时被收录但不放出来.

220.181.108.*段IP主要是抓取首页占80%，内页占30%，这此爬过的文章或首页，绝对24小时内放出来和隔夜快照的，这点我可以保证!

一般成功抓取返回代码都是200 0 0返回304 0 0代表网站没更新，蜘蛛来过，如果是200 0 64别担心这不是K站，可能是网站是动态的，所以返回就是这个代码。