一种改进的主题网络蜘蛛搜索算法.kdh

ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用２００７，４３（１０）１引言随着Ｉｎｔｅｒｎｅｔ的快速发展，人们获得信息资源的有效工具─搜索引擎变的越来越重要。

人们能否有效地获得自己所需的信息在很大程度上取决于搜索引擎的性能。

而网络蜘蛛（ｗｅｂｃｒａｗｌｅｒ）在搜索引擎中占据着重要的地位，网络蜘蛛的搜索策略是搜索引擎的核心技术。

近几年来出现了许多著名的搜索算法，如早期的Ｂｒｅａｄｔｈ－Ｆｉｒｓｔ算法和Ｄｅｐｔｈ－Ｆｉｒｓｔ算法，后来出现的ＳｈａｒｋＳｅａｒｃｈ算法（ＦｉｓｈＳｅａｒｃｈ算法的变体），还有基于链接结构的ＰａｇｅＲａｎｋ算法和ＨＩＴＳ算法以及基于网页内容的Ｂｅｓｔ－Ｆｉｒｓｔ［１］算法等。

主题网络蜘蛛是近几年才兴起的研究热点，它是针对某一专门领域的信息进行搜索，用于专业搜索引擎系统中，满足特定人群的需要。

随着人们对信息查询要求的不断提高，专业领域化的搜索引擎正日益得到广大研究者的重视。

系统对主题网络蜘蛛的要求更高，其搜索策略更加复杂，往往需要引入机械学习算法使搜索具有一定的适应性和进化性，要尽可能地使所搜索的网页与主题之间具有很高的相关度。

目前主题网络蜘蛛搜索策略的主要困难在于：网络蜘蛛对ｗｅｂ搜索空间中信息资源的整体分布总是未知的，不能很好地预测爬行方向。

虽然目前出现的“启发式”搜索策略可以借助某些领域知识对信息资源的分布情况做出某种程度的估计，据此推断出大致的搜索方向，但是这种方法的计算量大、时空复杂度高，目前也没有找到很合适的学习算法来指导训练过程。

本文经过对几种主题网络蜘蛛的研究比较，利用Ｂｅｓｔ－Ｆｉｒｓｔ算法的优越性，在Ｂｅｓｔ－Ｆｉｒｓｔ算法的基础上引入并行分布式计算的思想对Ｂｅｓｔ－Ｆｉｒｓｔ算法进行了改进，提出了ＢＳ－ＢＳ算法。

该算法具有在全局范围内获到最优解的功能，改善了Ｂｅｓｔ－Ｆｉｒｓｔ算法的贪婪特性。

２对现有网络蜘蛛的性能评价把获得的与主题相关的页面称为“回报”，将可以通过直接计算相关度得到的页面称为“立即回报”，将网络蜘蛛不能直接获得必须通过间接计算才能得到的页面称为“未来回报”。

文献［２］中采用了一种性能评价策略主要对Ｂｅｓｔ－Ｆｉｒｓｔ算法、Ｂｒｅａｔｈ－Ｆｉｒｓｔ算法、ＳｈａｒｋＳｅａｒｃｈ算法和ＩｎｆｏＳｐｉｄｅｒｓ［３］这几种算法进行了全方位的评价。

评价策略的系统框架如图１所示。

这里仅针对这几种搜索策略的“召回率”进行比较，结果如图２所示。

对这几种算法评价过程中将存放链接的最大缓冲区ＭＡＸ＿ＢＵＦＦＥＲ设为２５６。

从图２中比较可以得出Ｂｅｓｔ－Ｆｉｒｓｔ算法在这几种算法中表现的性能最优，其次Ｉｎｆｏｓｐｉｄｅｒｓ算法，Ｂｒｅａｔｈ－Ｆｉｒｓｔ算法得到的“召回率”最低。

一种改进的主题网络蜘蛛搜索算法林海霞，原福永，陈金森，刘俊峰ＬＩＮＨａｉ－ｘａｉ，ＹＵＡＮＦｕ－ｙｏｎｇ，ＣＨＥＮＪｉｎ－ｓｅｎ，ＬＩＵＪｕｎ－ｆｅｎｇ燕山大学信息科学与工程学院，河北秦皇岛０６６００４ＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，ＹａｎｓｈａｎＵｎｉｖｅｒｓｉｔｙ，Ｑｉｎｈｕａｎｇｄａｏ，Ｈｅｂｅｉ０６６００４，ＣｈｉｎａＥ－ｍａｉｌ：ｌｉｎｈａｉｇｉｒｌ＠ｙａｈｏｏ．ｃｏｍ．ｃｎＬＩＮＨａｉ－ｘａｉ，ＹＵＡＮＦｕ－ｙｏｎｇ，ＣＨＥＮＪｉｎ－ｓｅｎ，ｅｔａｌ．Ｉｍｐｒｏｖｅｄａｌｇｏｒｉｔｈｍａｂｏｕｔｔｏｐｉｃｗｅｂｃｒａｗｌｅｒ’ｓｓｅａｒｃｈｓｔｒａｔｅｇｙ．ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００７，４３（１０）：１７４－１７６．Ａｂｓｔｒａｃｔ：Ｔｏｐｉｃｗｅｂｃｒａｗｌｅｒｓｅａｒｃｈｓｔｒａｔｅｇｙｉｓｔｈｅｃｏｒｅｏｆｐｒｏｆｅｓｓｉｏｎａｌｓｅａｒｃｈｅｎｇｉｎｅｔｅｃｈｎｏｌｏｇｙ．Ｈｏｗｅｖｅｒ，ｔｈｅｃｕｒｒｅｎｔｔｏｐｉｃｓｅａｒｃｈａｌｇｏｒｉｔｈｍｓａｌｗａｙｓｅｘｉｓｔｌａｒｇｅｇｒｅｅｄｙ．Ｉｔｉｓｄｉｆｆｉｃｕｌｔｔｏｆｉｎｄｏｐｔｉｍａｌｓｏｌｕｔｉｏｎｓｉｎｔｈｅｏｖｅｒａｌｌｓｉｔｕａｔｉｏｎ．ＴｈｒｏｕｇｈｃｏｍｐａｒａｔｉｖｅａｎａｌｙｓｉｓｆｉｎｄｔｈａｔｄｅｓｐｉｔｅＢｅｓｔ－Ｆｉｒｓｔａｌｇｏｒｉｔｈｍｈａｖｉｎｇｓｈｏｒｔｃｏｍｉｎｇｓ，ｂｕｔｉｔｓｐｅｒｆｏｒｍａｎｃｅｉｓｏｐｔｉｍａｌｉｎｓｅｖｅｒａｌａｌｇｏｒｉｔｈｍｓ．ＳｏｂａｓｅｄｏｎＢｅｓｔ－ＦｉｒｓｔａｌｇｏｒｉｔｈｍｓｉｔｒａｉｓｅｓＢＳ－ＢＳａｌｇｏｒｉｔｈｍｓ．ＴｈｅｎｉｔｅｖａｌｕａｔｅｓＢＳ－ＢＳａｌｇｏｒｉｔｈｍ．Ａｎｄｆｉｎｄｔｈａｔｎｏｔｏｎｌｙ＂ｒｅｃａｌｌｒａｔｅ＂ｈａｓｉｍｐｒｏｖｅｄ，ｂｕｔｃａｎｇｅｔｔｈｅｏｐｔｉｍａｌｓｏｌｕｔｉｏｎｓｉｎｔｈｅｏｖｅｒａｌｌｓｉｔｕａｔｉｏｎ．Ｋｅｙｗｏｒｄｓ：ｔｏｐｉｃｗｅｂｃｒａｗｌｅｒ；Ｂｅｓｔ－Ｆｉｒｓｔａｌｇｏｒｉｔｈｍ；ｒｅｃａｌｌｒａｔｉｏ摘要：主题网络蜘蛛搜索策略是专业搜索引擎的核心技术。

但是目前的主题搜索算法往往存在很大贪婪性，难以在全局范围内找到最优解。

通过比较分析发现Ｂｅｓｔ－Ｆｉｒｓｔ算法虽然有它的不足，但是它在几种算法中表现的性能最优。

故以Ｂｅｓｔ－Ｆｉｒｓｔ算法为基础，提出了ＢＳ－ＢＳ算法。

对ＢＳ－ＢＳ算法进行性能评价，发现应用此算法搜索不但“召回率”有所提高，还能在一定程度上找到全局范围内的最优解。

关键词：主题网络蜘蛛；Ｂｅｓｔ－Ｆｉｒｓｔ算法；召回率文章编号：１００２－８３３１（２００７）１０－０１７４－０３文献标识码：Ａ中图分类号：ＴＰ３９１作者简介：林海霞（１９７８－），女，硕士研究生，主要研究方向：计算机网络信息检索技术、网络缓存系统、数据库应用系统；原福永（１９５８－），男，副教授，系主任，研究生导师，主要研究方向：计算机网络信息检索技术、网络缓存系统、数据库应用系统。

１７４ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用２００７，４３（１０）本文利用文献［２］中的网络蜘蛛性能评价系统对Ｂｅｓｔ－Ｆｉｒｓｔ算法进行了更为深入地研究。

针对其不足之处作了相应的改进。

３算法分析与改进３．１Ｂｅｓｔ－Ｆｉｒｓｔ算法简单介绍Ｂｅｓｔ－Ｆｉｒｓｔ算法：Ｂｅｓｔ－Ｆｉｒｓｔ算法是由Ｃｈｏ和Ｈｅｒｓｏｖｉｃｉ等人于１９９８年研究提出的，后人在此基础上也作了很多改进。

其基本思想是构建一个ＵＲＬ链接列表，然后按照某种评价选择策略选择出最好的链接进行访问。

不同的Ｂｅｓｔ－Ｆｉｒｓｔ算法有着不同的选择链接的方法。

有基于页面内容评价的方法和基于链接结构评价的方法。

通常最常用的是基于页面内容的评价方法［４］。

采用的是计算网页文档内容与主题关键字之间相似度的方法，相似度的计算通常采用下列公式：ｓｉｍ（ｑ，ｐ）＝ｋ∈ｑ∩ｐ#ｗｋｑ＊ｗｋｐ（ｋ∈ｐ#ｗ２ｋｐ）＊（ｋ∈ｑ#ｗ２ｋｑ）$（１）其中ｑ表示主题，ｐ表示网页文档，ｗｋｐ代表主题词ｋ在文档ｐ中的权重值，一般采用ｔｆ－ｉｄｆ方法计算，ｗｋｑ为关键词的权重。

计算所得结果即为网页内容与主题的相关度。

３．２Ｂｅｓｔ－Ｆｉｒｓｔ算法分析虽然Ｂｅｓｔ－Ｆｉｒｓｔ算法在这几种算法中表现出了最优的性能，但从实验中可以看出算法本身也存在着一定的缺陷，它具有很大的贪婪性，容易过早的陷入Ｗｅｂ搜索空间中局部最优子空间的陷阱。

在搜索的网页范围达到１０００页时，算法已经开始收敛。

也就是说Ｂｅｓｔ－Ｆｉｒｓｔ算法只适用于小范围内主题的搜索。

算法的贪婪性体现在它只选择本身与主题相关度值很大的链接，而忽略掉某些蕴涵很大远期价值的链接。

这些蕴涵远期价值很大的链接本身与主题内容的相关度值并不高，但是通过这些链接节点可能搜索到大量的与主题相关的网页。

搜索策略的这种贪婪性使得搜索在还没有扩大到一定范围时就已经开始收敛了。

故搜索难以得到全局范围内的最优解，只能找到局部范围内的最优解［５－７］。

３．３ＢＦ－ＢＦ算法的提出这里将直接可以得到的主题相关链接称为“立即回报”，将经过若干与主题无关链接之后才能获得的主题相关链接称为“未来回报”。

在搜索过程中，对立即回报的预测值，称为“立即回报”价值；对未来回报的预测值，称为“未来回报”价值。

“立即回报”价值大的链接，其“综合价值”不一定大。

因为有些链接节点尽管与主题的相关度不高，也就是说“立即回报”价值很小，但是通过此链接节点可以找到更多的与主题相关的链接，这说明它的“未来回报”价值很大。

所以某些链接尽管没有立即回报价值，但它们依然具有很大的“回报”值。

网络蜘蛛在搜索时如何权衡“立即回报”价值和“未来回报”的关系，获得“综合价值”最大的链接，一直是网络蜘蛛搜索策略研究的热点［７］。

Ｂｅｓｔ－Ｆｉｒｓｔ算法恰恰是一种只注重“立即回报”价值，忽略“未来回报”价值的贪婪算法。

图３为网络蜘蛛搜索过程示意图，ｐ０，ｐ２，ｄ０，ｄ１，ｄ２，ｄ３，ｄ４为主题相关页面，ｐ１为无关页面，假设网络蜘蛛从ｐ０开始搜索，一般Ｂｅｓｔ－Ｆｉｒｓｔ算法的思想是：如果经过计算发现ｐ１为无关页面，而ｄ０为相关页面，就会将ｐ１这个链接节点忽略，沿着ｌ０这条路径搜索。

这样就会导致ｐ２，ｄ１，ｄ２，ｄ３，ｄ４这些潜在的相关页面也被网络蜘蛛所忽略，从而导致搜索的整体“回报”不高，不能使网络蜘蛛得到全局范围内的最优解。

本文所提出的ＢＳ－ＢＳ算法的基本思想是：虽然网络蜘蛛发现ｐ１为无关链接节点，但它暂时也不会放弃这个链接，它会继续验证ｐ１的邻节点是否存在与主题非常相关的页面。

系统设定一个参数Ｄ，Ｄ是网络蜘蛛在遇到无关链接时所需最大的爬行深度。

如果网络蜘蛛在爬行深度Ｄ步以后仍然没有发现相关页面，才将ｐ１这个无关链接舍弃。

但是如果网络蜘蛛经过ｌ２，ｌ３，ｌ４，ｌ５，ｌ６，这几条路径林海霞，原福永，陈金森，等：一种改进的主题网络蜘蛛搜索算法１７５ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用２００７，４３（１０）的搜索后都能找到主题相关页面，这说明ｐ１这个链接虽然“立即回报”价值很小，但是它蕴涵着很大的远期回报价值。

故ＢＳ－ＢＳ算法会很注重它的“未来回报”价值。

这时，ＢＳ－ＢＳ算法就会并发出另一个线程将ｐ１作为初始节点开始搜索。

ＢＳ－ＢＳ算法部分数据结构及参数设定：（１）构建一个存放候选链接的ＵＲＬ列表，用于存放未被访问但需要访问的链接。

（２）构建一个存放没有回报价值的链接的ＵＲＬ列表，这些链接节点将被网络蜘蛛视为无用链接而被舍弃。

（３）设定相似度阈值ｒ１，用于衡量“立即回报”价值。

如果“立即回报”价值大于ｒ１，就将链接的ＵＲＬ存入候选链接列表。