2011-JSCUT-基于文档重要度的静态索引剪枝方法

华南理工大学学报（自然科学版）第39卷第4期Journal of South China University of TechnologyVol．39No．42011年4月（Natural Science Edition ）April 2011文章编号：1000-565X （2011）04-0001-06收稿日期：2011-01-09*基金项目：国家自然科学基金资助项目（60933004）；广东省计算机网络重点实验室资助项目（CCNL200601）；“核心电子器件、高端通用芯片及基础软件产品”国家科技重大专项项目（2011ZX01042-001-001）作者简介：李晓明（1957-），男，教授，主要从事网络信息搜索与挖掘研究．E-mail ：lxm@pku．edu．cn 基于文档重要度的静态索引剪枝方法*李晓明单栋栋（北京大学信息科学技术学院，北京100871）摘要：针对网页质量参差不齐、重要程度差别巨大的问题，提出了按照网页重要程度确定其剪枝幅度的静态索引剪枝方法，并在GOV2数据集上进行了验证．实验结果表明：这种方法体现了静态索引剪枝能极大降低存储需求、提高查询效率的优点；当剪枝后的索引大小是原始大小的13%时，P@10、P@20值能达到甚至超过使用完整索引时的结果；在相同的剪枝幅度下，P@10、P@20和MAP 都明显好于以往的剪枝方法．关键词：搜索引擎；倒排索引；静态索引剪枝；文档重要度中图分类号：TP391doi ：10．3969/j．issn．1000-565X．2011．04．001自万维网诞生以来，网页数量呈指数趋势增长［1］．搜索引擎为了保持其索引网页信息的全面性，需要爬取的信息量越来越大，从而导致支持用户查询的网页索引越来越大，对存储和性能都形成了越来越大的压力．这对搜索引擎提出了一个新的挑战：一方面，由于搜索引擎索引网页数量的增加，其需要更多的资源或者时间来处理用户提交的查询；另一方面，用户希望搜索引擎能在非常短的时间内返回高质量的结果．随着搜索引擎用户数量的不断增长，搜索引擎通常会在检索的效果与效率上做一个折中，使其能既快又好地服务大量用户．通常用户在使用搜索引擎时，往往只关心其返回的前若干条结果，这样搜索引擎不需要完整地给出与用户查询相关的所有信息，而只需要找出那些最相关的信息．搜索引擎通常使用索引剪枝技术来提升查询的处理速度，通过剪枝；留下那些与用户查询最相关的信息，从而快速响应用户的查询．另外，由于互联网的开放式特点以及所蕴含的巨大商业利益，在其信息不断增加的同时，信息的质量也变得越来越参差不齐，从很有权威性和信誉度，到商业竞争的“灌水”，质量跨度很大．将它们都搜集并索引起来，不仅会使上述资源消耗、查询效率等问题更严重，而且也会影响查询的效果（即用户对返回信息的满意度）．因此，若能通过索引剪枝剪掉那些垃圾网页的信息，使它们不出现在索引中、不能返回给用户，也就隐含着搜索引擎质量的提高．如果每篇文档有一个重要度指标（例如来自权威和信誉好的网站的网页重要度高，垃圾网页重要度低），那么在索引剪枝的时候参考这个指标（重要的网页多保留一些信息，不重要的少保留一些信息），就有可能在提高访问效率的同时也改善查询效果．基于上述出发点，文中在构建索引的过程中，利用文档的重要度（包含网页的权威性及其内容的有用性两个方面）来决定每篇文档保留在索引中的信息量，并通过大规模数据实验来验证这种方法的有效性．1相关工作与背景知识倒排文件，或称倒排索引，是搜索引擎的核心数据结构，它是文档“词袋子”模型的一种具体体现［2］．为了便于后面的阐述，首先介绍若干关键术语和概念．D ：文档集合，D =｛d 1，d 2，…｝；其中每个文档d i 被看成是一组词语（term ，word ）的集合（“词袋子”模型假设）；∑：所有文档的词语集合的并集，∑=∪d i ，亦称为词典．于是，对于每一个索引词语t !∑，对应有D 的一个子集，D （t ）=｛d !D t !d ｝，亦称为“posting list ”．这样，所谓“倒排索引”则可看成是由D 、∑和所有D （t ）（t !D ）构成的一个系统．这些概念及其关系的示意图如图1所示．图1倒排索引结构示意图Fig．1Schematic diagram of invert index structure文中着重关注这样一个结构在计算机中存放的代价问题，因为它既涉及空间资源的占用，也影响查询访问时间的长短．现代搜索引擎需要索引的文档数在百亿量级（1010），若一篇文档平均包含102个不同的词语，则这个系统所需的存储在1012量级（姑且不考虑存储单位）；如果词项总数在千万量级（107），则图中每条链的长度平均为105量级（在实际典型系统中，这个长度符合Zipf 定律）．所谓索引剪枝，就是要合理地从这个结构中去掉一些内容（信息），以缩小其存储规模．索引剪枝方法通常可以分成两类：静态索引剪枝［3-7］与动态索引剪枝［6-10］．静态索引剪枝是在索引的构建过程中，去除那些在查询处理过程中很可能不会被用户关心或者说对用户不重要的信息，从而得到较小的索引结构，这样既节省了存储空间，又提高了访问速度．显然，由于静态索引剪枝是在索引构建阶段完成的，对用户查询信息的先验知识较少，难以很好地区分信息的重要程度，因而若剪枝幅度较大的话会对检索效果有一定的影响．通常，从提高访问速度的要求出发，人们希望剪枝后的结果最好能放到内存中，因此剪枝幅度会比较大，例如保留下来的内容不到未剪枝的20%．因此，争取留下比较重要的20%的内容就是一个关键问题．动态索引剪枝技术又称为查询提前截断，其要点是：索引存储的内容并不减少，但在处理查询的过程中，当满足一些属性条件后，查询就会被认为已经处理完毕，因此不需要处理与查询相关的所有信息．动态索引剪枝的优点是剪枝过程发生在查询处理阶段，这时知道的查询信息比较多，容易计算信息的重要度，一般不会影响最终查询的效果；缺点是依赖于倒排索引的结构，例如要求倒排索引中的倒排链按特定属性有序排列［10］，才能根据属性值的变化趋势决定何时做截断．从查询速度的要求来看，动态剪枝往往只能用较少的属性作为剪枝的条件，而返回结果的排序算法往往会使用很多属性，特别是使用查询词之间的关联信息（例如查询词在文档中的接近程度）时，动态剪枝的效果并不是很好．另外，文档相关性计算公式中参数的改变对动态剪枝的速度影响也比较大．文中主要讨论静态索引剪枝的方法．静态索引剪枝主要有3种方法：以词语为中心的剪枝（TCP ）方法［3］，以文档为中心的剪枝（DCP ）方法［4］和以倒排项为中心的剪枝（PCP ）方法［5］．这些方法的目的都是要缩短图1中倒排链（倒排表）的长度，不同之处在于其关注的角度．参考图1，能够容易地理解它们的要点．TCP 法关注的是一个个索引词语（t ），要缩短图中与词语对应的链的长度，也就是要减小集合D （t ）的大小．核心思想是以t 为出发点，按照某种方法给D （t ）中的每篇文档针对t 打分（即量化t 在D （t ）中的相对重要性），保留若干分数较高的，对不同的词语保留的文档个数可以不一样．DCP 法也是要缩短倒排链的长度，但出发点是每篇文档．核心思想是看一篇文档中不同词语的相对重要性（也是按某种方式打分），保留若干分数较高的词语，其数量对于每个文档可以是一个固定值或者是与文档长度相关的值．PCP 法有些不同，它直接对每个倒排项做全局的重要性判断（也是按某种方式打分），取前J 个倒排项放入剪枝后的索引系统中．这种方法的主要问题是倒排项的全局分数比较难计算，另外，实验表明［5］PCP 效果与TCP 和DCP 相近．还有一些比较简单的剪枝方法，例如直接把高频词从索引中去除等［11］．2华南理工大学学报（自然科学版）第39卷综上分析可见，这3类方法都没有考虑每一篇文档（d）在总体文档集合（D）中的相对重要性，这在传统信息检索环境下（例如图书馆的图书文献检索）可能是合理的，因为很难说图书馆中哪本书就不重要．但在互联网环境下，网页文档质量跨度很大，有些如同经典一样权威和重要，另一些则根本就是垃圾（从而在任何情况下都不应该被检索出来）．于是文中提出如下两点假设：（1）对于大规模网页文档集合D=｛d1，d2，…｝，若要求只保留每篇文档的部分信息以减少存储，则按照文档相对重要性确定每篇文档保留的信息量，要比只考虑词语在文档中的重要性确定保留的信息量得到的结果具有更高的查询价值．（2）对于大规模网页文档集合D=｛d1，d2，…｝，若按照文档相对重要性来确定保留每篇文档的部分信息量，得到的结果不仅存储需求大大减少，而且也比原始文档集合具有更高的查询价值．2文档重要度的计算本研究的核心观点是考虑利用文档的重要度来决定其保留的信息量．所谓每一篇文档包含的信息，按照“词袋子”模型，就是它所包含的词语的集合，信息量则可以看成是该集合的大小，“剪枝”即为从该集合中去掉一些词语．对于一个网页文档的重要度估算，可以从文档之间的链接关系、文档内容以及用户使用文档的方式这3个角度来衡量，分别称之为文档的权威性、内容的有用性和用户的关注度．用户倾向于相信权威性高的网页包含的信息．通常认为一个被较多重要网页链向的网页具有较高权威性，可用PageRank、HITS、SpamRank等算法来计算．文中使用PageRank算法［12］，即每一网页（p i）的PageRank值（PR）由式（1）得到：PR（pi ）=1－"C+"∑p j!In（p i）PR（pj）Out（pj）（1）式中：In（pi ）为所有链向页面pi的网页的集合；Out（pj）为页面pj链出网页的集合；C为文档集合中网页的总数；"为随机游走因子，在这里取0.85．对于网页内容的有用性，用单个页面与整个网页集合的相似度来表示．一种观点认为，一个文档与整个数据集越相似，就越能代表整个数据集．因此，那些相似度高的文档在数据集中的重要性就较高．鉴于此，认为一篇文档与数据集的相似度是它在整个数据集中重要度的体现．当然，也可能有相反的观点，即认为一篇文档越是与集合中其他的不一样，其价值（新颖性）对于集合就越大．但这对本研究影响不大，文中只需要找到一种能支持上述两个假设的方法，而不一定要找到最优的方法．相似度的计算方法有很多，例如TF*IDF、语言模型等．文中用KL散度来计算．KL散度是衡量两个分布之间差异的一个指标，差异越大，其值也越大．为每篇文档和整个文档集建立语言模型P和Q，那么文档与文档集的KL散度值可以通过式（2）计算：KL D（d，D）=KL D（P，Q）=∑t!TP（t）·(lg P（t）Q（t)）（2）式中：T为整个文档集中的词集合；P为文档d对应的语言模型；Q为文档集D对应的语言模型．用户对网页的关注度是另一个衡量网页重要度的指标．一个网页被越多用户关注，其重要性往往越高于一个没人访问的网页．在计算用户关注度时，可以利用搜索引擎中的查询点击日志，一个被经常点击的网页得到的关注往往比很少被点击的网页要高．另外，还可以从网站自身的访问日志中获取用户访问网页的信息．所以，可以定义用户的点击频率或访问次数为网页被关注的程度．3实验过程与结果分析本节的目的是希望验证前文提出的两个假设．其中，“查询价值”是一个关键概念，需要在实验设计中予以体现．给定一个代表着某些文档集合的信息集合，什么是它的“查询价值”？比较容易考虑的，就是在其上建立一个搜索引擎，用该搜索引擎对用户查询满足的程度来代表集合的查询价值，这也就是本研究的出发点．这样做的一个最大好处，除了比较容易理解外，实验可以利用公认的评测数据集以及采用经典的查询效果评价指标，例如P@N、MAP等．3．1实验步骤使用GOV2数据集作为实验数据［13］．GOV2数据集包含2004年初美国政府域名下的2500万网页，其主要用于2004—2006年Terabyte TREC任务，数据规模为426G．同时，使用与GOV2数据集一起提供的查询集（701-850）以及对应的文档相关性标注来评测索引剪枝的效果．实验的基准系统是在完整索引上采用BM25来［14］计算一个查询q=｛q1，q2，…，qn｝与一篇文档d的相关性，即3第4期李晓明等：基于文档重要度的静态索引剪枝方法SBM25（q，d）=∑ni=1lgN－n（qi）+0.5n（qi）+0.5·f（qi，d）·（k1+1）f（qi，d）(+k(11－b+b·l d avg（l d))）（3）式中：N为总的文档数；n（qi ）为出现查询词qi的文档的个数；f（qi ，d）为查询词qi在文档d中的出现次数；ld 为文档d的长度；avg（ld）为整个文档集中文档的平均长度；k1和b为可调的参数．在基准系统中，当k1=1.2、b=0.4时检索效果最好．文中使用TREC信息检索评测中经常使用的评测指标P@10、P@20和MAP来衡量系统的检索效果．在这3个指标上，基准系统在查询集（701-850）上分别能达0.5550、0.5319和0.3106，其值与TREC公布的其他参加评测的系统具有可比性．Büttcher等［4］发现，在GOV2数据集上，同等剪枝幅度下，采用DCP法剪枝后查询的效果比采用TCP法的好．因此，文中主要与DCP法进行对比．DCP法对索引剪枝的过程可分为4步：（1）对每篇文档与整个文档集建立一元语言模型P与Q；（2）利用式（2）计算文档与文档集的相似度；（3）对文档中的词按其对KL散度贡献度（式（2）中的每一个求和项对应一个词语，其大小则对应该词语对KL散度的贡献度）排序；（4）对每篇文档取前K个词，参与剪枝后的索引．当K固定，例如K=10时，表示每篇文章的前10个词参与索引，这种方法记为DCP_ const；K也可以是百分比，例如10%，表示取前10%词参与索引，这种方法记为DCP_rel．Büttcher等发现DCP_rel的效果优于DCP_const．实验中，使用DCP_rel作为对比．由于文中提出的方法也是针对文档的，要考虑在一篇文档中留下哪些词，因此可以参照DCP法的步骤，但需要对DCP法的第1步与第4步进行修改．在第1步中，首先去除了20个最频繁的词，实现表明去除这些词对检索效果基本没有影响；其次，在构建语言模型的过程中，由于存在数据稀疏问题，只对在文档集中出现频率最高的前100万个词建立语言模型，对于其他词，认为其出现频次很少，不需要对其进行剪枝；这些不需要剪枝的词占总索引大小的3.6%，因此，剪枝后产生的索引大小最小是原始大小的3．6%；实验中，对DCP_rel也做这样的处理，发现其效果比原始的方法好．在第4步中，利用文档的重要度决定为每篇文档保留多少词语，而不是像DCP_rel那样采用一个固定比例．由于文档不同方面（权威性，有用性，关注度等）的重要度值的分布是不一样的，因此，使用了sigmoid函数公式来对这些值进行转换．P（v）=k1+e－（v－m）/s（4）式中：v对应于一个文档的某一方面的重要度；m为坐标的偏离值；k用于控制保留的最大比例；s用于控制函数的平滑性．文献［4］表明，DCP_rel方法在文档中保留10%的词，就能取得非常好的检索效果．所以文中实验限定每篇文档最多可以保留文档中20%的词，最少可以不保留任何信息．文中只使用了文档权威性与内容有用性来衡量文档的重要度，而用户的关注度在GOV2测试集中比较难获得，所以没有具体的体现．对于文档的权威性，利用PageRank计算公式为每个文档计算其重要度，其均值是1．因此在sigmoid函数中，m=1，k= 0.2，参数s主要控制剪枝后索引的大小，这种剪枝方法记为DCP_imp_PR．对于文档内容的有用性，利用式（2）计算出文档的KL散度值．对于KL散度值，文档与文档集越相似，其值越小，当两个分布相同时，KL散度值取得最小值0．因此，取KL散度值的相反数来衡量文档内容的有用性．对于KL散度值的转换，取m=0，k=0.4，同样参数s用于控制剪枝后索引的大小，这种剪枝方法记为DCP_imp_KL．此外，这两种计算文档重要度的方法可以结合以得到文档的综合重要度，相应的方法记为DCP_imp_ comb，其可由式（5）计算：P（d）=αP（PR）+βP（KL）（5）其中：P（PR）是对PageRank值的转换值；P（KL）是对KL散度值的转换值；实验中取α=0.5，β=0.5．3．2结果分析搜索引擎索引结构的大小可自然地用倒排项的个数来衡量．所谓“倒排项”，就是图1中“倒排项”所指的那些实体，它们不是文档本身，但对应一篇文档，包含一些相关信息，需要一定的空间存放．各种不同的索引剪枝方法在不同索引剪枝粒度下的P@10、P@20、MAP的取值如图2－4所示．图2各种剪枝方法在不同保留信息比例下的P@10取值Fig．2P@10values at different pruning levels with different pruning methods4华南理工大学学报（自然科学版）第39卷图3各种剪枝方法在不同保留信息比例下的P@20取值Fig．3P@20values at different pruning levels with different pruningmethods图4各种剪枝方法在不同保留信息比例下的MAP 取值Fig．4MAP values at different pruning levels with different pruning methods由图2可见，DCP_imp 方法对P@10指标的改进很大．当保留10%的信息时，DCP_imp 方法在P@10指标上就能超越使用完整索引的基准系统（P@10=0.5550），这支持了文中的假设2．其原因是排序算法往往会把重要度高的文档排在较前面的位置，例如，BM25算法会把与查询相似的页面排在前面．在DCP_imp 方法下，重要的文档保留的信息较多，而对于不重要的文档，为其保留信息少．这样不重要的文档对整体文档排序的干扰会比使用完整信息索引时小，从而其产生的前10条结果的质量就比较高．同时，图2所示结果表明，在保留相同信息比例的情况下，DCP_imp 方法整体上优于传统的DCP_rel 方法，这是对假设1的支持．由图3可见，DCP_imp 方法的P@20值随着保留信息比例的增大而增大，与使用完整索引的效果相近．特别是DCP_imp_comb 方法，在保留13%的信息时，P@20值基本达到使用完整索引时的效果．但与P@10的改进效果相比，这些剪枝方法都没有超过使用完整信息时达到的效果．这是由以下两方面原因造成的：第一，静态索引剪枝在索引构建时会去除大部分的信息，使得在检索时找出的相关文档的数量减少；第二，随着返回文档数的增加，那些不重要的文档对排序的干扰会降低．不过从图中仍可发现DCP_imp 方法要优于DCP_rel 方法，这也是对假设1的支持．MAP 值不仅与精度相关，还与文档的召回率相关．而静态索引剪枝方法去除了一些信息，使得一些文档无法被检索到，导致召回率比使用完整索引信息时的低，从而在MAP 上比使用完整索引信息的低．实验结果显示，使用完整索引信息的MAP 可以达到0.3106，而在索引剪枝保留13%的信息时，DCP_imp_comb 只达到了0.2520，下降了近19%．但是，就搜索引擎的应用需求而言，召回率没有P@10、P@20重要．同时，从图中仍可以发现DCP_imp 方法对MAP 值的改进效果普遍比DCP_rel 方法的好，这又是对假设1的支持．4结语索引剪枝是实现大规模搜索引擎的一项基本技术．基于对网页质量参差不齐，重要程度差别巨大的观察，文中提出了按照网页重要程度确定剪枝幅度具有优越性的假设，并提出了一种具体的方法对该假设进行验证．该方法属于静态剪枝范畴，即在创建索引的阶段施行，它根据文档的重要程度来决定倒排表中保留信息的多少．在GOV2数据集上的实验结果表明，这种方法不仅体现了剪枝能极大降低存储需求、提高查询效率的优点，而且也不会降低查询的效果，在去除了近90%信息的情况下，反映查询效果的P@10、P@20值基本不受影响；同时，该方法与以往的剪枝方法相比，在保留相同信息量的情况下，P@10、P@20和MAP 都明显改进．文中提出的方法与相关实验有效地起到了验证假设的作用，但方法与实验本身还有许多待完善之处，包括文档重要性模型及其计算，文档重要度与保留信息量的关系等等，都有待于进一步的研究．参考文献：［1］李晓明．对中国曾有过静态网页数的一种估计［J ］．北京大学学报：自然科学版，2003，39（3）：394-398．Li Xiao-ming．An estimation of the growth of Chinese Web pages ［J ］．Acta Scientiarum Naturalium Universitatis Pe-kinensis ，2003，39（3）：394-398．［2］李晓明，闫宏飞，王继民．搜索引擎———原理、技术与5第4期李晓明等：基于文档重要度的静态索引剪枝方法系统［M］．北京：科学出版社，2010：130．［3］Carmel D，Cohen D．Static index pruning for information retrieval systems［C］∥Proceeding of the24th Annual In-ternational ACM SIGIR Conterence on Research and De-velopment in Information Retrieval．New York：ACM，2001：43-50．［4］Büttcher S，Clarke C．A document-centric approach to static index pruning in text retrieval systems［C］∥Pro-ceedings of the15th ACM International Conference on In-formation and Knowledge Management．New York：ACM，2006：182-190．［5］Nguyen L T．Static index pruning for information retrieval system：a posting-based approach［C］∥7th Workshop onLarge-Scale Distributed Systems for Information Retrieval．New York：ACM，2009：25-32．［6］De Moura E S，Dos Santos C F，Fernandes D R，et al．Im-proving web search efficiency via a locality based staticpruning method［C］∥Proceedings of the14th Interna-tional Conference on World Wide Web．New York：ACM，2005：235-244．［7］Altingovde I S，Ozcan R，Ulusoy ．Exploiting query views for static index pruning in web search engines［C］∥Pro-ceeding of the18th ACM Conference on Information andKnowledge Management．New York：ACM，2009：1951-1954．［8］Persin M，Zobel J，Sacks-Davis R．Filtered document re-trieval with frequency-sorted indexes［J］．Journal of theAmerican Society for Information Science，1996，47：749-764．［9］Anh V N，Moffat A．Pruned query evaluation using pre-computed impacts［C］∥Proceedings of the29th AnnualInternational ACM SIGIR Conference on Research andDevelopment in Information Retrieval．New York：ACM，2006：372-379．［10］Zhang F，Shi S，Yan H，et al．Revisiting globally sorted indexes for efficient document retrieval［C］∥Procee-dings of the Third ACM International Conference on WebSearch and Data Mining．New York：ACM，2010：371-380．［11］Skobeltsyn G，Junqueira F，Plachouras V，et al．ResIn：a combination of results caching and index pruning forhigh-performance web search engines［C］∥Proceedingsof the31th Annual International ACM SIGIR Conferenceon Research and Development in Information Retrieval．New York：ACM，2008：131-138．［12］Brin S，Page L．The anatomy of a large-scale hypertextual web search engine［J］．Computer Networks and ISDNSystems，1998，30：107-117．［13］Büttcher S，Clarke C，Soboroff L．The TREC2006ter-abyte track［C］∥Proceedings of the15th Text RetrievalConference．Gaithersburg：NIST，2006：128．［14］Robertson S，Walker S，Beaulieu M．Okapi at TREC-7：automatic ad hoc，filtering，VLC and interactive track［J］．Nist special Publication，1999：253-264．Static Index Pruning Based on Document ImportanceLi Xiao-ming Shan Dong-dong（School of Electronics Engineering and Computer Science，Peking University，Beijing100871，China）Abstract：As the quality and importance of Web pages are both variable，this paper proposes a static index pruning method which uses the web page importance to determine the ratio of information kept for each document．The re-sult of experiments on GOV2dataset show that（1）the proposed method greatly reduces the storage size and speeds up the search；（2）when the pruned index takes only13%of the original size，P@10and P@20reach or exceed the baseline using full index；and（3）by using the proposed method，P@10，P@20and MAP are all better than those of the traditional method at the same pruning level．Key words：search engine；inverted index；static index pruning；document importance6华南理工大学学报（自然科学版）第39卷。