基于词关联度的文本检索系统

Micr ocomputer Applica tions Vol.27,No.3,2011技术交流微型电脑应用2011年第27卷第3期6文章编号：1007-757X(2011)03-0062-03基于词关联度的文本检索系统丁立恺夏勇明钱松荣摘要：基于对语料的统计分析，提出了词关联度的概念。

通过对文本库中词语出现的频率，以及任意两个词语共同出现的频率进行统计，获得了各个词语之间的关联度，并使用这一参数对语义向量进行调整，可以有效地解决传统向量空间模型的单词依赖问题。

结合倒排索引技术，实际建立了一个相当规模的文本检索系统。

测试结果表明，系统具有较好的效果和良好的性能，具备实用价值。

关键词：词关联度信息检索向量空间模型倒排索引中图分类号：TP311文献标志码：A0引言传统的检索技术，如图书分类、图书索引、网页目录等，由于需要人工参与，不适应计算机自动处理。

随着信息技术的迅猛发展，信息爆炸、信息过载的问题已越发显著。

为满足人们筛选海量信息的需要，信息检索技术成为了一个热门的研究话题，并取得了很大发展。

本文基于对语料的统计分析，提出了词关联度的概念。

通过对文本库中词语出现的频率以及任意两个词语共同出现的频率进行统计，获得各个词语之间的关联度。

借此对基于向量空间模型的语义进行调整，从而获得更好的检索效果。

1向量空间模型向量空间模型（VSM ）[1]这一模型将文本映射为向量，通过对向量夹角的计算，获得不同文本之间的关联度。

假设文本集中有n 个文档12,,...,n d d d ，共包含有m 个词语12,,...,m w w w ，则第i 个文档可以被表示为一个向量()12,,...,i m d f f f =，其中fj 是第j 个词在第i 个文档中出现的频率。

通过这样的表示，一个文档被映射成m 维空间中的一个向量。

而整个文本集可以表示为一个m n ×的矩阵[]ij A a =。

[2]两个文档di 和dj 之间的关联度可以由相应向量的夹角来给出，即11cos m ki kj k i j a a S ππ==∑。

可见01i j S ≤≤，S ij 越大，则关联度越高。

向量空间模型将文本量化，表示方法简明直观并且适合计算机处理，关联度的引入使得能够对查询结果进行排序，并在一定程度上允许检出和查询条件相似的文档。

但是向量空间模型又非常依赖查询条件的准确性。

在自然语言中，多词同义、近义的现象十分普遍，假设用户输入的检索条件是词A ，而包含A 的近义词B 、C 的文档就很难被检索出来。

潜在语义索引（LSI ）[3]在一定程度上解决了这一问题。

它使用奇异值分解（SVD ）[4]方法对文本矩阵进行降维处理，从而仅使用数学方法即获得潜在语义。

但是潜在语义索引又面临22(min(,))O nm mn [5]的时间复杂度，且更新较为复杂，不适合较大规模的应用。

[6]2词关联度通过对文本集的分析，我们认为可以从文本集的统计特性，获得词语之间的关联程度，并进一步寻找文档和文档之间的联系。

我们将任意两个词语wi 对wj 的关联度定义为,00,0iji ij ii c c r c c ≠==其中cij 为文本集中wi 和wj 共同出现的文档数，ci 为文本______________作者简介：丁立恺：复旦大学通信科学与工程系，硕士研究生，上海，200433夏勇明：复旦大学通信科学与工程系，实验师，上海，200433钱松荣：复旦大学通信科学与工程系，教授，上海，2004332Microcomputer Applications V ol.27,No.3,2011技术交流微型电脑应用2011年第27卷第3期63集中含有wi 的文档数。

如果wi 是一个高频词，即ci 值较大，那么wi 和wj 之间即使没有关联性，共同出现的概率也会比较高。

通过分母上对词关联度进行调整，更准确体现了两个词之间的关联度。

不同词语出现频率落差很大，在调整后rij 的取值在0和1之间，具备了可比性。

让我们通过一些实验数据来观察词关联度的有效性。

从下表中可以看到，w2一栏中所列出的词语都是和“中国”这个范畴有一定关联的。

也就是说，通过文本集中词语的统计归纳，我们得到了词语的语义。

而在检索时，我们运用这些统计数据，可以获得用户输入的关键词中所隐含的信息。

w 1w 2r 12中国发展0.288中国企业0.281中国公示0.248中国市场0.225中国服务0.202中国国际0.202中国国家0.200中国管理0.199中国技术0.189中国产品0.187中国工作0.174中国信息0.152中国经济0.145在我们的检索系统中，用户可以输入关键字、文章，或者以初次搜索结果作为检索条件。

无论如何，我们统一将用户输入（经过分词处理和词频统计）看成一个语义向量()12,,...,m s f f f =,经过词关联度变换，()12,,...,m s f f f ′′′′=，其中1m i ji j j f r f =′=∑1m i ji j j f r f =′=∑，也就是说，把和各个分量存在关联的词语按关联度比例叠加到原始向量上，我们称之为语义扩展。

这一步骤主要是为了解决前面提到的传统向量空间模型中的单词依赖问题。

对于一些出现比较少、概念比较窄的词汇，可以通过扩展提高检索效果。

而出现频率比较高的词语，我们认为其概念比较宽泛，并不需要作过多扩展。

从下表中的实际统计数据可以看到，由于我们将关联度定义成非对称的形式，从而第二列中的词语不容易对外发出较高的关联度，语义扩展对原向量的修改并不大。

w 1w 2r 12r 21追究责任0.9920.114发展观科学0.9860.147威望注册0.9570.107我们对经过语义扩展的向量各分量排序，以靠前的分量作为关键字，从倒排索引中取出文档。

在扩展完成后，文档di 与检索条件s 之间的关联度为11m m i k i ji j k j S a r f ===∑∑由于此关联度用在返回结果排序中，仅具有相对意义，故未进行归一化处理。

再来分析一下预处理的复杂度。

假定每个文档经过分词处理后都包含k 个不同的词语。

在时间复杂度方面，共需进行(1)k k n 次更新，即()O n 。

而在空间上，至多需要保存m 个次的全部两两组合，即2()O m 。

由于不同词语的出现概率落差非常大（在我们的统计中，出现文档数少于100个的词语占到总词语数的82%，少于10个文档的词语数也达到总数的45%。

），因此很多词语并未共同在一个文档中出现过。

实际组合数要大大小于理论上限。

3系统的实现为了实际测试我们的算法效果，我们下载了复旦大学日月光华BBS （ ）的部分精华区文章作为文本库，涵盖了以下一些分区：电脑技术、休闲娱乐、文学艺术、体育健身、新闻信息、学科学术、影音娱乐。

我们首先对文本进行预处理，提取出作者、发表时间、标题等元数据，同时去除了一些冗余的HTML 标签。

然后剔除了一些过于短小的文章，最后我们的文本库包括1,108,716篇文章，以GBK编码存储共计4,967,031,492字节。

我们对文本进行分词处理，剔除了一些无意义的停用词，并且根据词性筛选出实际意义比较强的名词、动词、形容词等。

根据分词结果进行词频统计和词关联度统计。

我们把词关联度保存在PostgreSQL 数据库中。

为了提高建立数据库的速度，我们暂时去除索引，并在程序中缓存一大批文章的结果，随后批量导入到数据库中。

由于最终的数据表大Micr ocomputer Applica tions Vol.27,No.3,2011技术交流微型电脑应用2011年第27卷第3期6小超出了服务器内存，我们对数据表进行了水平分表，提高了性能。

为建立倒排索引，我们采用了CLucene （Lucene 的C++移植）[7]。

对于每一篇文章，首先构建一个document 对象，将从文章中提取的元数据作为字段，存储到document 中，随后利用addDocument 方法将该文档加入到索引中。

最终我们获得的索引文件大小是2,896,998,946字节，考虑到CLucene 在Linux 上使用的是32位宽字符，生成的索引文件还是比较小的。

我们采用相对轻量级的lighttpd 作为web 服务器，以C++语言编写fastcgi 程序与用户进行交互。

系统提供给用户三种搜索方式：关键字搜索：可以是空格分隔的关键字列表，也可以是一句短句；文章搜索：用户可以输入大篇幅的文字，进行搜索；相似文章搜索：用户可以在使用上述两种方式获得检索结果后，点击结果旁的“相似文章”链接，点击即可获得与该结果相近的文档列表。

在语义扩展过程中，我们需要权衡性能问题。

首先需要截断查询条件向量，避免太多的数据库查询，其次需要截断语义扩展后的向量，避免太多的倒排索引查询。

但是如果截断过多，检索效果显然会受到影响。

因此需要根据服务器软硬件系统实际，通过实验确定合适的取值。

在我们的系统中，基本以20个为限。

我们设置CLucene 首次返回的文档数为200个，大大多于首次展现给用户的结果数（10个），这符合用户的行为模式，即点击集中在前几页上。

最后，计算得各个文档和检索条件之间的关联度，以XML 形式返回给用户，在客户端使用XSLT 转换成HTML 。

此架构支持各种主流浏览器，既易于实现，还可以降低服务器负荷。

实验所用的web 服务器为Pentium42.80GHz CPU ，512M 内存，数据库服务器为Pentium E21802.0GHz CPU ，2G 内存。

在随机进行的200次相似文章检索中，耗时中位数为0.081秒，平均时间为0.187秒；最快为0.0004秒，最慢为0.971秒。

可以看到性能是相当优秀的。

再通过人工对返回结果进行检查。

例如，我们以《生物地层学》一文作为检索条件，返回的前10个结果中，全部是来自地理版的关于确定地层年代的文章，且原文排在第一位。

在我们进行的小规模人工测试中，检索效果总体令人满意。

但是由于文本库规模已超出人工评价的范围，我们没有获得更全面定量的数据。

4结论从实验结果可以看出，通过对向量空间模型进行改进，并结合倒排索引技术，我们提出的基于词关联度的文本检索算法具有良好的性能和效果。

从文本库的规模上可以看到，本系统已具备相当的实用价值。

参考文献[1]Salton,G.Wong,A.C.Y ang.S.A V ector Space Model for Automatic munications of the ACM,vol.18,nr.11.1975:613–620.[2]Berry,M.W .Dumais,S.T .O ’Brien.G .W .Using linear algebra for intelligent information retrieval.SIAM Review,1995-37:573-595.[3]Deerwester,S.Dumais,S.Furnas,ndauer,T.R.Harshman.Indexing by latent semantic analysis.Journal of the American Society for Information Science,41.1990:391-407.[4]Golub.G.and Loan,C.V .Matrix Computations,3rd ed.,The Johns Hopkins University Press,Baltimore,MD,1996.[5].Papadimitriou,C.H Raghavan,P.Tamaki,H.and V tent semantic indexing:A probabilistic analysis.Proc.17th ACM Symp.on the Principles of Database Systems.1998:159–168.[6].Langville,A.N Meyer.C. D.A survey of eigenvector methods for W eb information retrieval.SIAM Review,47.2005:135-161.[7]Michael McCandless,Erik Hatcher,Otis Gospodneti .Lucene in Action (2nd ed.).Manning Publications.2009.（收稿日期：2010-06-04）4。