基于 Web 的信息检索技术综述

互独立的，但在实际环境中很难得到满足。因此，为了考虑
词与词之间的相关性，处理自然语言的语义模糊性，从而产
生了潜在语义分析的思想。潜在语义分析（Latent Semantic Analysis, LSA）[3]是一种通过分析大量的文本集自动生成关
键字-概念（语义）之间映射规则的方法。LSA 认为词语在文
1 传统的信息检索模型
传统的信息检索的目的是根据用户的查询即关键词从大 量的文本中找到满足用户要求的相关文本，其中心问题是判 别相关文本和无关文本。检索模型即是判断文本是否与查询 相关和对相关文本进行排序的数学模型。根据相关度判别方 法的不同，发展出了不同的信息检索模型，传统的信息检索 模型大体可以分为 3 类：布尔模型，向量空间模型和概率推 断模型。
蒋 凯，武港山
（南京大学计算机软件新技术国家重点实验室，南京大学计算机科学与技术系，南京 210093）
摘 要：随着信息技术的发展，特别是 Web 的不断普及和应用，Web 上的信息飞速增长，形成了巨大的信息资源。因此，如何从巨量的 信息中快速有效地提取出所需的信息，成为迫切需要解决的问题。文章分别介绍了几种传统的信息检索模型和基于潜在语义分析的信息检 索模型，以及自动问答系统，并在多方面对它们进行比较，最后展望了问答系统的应用前景。 关键词：信息检索；潜在语义分析；自动问答
个最大的奇异值及其对应的奇异矢量构成新矩阵来近似表示
—8—
原文本集的词条-文本矩阵。从某种意义上来说，LSA/SVD 是一种用于发掘一组相互无关的索引变量（因素）的技术， 从而使每个词-文本都可以利用左-右奇异值向量，表现为单 个 k 维空间向量，并可以消弱噪音、词语使用多样性等对信 息检索的影响。直观地说，因 k 值比文本集中词条 m 小得多， 词义上地细微区别被忽略了。以下是具体做法：
k
A (AK)
词语向量
≈
UK
U
m*n k
k
ΣK
m*r 文本向量
k VTK
VT Σ
1.1 布尔检索模型 布尔（Boolean）模型[1]是最典型的一种集合模型，是信
息检索系统提供的基本功能，在传统的信息检索中有着广泛 的应用。它将文本表示成布尔表达式，然后再通过与用户的 查询表达式进行逻辑比较来检索相关文本。
标准布尔逻辑模型是二元逻辑。在布尔模型中，首先要 针对文本定义一系列的二元特征变量，这些特征变量一般是 从文本中提取出来的文本索引关键词，有时也包括一些更为 复杂的特征变量，如数据、短语、私人签名和手工加入的描 述词等。其次，使用这些特征变量的集合来表示文本 Di= （dil,di2,…,din）,其中，n 是特征项的个数；dik 为 True 或 False， 如果特征项 k 在文本 Di 内容中出现，就赋予 True 值，反之 置为 False。
一般有两种方法来确定权值 wik，一种方法是由专家或者 用户根据自己的经验与所掌握的领域知识人为的赋予权值， 这种方法随意性很大，而且效率也很低，很难适用于大规模 文本集的处理；另一种方法是运用统计学的知识，也就是用 文本的统计信息（如词频、词之间的同现频率等）来计算项 的权重，大部分的统计方法都基于香农信息学理论：(1)如果 特征项在所有文本中出现的频率越高，那么它所包含的信息 熵也就越少；(2)如果特征项只在少量文本中有较高的出现频 率，那么该特征项就会拥有较高的信息熵。
在布尔模型中，用户可以根据检索关键词在文本中的布
尔逻辑关系，用“∧”（AND）、“∨”（OR）、“ ¬ ”（NOT）
等逻辑运算符将多个关键词连接成为一个逻辑表达式来递交 查询。匹配函数由布尔逻辑的基本法则确定，通过对文本表 达式与用户查询表达式的逻辑比较进行检索，所检索出的文 本或者与查询相关，或者与查询无关。
【Abstract】With the development of information technology, especially the widespread use of Web, information on Web increases rapidly and becomes a huge information resource. In the meanwhile, such abundant information makes it an urgent problem: how to extract useful content rapidly and efficiently from information resources. This paper introduces several traditional information retrieval models and latent semantic analysis technique, and then gives a brief description of the question-answering system. Further more, this paper compares these models from some certain aspects, and analyzes possible applications of question-answering system in the future. 【Key words】Information retrieval; Latent semantic analysis; Question-answering
首先要构造一个训练集 m ⋅ n 词条-文本矩阵 A=[aij],其
中 aij=L(i,j)*G(i),L(i,j)是单词 i 在文本 j 中的局部权重，G(i) 是单词 I 在文本集中的全局权重,m 为提取单词数，n 为文本 数。对 A 进行截取-SVD 分解，(设 m>n,rank(A)=r,存在 K,K<r 且 K<<min(m,n))，则在 2-范数意义下，A 的秩-K 近似矩阵 Ak 为：A≈Ak =Uk∑kVkT。其中，Uk 和 Vk 的列向量均为正交 向量，UkTUk=VkTVk=Ik, Uk 和 Vk 的列分别被称为矩阵 Ak 的左 右奇异向量，∑k 是对角矩阵，对角元素被称为矩阵 Ak 的奇 异值。将 SVD 应用到 LSI 方法中（如图 1 所示），分解后各 参数可作如下的解释：Ak：最接近词条-文本矩阵 A 的 K 秩 矩阵；U：词语向量集；Uk ：K 维语义空间中词语向量集； m：词条数；V：文本向量集；Vk：K 维语义空间中文本向量 集；n：文本数；∑k:奇异值矩阵；K:降维因子；r:词语-文本 矩阵 A 的秩。Ak 是对 A 的一个近似，且在某种意义上保持 了 A 中反映的词条和文本之间联系的内在结构(潜在语义)， 但又去掉了因用词习惯或语言的多义性等带来的“噪声”。
Overview of Information Retrieval Technology for Web
JIANG Kai, WU Gangshan
(State Key Laboratory for Novel Software Technology, Nanjing University, Department of Computer Science and Technology, Nanjing University, Nanjing 210093)
基金项目：国家自然科学基金资助项目(60073030)；国家“863”计 划基金资助项目(2002AA117010-10) 作者简介：蒋 凯(1981—)，男，硕士生，主研方向：Web 信息检 索；武港山，副教授、博士 收稿日期：2004-12-02 E-mail：jiangkai@
—7—
W ik
=
f ik
⎛ × l o g ⎜⎜⎝
N ni
⎞ ⎟⎟⎠
其中，fik 表示特征项 tk 在文本 Di 中出现的次数，N 表示全部
文本数，ni 表示文本集中出现 tk 的文本数。
文本之间或者文本用户查询之间的（内容）相关程度
（Degree of Relevance）通常用它们之间的相似度 Sim(Di,Dj) 来度量。当文本和查询均被表示为向量空间模型时，可以借
在的一些不确定性而发展起来的，以数学理论中的概率论为
原理的一种检索模型。
在此模型中，文本和用户查询的表示与布尔模型相同。
同时，根据用户反馈，将文本分成相关的和无关的两类，然
后根据每个特征变量（词）在相关文本集合和无关文本集合
的分布情况来计算它们的相关概率，并将它表示成几率：
O(R) = P(R) /(1− P(R))（R 表示“文本是相关的”， ¬ R 表示
1.2 向量空间模型 向量空间模型(Vector Space Model, VSM)克服了使用布
尔模型中二元权值的缺点，采用非二元权值来表示特征项在 文本和用户查询中的权重，提出了允许部分匹配的模型结构。
在向量空间模型中，文本是使用特征项构成的加权向量 来表示的：文本向量 Di=(t1,wil;t2wi2;…; tn, win)。其中，n 是特 征项的个数；特征项 tk 与布尔模型中类似；wik 为特征项 tk 在文本 i 中的权重。
第 31 卷 第 24 期 Vol.31 № 24
计算机工程 Computer Engineering
·发展趋势/热点技术·
文章编号：1000—3428(2005)24—0007—03 文献标识码：A
基于 Web 的信息检索技术综述
2005 年 12 月 December 2005
中图分类号：TP391
本中的使用模式内隐含存在着潜在的语义结构，同义词之间
应该具有基本相同的语义结构，多义词的使用必定具有多种
不同的语义结构。LSA 就是通过统计方法，提取并量化这些
潜在的语义结构，进而消除同义词、多义词的影响，提高文
本表示的准确性。
2.2 LSA/SVD 为了实现 LSA 思想，需要通过数学方法建立潜在语义索