07第七章 检索模型

7.1.2 向量空间模型(Cont.)

向量空间模型的隐含假设

相关性是和查询项向量与文档向量的相似度有关联的，即 和查询项“越相近”的文档就越相关

向量空间模型主要服务于主题相关
40
7.1.2 向量空间模型(Cont.)

优点


使得对查询向量中关键词权重的赋值成为可能； 可根据相似度大小对查询结果进行排序并控制输出数量； 相比布尔模型要求的准确匹配, VSM模型采用“部分匹配” 检索策略。 实验表明：向量空间模型比布尔模型检索效果更好。 在模型中，特征项被假设为相互独立，而实际上一个文档 中的特征项之间可能存着一定的联系； 不能像布尔模型一样支持布尔结构化查询； 基于向量空间模型的检索系统较基于布尔模型的检索系统 而言，要复杂得多，在大型商业检索系统中使用较少。41
16
7.1.2 向量空间模型(Cont.)



向量空间模型的基本思想是以向量来表示文本 文档和用户查询都被表示为一个包含特征词权重的 向量 文档向量空间表示

对一个文档集而言，可以将每一篇文档转换成特征项来表 示。如果将每一个特征项看作是多维空间中的一维，则由 这些特征项组成的集合就定义了一个多维向量空间，文档 集合中的任一文档都可以表示成为这一多维空间中的一个 向量，这个空间就称为“文档空间”。 对于用户查询，将其转换为特性项表示

模型和实现的区别

3
7.1概述



信息检索基本原理：用户通过一些列关键词来阐明自己的信息 需求，信息检索系统则检索与用户查询最为匹配的文献，同时 借助某种相关性指标对检索出的文献进行排序。 信息检索模型的核心问题：是检测哪些文档相关，哪些文档不 相关，即判断一篇文档是否与用户的查询条件相关，以及相关 的程度。 信息检索的模型，就是运用数学的语言和工具，对信息检索系 统中的信息及其处理过程加以翻译和抽象，表述为某种数学公 式，再经过演绎、推断、解释和实际检验，反过来指导信息检 索实践。

常用的匹配方法有：



24
7.1.2 向量空间模型(Cont.)

内积相似度运算
25
26
例如：Consider two documents D1, D2 and a query Q

D1 = (0.5, 0.8, 0.3), D2 = (0.9, 0.4, 0.2), Q = (1.5,
其中tfik是文档Di中词项k的词项频率，fik是词项k在文档中 的出现次数。 但是长文档中很多词项都只出现一次，而其它词项都出现 成百上千次。实验表明，为了减小这种高频词项的影响，通过 对词项次数取对数，会比直接使用原始数值更加有效。 词项频率加1是为了保证频率为1的词项具有非零权值。
文档中词项的权重(Cont.)
向量空间模型


相比于布尔模型要求的准确匹配, Salton在60年代末提出 的向量空间模型(Vector Space Model, VSM) 采用了“部分 匹配”的检索策略（即：出现部分索引词也可以出现在检 索结果中）； 这个模型对于查询与文档的相关度有较强的可计算性和可 操作性，并且被广泛应用于文本检索、自动文摘、关键词 自动提取、文本分类等方面。


AND, OR, NOT 例 一个文档当且仅当它能够满足布尔查询式时，才将其检索 出来 9
7.1.1 布尔检索(Cont.)

Eg.





简单查询项为“林肯”，会返回大量包含林肯汽车和林肯总 统的文档。不管“林肯”这个词出现多少次，也不管上下文， 所有这些文档根据布尔检索模型的排序性质都是等价的。 查询项“总统AND林肯”，会返回一组同时包含这两个查询 词的文档 查询项“总统AND林肯AND Not(汽车OR轿车)”，会去除包 含“汽车OR轿车”的文档 查询项“总统AND林肯AND 传记AND生活AND出生地AND盖 茨堡AND Not(汽车OR轿车)”缩小范围 查询项“总统AND林肯AND (传记OR生活OR出生地OR盖茨 堡)AND Not(汽车OR轿车)” 10
布尔模型和向量空间模型相结合
文档

布尔模型可以和向量空间模型相 结合，先做布尔过滤，然后进行 排序：

布尔过滤
布尔 查询式
首先进行布尔查询
排序 结果

将全部满足布尔查询的文档汇集成一个 文档
用向量空间法对布尔检索结果进行排序
第7章 检索模型
1
什么是模型？


模型是采用数学工具，对现实世界某种事物或某种 运动的抽象描述 面对相同的输入，模型的输出应能够无限地逼近现 实世界的输出

举例：天气的预测模型 一个模型可以用多种方法实现 例如：布尔模型可以用倒排文档(inverted file)实现，也 可以用B-tree实现
2
文档中词项的权重(Cont.)

tf.idf : 词频和反文档频率的乘积。
归一化后：


词项频率加1是为了保证频率为1的词项具有非零权值。在这个模 型中，词项权值只针对出现在文档(或查询项)中的词项进行。 查询项中的词项权重的形式本质上是一样的。 归一化原因：在冗长的文本中，词项的频率会比短文本大，为了 抵消这种影响，即采用归一化。
18
7.1.2 向量空间模型(Cont.)

Eg. 文档和检索词被假设是一个t维向量空间的一部分， t是索引表中索引词项的个数，一篇文档Di表示为索引 词项的一个向量

dij表示第j个词项的权重 Qi表示查询项中的第i个索引词
19
7.1.2 向量空间模型(Cont.)
一个包含n个文档的数据集，可以表示为一个词项权值 矩阵，每一行表示一个文档，每一列表示对应文档在相 关词项上的权值大小


D: 文档集合； Q: 用户查询，是用户任务的表达 F: 文档表示、查询表示和它们之间的关系的模型框架 (Frame) R(qi,dj)：是一个排序函数，它给查询qi和文档 dj 之间的相 关度赋予一个排序值

信息检索模型决定于：


从什么样的视角去看待查询式和文档; 基于什么样的理论去看待查询式和文档的关系; 如何计算查询式和文档之间的相似度

tfik= 词项k在文档i中的频率 nk= 词项k的文档频率= 包含词项k的文档数量 idfk= 词项k的反文档频率= log (N/ nk) - N: 文档集中文档总数

现在绝大多数都是tf.idf加权方法的变形
文档中词项的权重(Cont.)

tf.idf weight

tf:频率通常都是通过词项在文档中出现次数归一化后得到，
20
21
7.1.2 向量空间模型(Cont.)

向量空间模型可以采用简单的图形来对文档和查询 项进行可视化
22
7.1.2 向量空间模型(Cont.)
23
7.1.2 向量空间模型(Cont.)

文档向量与查询向量匹配


向量匹配在信息检索系统中非常关键，因为提供给用户的 检索结果是根据文档向量与查询向量间相似度匹配的结果 来进行排列和输出的。 在信息检索系统中，希望系统提供的文档相似度排列结果 能完全符合人们关于查询相关性的判断。 内积相似度运算（包括余弦相似度运算） 距离相似度运算 基于项匹配个数的相似度运算 基于概率向量的相似度运算。
30
7.1.2 向量空间模型(Cont.)
31
7.1.2 向量空间模型(Cont.)
例如：D1= 2T1+ 3T2+ 5T3 ； D2= 3T1+ 7T2+ T3； Q = 0T1+ 0T2+ 2T3 Sim( D1, Q ) = 10 / (38+4-10) = 10/32 = 0. 312 Sim( D2, Q ) = 2 / (59+4-2) = 2/61 = 0.033 D1 比 D2 高 9.5倍。
查询式中词项权重



如果词项出现在查询式中，则该词项在查询式中的权 重为1，否则为0 也可以用用户指定查询式中词项的权重 一个自然语言查询式可以被看成一个文档


查询式：“有没有周杰伦的歌？” 会被转换为:<周杰伦, 歌> 查询式： “请帮我找关于俄罗斯和车臣之间的战争以及车臣 恐怖主义首脑的资料” 会被转换为:<俄罗斯 2, 车臣 2, 战争 1, 恐怖主义1, 首脑 1> 过滤掉了：“请帮我找”，“和”，“之间的”，“以及”，“的资料” 最后，再通过相似度公式计算文档和查询之间的相似度。
6
经典信息检索模型

布尔模型 向量空间模型 经典概率模型
7.1.1 布尔检索


布尔模型是最简单的信息检索模型，是基于集合理论和 布尔代数的一种简单的检索模型。 遵循基本规则: 每个索引词在一篇文档中只有两种状态 ：出现或不出现，对应权值为 0或1。 查询是由三种布尔逻辑运算符 and, or, not 连接索引词组 成的布尔表达式。
7.1.1 布尔检索(Cont.)
11
7.1.1 布尔检索(Cont.)

优点


简单、易于理解； 能处理结构化查询，易于表示同义关系（如查询电脑OR 计算机）和词组(如数据AND挖掘AND系统)； 速度快。
12
7.1.1 布尔检索(Cont.)
13
14
15
7.1.2 向量空间模型


用户查询的向量空间表示

17
7.1.2 向量空间模型(Cont.)

向量空间模型定义



该模型首先将查询和待检索文档集中的文档分别表示为 查询向量和文档向量，从而把检索操作变成向量空间上 的运算 然后通过计算查询向量和文档向量之间的相似度，并根 据求得的相似度大小对文档检索结果进行排序 超过一定阈值就作为检索结果加以输出。