信息检索模型
信息检索中的检索模型比较分析
信息检索中的检索模型比较分析信息检索是指用户在面对大量信息时，通过使用一定的检索模型和技术方法，从中找到对自己有用的信息。
在信息爆炸的时代，信息检索变得非常重要和必要。
在进行信息检索时，使用不同的检索模型可以对用户的需求有不同的体现和处理方式。
因此，本文将比较分析信息检索中常见的检索模型，包括布尔模型、向量空间模型和概率模型。
首先，布尔模型是信息检索中最简单和最早的一种模型。
它使用布尔运算符（AND、OR、NOT）来表达检索的需求。
布尔模型的优点是逻辑简单，可以精确地描述用户的需求，使得检索结果更加准确。
然而，布尔模型的缺点也很明显，即无法对文本进行有关键词排名和排序，只能返回文档是否与查询匹配的结果。
由于信息检索系统中文档数量庞大，使用布尔模型检索的结果可能会非常庞杂，给用户带来困扰。
其次，向量空间模型是一种基于向量空间的检索模型。
该模型将文档和查询都表示为向量，并计算它们之间的相似度来判断文档与查询的相关性。
向量空间模型的优点在于可以对检索结果进行排序和排名，使得结果更加合理和有序。
此外，向量空间模型还可以使用权重来表示文档中关键词的重要程度，从而进一步提高检索的准确性。
然而，向量空间模型也存在一些问题，例如需要对文档和查询进行向量表示，需要对文档中的关键词进行权重计算，这些都需要消耗大量的计算资源和时间。
最后，概率模型是一种基于统计学概率的检索模型。
它通过计算文档与查询之间的相关性概率来进行检索。
概率模型的优点在于可以通过统计学方法来估计查询与文档之间的相关性概率，从而更好地处理查询的需求。
此外，概率模型还可以使用反馈机制来进一步提高检索的准确性。
然而，概率模型也存在一些问题，例如需要对文档集合进行训练，需要估计相关性概率，这些都需要大量的计算资源和大规模的文档集合。
综上所述，信息检索中的检索模型比较分析主要包括布尔模型、向量空间模型和概率模型。
布尔模型逻辑简单，可以精确地描述用户的需求，但无法对检索结果进行排序和排名；向量空间模型可以对检索结果进行排序和排名，但需要对文档和查询进行向量表示和权重计算；概率模型可以通过统计学方法估计查询与文档的相关性概率，但需要大量的计算资源和训练集合。
第2章-信息检索模型
▪ 反文档频率用词项区别文档
例如：文档总数为1000，出现关键词k1文档为100
篇，出现关键词k2文档为500篇，出现关键词k3
文档为800篇
N=1000, n1=100, n2=500, n3=800
根据公式： idfi = log(N/ni) ，可计算出
idf1= 3 - 2 = 1
这里q dnf是提问式q旳主析取范式。可进一步简化表
达 为： q dnf =(1,1,1) or (1,1,0) or (1,0,0)
其中： (1,1,1) or (1,1,0) or (1,0,0)是q dnf旳三个合取
子项qcc，他们是一组向量，由相应旳三元组(k1 , k2 , k3)
旳每一种分量取0或1得到。
▪ 根据关键词旳出现频率计算相同度
• 例如：文档旳统计特征
▪ 顾客要求一种词项(term)集合，能够给每个词项附加权重
• 未加权旳词项: Q = database; text; information
• 加权旳词项: Q = database 0.5; text 0.8; information 0.2
由索引项构成向量空间
▪ 2个索引项构成一种二维空间，一种文档可能包括0,
1 或2个索引项
• di = 0, 0
(一种索引项也不包括)
• dj = 0, 0.7 (包括其中一种索引项)
• dk = 1, 2
(包括两个索引项)
▪ 类似旳，3个索引项构成一种三维空间，n个索引项
构成n维空间
么一种文档D就能够表达为D(t1,t2,…,tn)，其中n就代表了检
索字旳数量。
▪ 特征项权重Wk（Term Weight）：指特征项tn能够代表文档
信息检索模型nlp
信息检索模型nlp
1. 向量空间模型（Vector Space Model，VSM）：这是一种基于词袋模型的简单信息检索模型。
它将文档表示为向量，其中每个向量的维度对应于词汇表中的一个词。
通过计算文档和查询之间的相似度来评估它们的相关性。
2. 语言模型（Language Model）：语言模型是一种统计模型，用于预测给定序列中的下一个词。
在信息检索中，语言模型可以用于评估查询和文档之间的相似度，以及对文档进行排序。
3. 概率检索模型（Probabilistic Retrieval Model）：这类模型基于概率推理和贝叶斯定理来估计文档与查询相关的概率。
常见的概率检索模型包括布尔模型、向量空间模型的扩展（如 TF-IDF）和BM25 模型。
4. 排序学习模型（Learning to Rank）：排序学习是一种机器学习方法，用于训练模型以对文档进行排序。
这些模型可以基于监督学习、强化学习或其他学习算法进行训练。
5. 深度学习模型：近年来，深度学习技术在信息检索中得到了广泛应用。
例如，使用卷积神经网络（CNN）或循环神经网络（RNN）来学习文本表示，并用于文档分类、情感分析等任务。
6. 知识图谱（Knowledge Graph）：知识图谱是一种基于语义网络的模型，用于表示实体、关系和概念。
在信息检索中，知识图谱可以用于理解查询意图、扩展查询和增强搜索结果。
这些只是信息检索模型的一些示例，实际上还有许多其他的方法和技术可用于信息检索任务。
具体的模型选择取决于应用场景、数据特点和性能要求等因素。
第四章 信息检索模型
向量空间模型
➢ 向量空间模型（Vector Space Model，VSM） 是由G·Salton等人在1958年提出的
➢ 代表系统
SMART（ System for the Manipulation and Retrieval of Text）
➢ 这一系统理论框架到现在仍然是信息检索 技术研究的基础
D={d1, d2 , … , dm} 为了满足检索匹配所要求的快速与便利，文档di通常由
从文档中抽取的能够表达文档内容的特征项（如索引 项/检索词/关键词）来表示 设K={k1, k2 , … , kn} 为系统索引项集合 则di ={ωi1,ωi2 , … ,ωin} (ωij≥0) ωij→索引词kj在文档di中的重要性（权值weight）
相当于识别包含了一个某个特定term的文档
➢ 经过某种训练的用户可以容易地写出布尔查询 式
➢ 布尔模型可以通过扩展来包含排序的功能，即 “扩展的布尔模型”
布尔模型存在的问题
➢ 布尔模型被认为是功能最弱的方式，其主要问题在于不支 持部分匹配，而完全匹配会导致太多或者太少的结果文档 被返回 非常刚性: “与”意味着全部; “或”意味着任何一 个
模型中的问题
➢ 怎样确定文档中哪些词是重要的词？（索 引项）
➢ 怎样确定一个词在某个文档中或在整个文 档集中的重要程度？（权重）
➢ 怎样确定一个文档和一个查询式之间的相 似度？
索引项的选择
➢ 若干独立的词项被选作索引项(index keys) or 词表 vocabulary
➢ 索引项代表了一个应用中的重要词项 计算机科学图书馆中的索引项应该是哪些呢?
例如：文档的统计特性 ➢ 用户规定一个词项(key)集合，可以给每个词项附加权重
信息检索模型
• 布尔逻辑模型 • 概率统计模型 • 向量空间模型
• 2）基于文档结构的模型
• 并列链表模型 • 层次邻接模型
基于文档内容的检索模型
• 布尔逻辑模型，基于集合理论和布尔代数原理
的检索模型，其查询可以由and、or、not这些布 尔算符连接多个检索项或检索词组成，检索结果 是这些检索项或检索词相互匹配的布尔组合。其 优点是模型描述的形式化与操作简单，缺点是精 确匹配所导致的结果文档过多或丢失。
基于文档内容的检索模型
• 概率统计模型，利用概率论的原理，通过赋予
标引词的概率值来表示这些词在相关文档集合或 无关文档集合中出现的概率，然后计算某一给定 文档与给定查询之间的相关概率，存取系统据此 作出检索决策。概率模型有严格的数学理论基础， 采用了相关反馈原理，客服不确定性推理的缺点， 但其缺点是参数估计的难度比较大，文件和检索 的表达也比较困难。
信息检索模型
信息存取模型
• 信息存取模型（检索模型），是用于描 述信息（文档）表示、用户查询及其相 互关系（主要指相关性和度量）的框架 形式，是存取系统中用于实施查询的相 关性的度量模型。 • 以用户查询信息的行为为标准，信息存 取模型主要分为两类： • 1、信息检索模型 • 2、信息浏览模型
1、信息检索模型
Байду номын сангаас、信息浏览模型
• 1）平面浏览模型 • 2）目录导航模型 • 3）网状结构模型
• 平面浏览模型，也称平坦浏览模型，是为用户存 储于检索信息专门提供的一种平面组织的文档结 构。其缺点是平面浏览信息缺乏层次性的视图。 • 目录导航模型，也称层级结构模型，是将众多文 档和信息源按照主题或分类组织成一个按层次分、 具有隶属关系的等级存取结构。其结构层次分明、 浏览路径清晰，但当系统规模较大、目录层次较 多时不适合。 • 网状结构模型，是基于超文本超媒体技术的网络 信息浏览模型。以结点为信息存取电源，结点之 间以链路相连，采用网状交叉联络的方法将信息 单元及其相互关系采用“结点”和“链”有机地 组织起来，为用户提供非顺序性的信息浏览功能。
信息检索试题 (3)
信息检索试题一、概述信息检索是指利用计算机技术和方法，从大量的信息资源中获取满足用户信息需求的过程。
信息检索通常可以分为两个主要步骤：索引构建和查询处理。
索引构建阶段将文档进行词条化，并构建倒排索引（term-based index）；查询处理阶段将用户查询进行处理，并在索引上进行检索，返回与查询相关的文档。
二、信息检索模型1. 布尔模型布尔模型是最早的信息检索模型之一。
该模型通过布尔运算符（AND、OR、NOT）来构建查询。
布尔查询结果为满足查询条件的文档集合。
2. 向量空间模型向量空间模型将文档和查询表示为向量，并计算它们之间的相似度。
相似度可以通过计算向量之间的余弦相似度来得到。
向量空间模型通常使用词频-逆文档频率（TF-IDF）进行特征权重计算。
3. 概率检索模型概率检索模型通过计算相关性和排序来返回与查询相关的文档。
其中，BM25是一种常用的概率检索模型。
三、索引构建索引构建是信息检索过程中的重要一环。
常见的索引结构包括倒排索引和向前索引。
1. 倒排索引倒排索引是信息检索中最常用的索引结构之一。
它将词条映射到包含该词条的文档列表中。
倒排索引可以提高查询的效率，特别是在大规模文档集合下。
2. 向前索引向前索引与倒排索引相反，将文档映射到包含的词条列表中。
向前索引可以用于实现一些需要在文档级别进行处理的功能。
四、查询处理查询处理是信息检索的核心步骤之一。
查询处理过程包括预处理、查询解析和查询扩展。
1. 预处理预处理阶段主要对查询进行规范化和标准化的操作。
例如，将查询进行词条化、去停用词、词干化等操作。
2. 查询解析查询解析阶段将预处理后的查询进行语法和语义解析，得到查询的结构化表示。
3. 查询扩展查询扩展是指通过相关性反馈、词义扩展等方法，进行查询意图的进一步理解和拓展。
通过查询扩展，可以提高检索结果的准确性和覆盖度。
五、评价指标评价指标是评估信息检索系统性能的重要标准。
常见的评价指标包括准确率、召回率、F1值等。
第二章(1) 信息检索模型
布尔模型描述
文档D表示 一个文档被表示为索引项(关键词)的集合 查询项Q表示 查询项被表示为索引项的布尔组合，用“与、或、 非”连接起来，并用括弧指示优先次序 框架F 一个文档当且仅当它能够满足布尔查询式时，才将 其检索出来 检索策略基于二值判定标准 算法R 根据匹配框架F判定某一文档与查询是否相关，如 果相关，则返回该文档
优点
到目前为止，布尔模型是最常用的检索模型，因 为：
由于查询简单，因此容易理解 通过使用复杂的布尔表达式，可以很方便地控制查询 结果 相当于识别包含了一个某个特定term的文档
相当有效的实现方法
经过某种训练的用户可以容易地写出布尔查询式
问题
布尔模型被认为是功能最弱的方式
其主要问题在于不支持部分匹配，而完全匹配会导致太多或 者太少的结果文档被返回
什么是模型？
模型是采用数学工具，对现实世界某种 事物或某种运动的抽象描述 面对相同的输入，模型的输出应能够无 限地逼近现实世界的输出
举例：天气的预测模型
针对用户输入的查询，如何将文档按相关性 进行排序 如何看待文档是否与用户的查询相关
信息检索模型要解决的问题
信息检索的预备知识
方法1:对长文档进行惩罚,对短文档进行补偿 方法2:对长度进行归一化处理
由索引项构成向量空间
2个索引项构成一个二维空间，一个文档可能 包含0, 1 或2个索引项
类似的，3个索引项构成一个三维空间，n个索 引项构成n维空间 一个文档或查询式可以表示由n个元素组成的 向量
《信息检索模型》课件
向量空间模型
向量空间模型使用向量表示文档和查询，通过计算余弦相似度来衡量文档与查询的相关性。它能够更全面地度 量文档的相关性，但需要处理高维度的向量空间。
概率检索模型
概率检索模型基于统计方法，通过建模查询与文档的概率分布来进行信息检 索。其中，BM25算法是常用的概率检索模型算法之一。
实践应用
信息检索系统由多个组成部分构成，包括文本预处理、索引构建、查询解析 和结果排序等，这些组件协同工作以提供准确和相关的搜索结果。
信息检索模型
信息检索模型是用于描述和处理信息检索过程中的相关原理和算法。常见的 模型包括布尔模型、向量空间模型和概率检索模型。
布尔模型
布尔模型使用布尔运算符进行查询匹配，根据查询关键词的逻辑关系确定文 档是否与查询匹配。它简单而直观，但缺乏对文档相关性的度量。
《信息检索模型》PPT课 件
欢迎来到本课程关于《信息检索模型》的PPT课件。本课程将带您深入了解信 息检索的不同模型、系统以及实践应用，让您对这一领域有全面的认识。
信息检索概述
信息检索是指通过计算机系统从大量的信息资源中找到用户所需信息的过程。ห้องสมุดไป่ตู้具有悠久的历史并在诸多领域 得到广泛应用。
信息检索系统
信息检索在多个领域有着广泛的实践应用，包括搜索引擎、文本分类、推荐系统等。下面我们将通过案例分析 搜索引擎的信息检索模型。
总结与展望
信息检索领域持续发展，未来的趋势包括个性化搜索、多模态检索和语义搜索等。信息检索的进步将对我们的 生活和工作产生深远影响。
信息检索模型(精)
型是一个数据检索模型，但是，检索系统能够搜索出那些部分匹配查询条件的文
档，在这种情况下，这种匹配是近似的，并且某些排序也是使用这种近似的结构。 因此，结构化文档检索算法可以看作是一种信息检索算法，但排序机制并不健全。 在结构化文本检索模型中，我们使用“匹配点”来表示文本与用户查询相匹 配的词串位置；我们使用“区域”表示文本的块；使用“节点”表示文档的结构 化组元。这样，一个节点是一个区域，具有文档的作者与用户所共知的、预定义 的逻辑属性。
—信息检索模型 信息检索模型
1
—信息检索模型 信息检索模型→概念
检索系统中，一般采用索引项来建立文档的索引和对文档进行检索。例 如对于文本信息检索来说，基于字表或词表的全文检索方法，已单个的字或 词作为索引项，对其出现位置进行索引，并依据单字和词的位置信息进行检
索。
用户在进行信息检索时，希望获得与其需求密切相关的检索结果，因此 信息检索系统所要解决的中心问题是：基于用户的需求，对文档集中的所有
要合理得多。
i 1 i 1
t
t
i, q
在该模型中，与（ki，dj）相关联的权重wi,j是一个非二值数。查询中的 索引项也是有权重的，设wi,q是与（ki，q）相关联的权重，且wi,q≥0，则查 询矢量Q被定义成Q=（w1,q，w2,q，w3,q…………wt,q），其中，t是系统中 所有索引项的数目，文档dj的矢量可以表示为Wj=（w1,j，w2,j，w3,j……… wt,j），矢量模型通过Wj和Q的相关度来评价文档dj和查询q的相关度。这种 关系可以用定量表示，一般使用两个矢量之间的夹角余弦值来计算。
布尔模型的缺点也是明显的。
首先：它的检索策略是基于二值决策准则，即一个文档只被判断成相关 的或不相关的，无任何等级变化；
9.信息检索的模型
情感态度与价值观
1.激发学生对信息检索技术的兴趣，培养学生严谨、科学的信息检索态度。
2.引导学生认识到有效信息检索在学习、生活和未来工作中的重要性。
教学重点
1.常见信息检索模型（布尔模型、向量空间模型、概率模型）的原理。
2.根据不同检索模型特点优化信息检索策略。
（五）布置作业（5分钟）
1.教师活动设计
o布置课后作业：
o让学生选择一个自己感兴趣的话题（如“太空探索的最新成果”），分别使用布尔模型和向量空间模型进行信息检索，比较两种模型检索结果的差异，并分析原因。
o查阅资料了解一种除本节课介绍之外的信息检索模型，写一篇200 - 300字的短文介绍其原理和特点。
教学探讨
与反思
1.成功之处
通过实际场景导入，成功地激发了学生对信息检索模型的兴趣，使学生能够积极参与到课堂讨论中来。
在讲解三种检索模型时，采用实例、动画演示和简单图形示例等多种方式，有效地降低了学生理解抽象原理的难度，尤其是向量空间模型和概率模型中的数学原理部分。
小组活动和竞赛环节的设计，增强了学生的团队协作意识和竞争意识，促使学生积极运用所学知识进行信息检索实践，提高了学生的实际操作能力和对检索模型的应用能力。
o提醒学生在完成作业过程中要认真思考，准确运用检索模型知识进行信息检索。
2.学生活动设计
o学生记录作业内容和要求，明确作业的目标和任务。
课堂
小结
本节课我们学习了信息检索模型的相关知识。首先我们了解了信息检索模型的概念，它是信息检索过程的一种抽象和建模方法。然后重点学习了布尔模型、向量空间模型和概率模型（通过竞赛简单体验）的原理，并且通过小组活动和竞赛，同学们在实践中尝试运用这些模型进行信息检索，提高了检索能力。希望同学们在课后能够继续探索信息检索的奥秘，熟练掌握不同检索模型的应用，以便在获取信息时更加高效、准确。
信息检索的三个经典模型
信息检索的三个经典模型
1. 布尔模型
布尔模型是最简单和最早的信息检索模型之一。
它基于布尔逻辑，并
使用逻辑运算符（如AND、OR和NOT）组合查询词来匹配文档集合。
在这种模型中，文档要么与查询匹配（1），要么不匹配（0），没有其
他评分标准。
布尔模型适用于处理简单的查询和需求明确的场景，特
别是在较小的文档集合中。
2. 向量空间模型
向量空间模型是一种常用的信息检索模型，根据向量表示文档和查询，并计算它们之间的相似度进行排序。
在这种模型中，将文档和查询表
示为权重向量，每个维度表示一个词项，并使用词频、逆文档频率等
权重策略进行建模。
通过计算文档与查询之间的余弦相似度，可以衡
量它们的相关性并进行排序。
向量空间模型适用于大规模的文档集合
和较复杂的查询需求。
3. 概率检索模型
概率检索模型基于概率统计理论，对文档与查询之间的概率关系进行
建模和计算。
最典型的概率检索模型是基于贝叶斯理论的朴素贝叶斯
模型。
该模型假设文档生成过程是随机的，并使用贝叶斯公式计算查
询的后验概率。
通过比较不同文档的概率得分，可以将其排序。
概率
检索模型适用于处理较复杂的查询和在语义理解方面有一定要求的场景。
信息检索模型
概率模型
基本假设前提和理论 a．相关性独立原则。文献对一个检索式的相关性与文献集合 中的其他文献是独立的。 b．词的独立性。标引词和检索式中词与词之间是相互独立。 c．文献相关性是二值的，即只有相关和不相关两种。 d．概率排序原则。该原则认为，检索系统应将文档按照与查 询的概率相关性的大小排序，那么排在最前面的是最有可能 被获取的文档 e．贝叶斯(Bayes)定理，用公式表示为： P(R I d)=(d I R)· P(R)/P(d)
布尔模型（Boolean Model）
布尔模型：查询和文档均表示为标引词(“是否存 在”) 的布尔表达式，通常表示成D(t 1，t 2，⋯ ，t i)的形 式。 布尔操作(关系) :与(AND) 或(OR) 非(NOT) 相似度计算：查询布尔表达式和所有文档的布尔表 达式进行匹配，匹配成功的文档的得分为1，否则 为0。 类似于传统数据库检索，是精确匹配
权重计算
标引词的文档频率DF（Document Frequency）：标引词在 整个文档集合中出现的文档篇数，DF反映了标引词的区分 度， DF越高表示标引词越普遍，因此其区分度越低，其权 重也越低。 逆文档频率（Inverse DF ，IDF）DF的倒数，通常采用如下 公式计算：（N是文档集合中所有文档的数目）
布尔模型的优点
简单、易理解、易实现 现代很多搜索引擎中仍然包含布尔模型的思 想，如Google的高级检索
布尔模型的局限性
只能严格匹配，文献要么相关、要么不相关，并没有一个相 关级别的概念，因此很难有好的检索效果 构造布尔逻辑式不容易，对于一般用户而言，很难用AND、 OR、NOT运算符的结合来准确地表达一个检索语句，标引 词的简单组配不能完全反映用户的实际需要； 检索输出完全依赖于布尔提问与文献的匹配情况，很难控制 输出量的大小 结果不能按用户定义的重要性排序输出，用户只能从头到尾 浏览输出结果才能知道哪些文献更适合自己的需要
知识点归纳 信息检索中的搜索算法与排名模型
知识点归纳信息检索中的搜索算法与排名模型信息检索是指通过各种技术手段从大量的信息资源中检索出用户所需的相关信息。
在信息检索领域，搜索算法和排名模型是实现准确、高效检索的关键因素。
本文将对信息检索中的搜索算法和排名模型进行归纳概述。
一、搜索算法1. 布尔模型布尔模型是最早的信息检索模型之一，其基本原理是使用逻辑运算符（AND、OR、NOT）进行查询。
布尔模型通过判断文档是否包含查询中的所有关键词来确定相关性。
尽管布尔模型具有简单、快速的优点，但它无法处理词项权重和查询的模糊性，且对长查询表达能力较弱。
2. 向量空间模型向量空间模型是目前最常用的信息检索模型之一。
该模型将每篇文档表示为一个向量，其中每个维度表示一个特定的词项，每个值表示该词项在文档中的权重。
查询也可以表示为一个向量，检索系统通过计算文档向量与查询向量之间的相似度来确定文档的相关性。
3. 概率检索模型概率检索模型基于贝叶斯理论，通过计算文档与查询的条件概率来确定文档的相关性。
其中，最著名的概率检索模型是Okapi BM25模型，该模型考虑了查询词频率、文档长度和文档频率等因素，具有较高的准确性和性能。
二、排名模型1. TF-IDFTF-IDF（Term Frequency-Inverse Document Frequency）是一种常用于排名的特征表示方法。
它通过计算词项在文档中的频率以及在整个文集中的逆文档频率来评估词项的重要性。
TF-IDF越大，表示词项在文档中越重要。
2. PageRankPageRank是一种用于网页排名的算法，也可以应用于信息检索中的排名模型。
PageRank通过计算链接图中各节点的重要性来评估文档的排名。
重要性高的文档往往具有更多的入链和出链。
3. BM25BM25是一种基于概率模型的排名算法，已广泛应用于搜索引擎中。
BM25考虑了查询中的词项频率、文档长度和文档频率等因素，通过计算文档与查询的相关性得分来进行排名。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
例子：
q = 病毒 AND （计算机 OR 电脑）AND NOT医 d1: …据报道，计算机病毒近日猖獗… d2: …小王虽然是学医的，但对研究电脑病毒也很感兴趣，最近 发明了一种… d3: …计算机程序发现了爱滋病病毒的传播途径… 哪些文档会被检索出来？
布尔模型的优点
到目前为止，布尔模型是最常用的检索模型， 因为：
信息检索模型
信息检索模型是指如何对查询和文档进行表示，然 后对它们进行相似度计算的框架和方法。 本质上是对相关度建模。 信息检索模型是IR中的核心内容之一。
信息检索模型
一个信息检索模型是由文档表示、查询、关 系、模型框架构成的四元组。 四元组：System=(D,Q,F,R(dj,qi)) D 文档集的表示 Q 用户需求的表示 F 文档表示、查询表示和他们之间关系的 模型框架（Frame） R(dj ，qi) 给出Query qi和Document dj 的评 分
1
Sim(dj,q)=
如果存在qcc|(qcc∈qdnf)且对于任意ki, 有
gi(dj) = gi(qcc)
0 其他 例如: 文档集合D存在两篇文档d1和d2,其中,d1含有关键 词k1和k2,d2含有关键词k1和k3,则它们的文档向量分别为: d1 =(1,1,0) , d2 =(1,0,1) 根据匹配函数的定义,显然,d1与提问式q = k1 and （k2 or not k3）的匹配函数值是1,即d1与提问q是相关的; d2与 提问式q的匹配函数值是0, 表明d2与提问q是不相关的。
信息检索模型
内容提要
信息检索系统的形式化表示 布尔逻辑模型 向量空间模型 概率模型 其他检索模型
什么是模型？
模型是采用数学工具，对现实世界某种事物 或某种运动的抽象描述 面对相同的输入，模型的输出应能够无限地 逼近现实世界的输出
• 举例：天气的预测模型
信息检索模型给出了文档的表示方法，查询 的表示方式以及查询与文档的匹配过程
信息检索模型决定于： 从什么样的视角去看待查询式和文档？ 基于什么样的理论去看待查询式和文档的 关系？ 如何计算查询式和文档之间的相似度？
模型的分类
从所使用的数学方法上分：
基于集合论的IR模型(Set Theoretic models)
布尔模型 基于模糊集的模型 扩展布尔模型
• 由于查询简单，因此容易理解 • 通过使用复杂的布尔表达式，可以很方便地控制查 询结果
相当有效的实现方法
• 相当于识别包含了一个某个特定term的文档
经过某种训练的用户可以容易地写出布尔查询 式 布尔模型可以通过扩展来包含排序的功能，即 “扩展的布尔模型”
布尔模型存在的问题
布尔模型被认为是功能最弱的方式，其主要问题在于不支 持部分匹配，而完全匹配会导致太多或者太少的结果文档 被返回 • 非常刚性: “与”意味着全部; “或”意味着任何一个 很难控制被检索的文档数量 • 原则上讲，所有被匹配的文档都将被返回 很难对输出进行排序 • 不考虑索引词的权重，所有文档都以相同的方式和查询 相匹配 很难进行自动的相关反馈 • 如果一篇文档被用户确认为相关或者不相关，怎样相应 地修改查询式呢？
布尔模型的基本原理 布尔模型在解释信息检索处理过程时，主要遵守的两 条原则： 系统索引词集合中的每一个索引词在一篇文档中只 有两种状态：出现或不出现。每个索引词的权值 wij∈{0,1} 检索提问式q由三种布尔逻辑运算符“and”、“or”、 “not”连接索引词来构成。 根据布尔逻辑的运算规定，提问式q可以被表示成 由合取子项（conjunctive components）组成的析 取范式（disjunctive normal form,简称dnf）形式。
文档逻辑视图
D是一个文档集合，通常由文档逻辑视图来表示。 可以是一组索引词或关键词。既可以自动提取，也 可以是由人主观指定。
匹配处理框架（F）
在信息集合（D）与需求集合（F）之间建立模 型化处理的框架与规则。 不同检索模型的匹配处理的数学机制是不同的。
• 布尔模型：集合论的基本运算 • 向量空间模型：多维向量空间理论和向量线性代数 • 概率模型：集合论、概率运算和Bayes法则
如：提问式 q = k1 and （k2 or not k3）可写成等价的 析取范式形式： q dnf = (k1 and k2 and k3) or (k1 and k2 and not k3) or (k1 and not k2 and not k3 ) 这里q dnf是提问式q的主析取范式。可进一步简化表 示 为： q dnf =(1,1,1) or (1,1,0) or (1,0,0) 其中： (1,1,1) or (1,1,0) or (1,0,0)是q dnf的三个合取 子项qcc，他们是一组向量，由对应的三元组(k1 , k2 , k3) 的每一个分量取0或1得到。 基于以上规则和假定，布尔模型对于任一篇文献 dj∈D，定义与用于计算任一信息dj（dj∈D） 与任一提问q（q∈Q）形成的信息——提问对 （dj，q）之间的相似度大小。一般地，R（dj，q） 的函数值为一实数，其取值区间为[0，1] 匹配函数的特点： • 计算方法简单，计算量小； • 函数值在取值区间均匀分布； • 针对某一提问所获取的相关文档集合，能够实 现合理的排序输出。
基于代数论的IR模型(Algebraic models)
向量空间模型 潜性语义索引模型
基于概率统计的IR模型(Probabilistic models)
回归模型 二元独立概率模型 语言模型建模IR模型
1 布尔模型(Boolean Model)
布尔模型是建立经典集合论和布尔逻辑代数的 基础上。 优势：
• “集合”概念直观 • 容易被理解和接受
布尔模型描述
文档表示 • 一个文档被表示为关键词的集合 查询式表示 • 查询式(Queries)被表示为关键词的布尔组合，用 “与、或、非”连接起来，并用括弧指示优先次 序 匹配 • 一个文档当且仅当它能够满足布尔查询式时，才 将其检索出来 • 检索策略基于二值判定标准