信息检索技术ppt课件

信息检索结果按相关度由大到小顺序是（ □标志与q相 关的文档）：
13
ห้องสมุดไป่ตู้
信息检索中的系统的评价
精确度-召回率曲线分析
14
信息检索系统中的评价
许多用户对信息检索系统精确度要求较高，他们希望尽快 查到相关的文档，而不把时间浪费在无关的文档上。另外 一些用户则认为召回率更加重要，他们认为相关文档占检 索返回的文档比例越高，系统效果则越好。 Van Rijsbergen于1979年提出了E（effectiveness）量度将精 确度和召回率结合起来，并赋以不同的权重，成为一个统 一的系统有效性的量度：
8
信息检索系统
整个信息检索系统可以分为检索子系统和信息存储管理子 系统两大部分。
信息检索系统的终极目标是使满足系统用户的信息需求的 开销（overhead）达到最小。所谓开销，是指从用户向系 统输入了一个查询开始，到他读到了包含他的信息需求的 文档为止的全部时间。
9
信息检索系统的评价
一个系统在实际应用中的时间和空间消耗是衡量一个系统 优劣的重要指标。 相关性介绍 两个最常用的基于相关性的系统评价指标分别是精确度（ precision）和召回率（recall）。
15
信息检索简史
信息检索技术起源 1950年，美国学者Calvin N. Mooers首创了“信息检索”这一 术语。 1958年，美国学者Luhn提出了统计信息检索的基本理论和 方法。 1960年， Marson和Kuhns提出了信息检索的概率模型。 1965年，美国康奈尔大学的Gerard Salton 教授及其学生， 创立了信息检索向量空间模型
由于计算机信息检索具有速度快、效率高，数据内容新、 信息容量大等特点，已成为人们在日常工作和生活中获 取信息的主要手段之一。
3
信息检索中的术语
在当前信息检索的研究中，非结构化的数据记录通常特指 自然语言文本数据记录，又称（document）。
将大量非结构化的数据记录，按照一定的方式组织和存储 起来而构成的数据记录的集合称为信息检索中的数据全 集 （collection）。
21
基于统计的信息检索模型
则文档：
22
基于统计的信息检索模型
23
布尔模型
在布尔模型中，文档中索引词的权重只有0和1两种取值， 分别表示文档中包含该索引词和不包含该索引词。用户查 询是由标准逻辑操作符AND，OR，NOT将索引词连接起来 构成布尔表达式。 下面介绍用户查询与文档的相关度计算的方法
16
信息检索简史
1968年，Rocchio和Salton共同提出了查询扩展的方法。 1972年，Lockheed公司推出了DIALOG系统，成为世界首例 商用在线信息查询服务系统。 80年代 沉寂时期 90年代 爆炸期
17
Outline
① 信息检索综述 ② 信息检索统计模型 ③ 信息检索中的自然语言处理方法 ④ 搜索引擎 ⑤ 结束语
24
布尔模型
25
布尔模型
5
信息检索系统
6
信息检索系统
（1）用户接口模块 （2）用户查询文本操作模块
停用词
（3）文档文本操作模块
文档文本操作对文档数据库中的文档进行过滤停用词、词干抽 取等处理，并转换为机器内部的文档表示格式供索引构建模块处理。
7
信息检索系统
（4）用户查询处理模块 （5）索引构建模块 （6）数据库管理模块 （7）搜索模块 （8）相关度排序模块
19
信息检索的统计模型
一个信息检索模型IRM 是一个三元组 D是文档的集合； Q是用户需求的集合； R：D×Q→ R R是集合D与Q的笛卡尔乘积到实数集R的一个 映射，对每个用户查询 q∈Q，每个文档d∈D ，映射R将 (q d）映射为一个实数，称为用户查询q与文档d的相关度。
20
基于统计的信息检索模型
信息检索技术
2020/5/1
1
Outline
① 信息检索综述 ② 信息检索统计模型 ③ 信息检索中的自然语言处理方法 ④ 搜索引擎 ⑤ 结束语
2
信息检索综述
信息检索（Information Retrieval） 是指将信息按一定的方式组织和储存起来，并根据用户 的查询字串，从表示信息非结构化数据，特别是非结构 化的文本数据中找到与查询字串相关信息的过程。
基于统计的信息检索模型包括布尔模型、扩展布尔模型、 向量空间模型、概率模型等等。在这类模型中，文档被表 示为关键词（keyword）的集合。 这一表示方式又称为文档的平面结构（flat structure），关 键词又称为索引词 （index term），是指除停用词之外的代 表文档内容的词，大多数是名词。 例如，如果停用词中包括{all, and, could, had, he, of, on, than, that, the, to, with, their}
10
信息检索系统的评价
11
信息检索系统的评价
人们经常使用精确度-召回率曲线 （precision-recall curve） 来定量分析一个信息检索系统的改进情况或者比较几个 信息检索系统的优劣。
12
信息检索系统的评价
例如：设有一特定查询q，在数据全集中所有与该查询 相关的文档为 R {d3, d5, d9, d25, d38, d44, d56, d71, d89, d123}
4
信息检索中的术语
给定一个数据全集，信息检索过程可以描述为根据用户特 定的信息需求（information need），在数据全集中获取所 有和仅有的与用户信息需求相关的文档，并将这些文档按 照相关性 （relevance）的大小由大到小地排列（rank）。 用户特定的信息需求由查询（query）来表达，换句话说， 查询是反映用户信息需求的字符串，这个字符串可以是关 键字序列，也可以是一个布尔表达式，或者直接用自然语 言表达的问句。
18
信息检索的统计模型
应用于信息检索领域的技术与方法可以粗略地划分为 两大类：基于统计的方法和基于语义的方法。
基于统计的方法主要根据用户查询与数据全集中的数 据的统计量度计算相关性。
基于语义的方法则对用户查询和数据全集中的数据进 行一定程度的语法语义分析，换句话说，这类方法是在对 用户查询和数据全集内容理解的基础上进行两者的相关性 计算。