信息检索性能评价指标52页PPT
合集下载
信息检索技术(讲授版)PPT课件
开始浏览，沿着专题链接层层查找，直至找到有关的内容为止。然后用“书签”
保存这个页面的URL，转向另一个分支。这种方法可以迅速获得较多的相关地
址，然后进行筛选。就使用引擎而言，国外专家也建议先用链接页面多、响应
时间快的引擎。
-
3
2.引文法(跟踪法)
文献之间的引证和被引证关系揭示了文献之间存在的某种内在 联系，引文法(也有称为跟踪法)就是利用文献后所附的参考文献、 相关书目、推荐文章和引文注释查找相关文献的方法。这些材料指 明了与用户需求最密切的文献线索，往往包含了相似的观点、思路、 方法，具有启发意义。
这里需要说明的是，在Windows 环境下，尤其是在中文数据库及网 站中，逻辑检索可以用算符将检索要求编成综合表达式向计算机一 次输入检索提问，也可以用窗口上的逻辑指令按钮（与、或、非） 进行分步组配提问和检索。
-
36
案例
-
37
布尔逻辑算符
布尔逻辑算符是规定检索词之间逻辑关系的算符，利用布
尔逻辑算符进行检索词或代码的逻辑组配，是计算机信息检索
例 2：《法国的邮电事业》的类号为“F635.65” ，“F63” 代表 世界各国 邮电事业，“565”为世界地区复分号，是法国的代号。 如主表类目没有注明依世界地区表复分时，则在世界地区复分号 上加国家区分号“（）”以示区别
例3：《上海市现代摄影作品集》是“J426.51”，“J426”代表现 代摄影作品集，“51”为中国地区复分号，指上海市。
-
5
另一种较为普遍的查法是由近及远地追溯，这样由一变十， 由十变百地获取更多相关文献，直到满足要求为止。这种方法适 合于历史研究或对背景资料的查询， 其缺点是越查材料越旧，追 溯得到的文献与现在的研究专题越来越疏远。因此，最好是选择 综述、评论和质量较高的专著作为起点，它们所附的参考文献筛 选严格，有时还附有评论。
信息检索技术PPT课件
2021/4/4
.
19
信息检索的统计模型
一个信息检索模型IRM 是一个三元组
D是文档的集合；
Q是用户需求的集合；
R：D×Q→ R R是集合D与Q的笛卡尔乘积到实数集R的一个 映射，对每个用户查询 q∈Q，每个文档d∈D ，映射R将 (q d）映射为一个实数，称为用户查询q与文档d的相关度。
2021/4/4
1996年正式提出“超链分析”概念并发表了相关文章 ，1997年2月申请了专利——“超链分析技术”（Hypertext document retrieval system and method，专利号5，920，859 ）。超链分析技术的发明，一改互联网搜索杂乱无章、信 息冗余的局面，使搜索效果大幅提升。
PXY1,… … ,Yn
该条件概率表示该节点与其父节点 Y1,……,依Yn赖关系
的强度，在贝叶斯网络中，一个节点仅条件依赖于它的父 节点。
2021/4/4
.
28
概率模型
索引词节点 k i
文档节点 d j
用户查询 q
边有2种类型： 贝叶斯网络的3个层次
2021/4/4
.
29
概率模型
可见：
2021/4/4
2021/4/4
.
13
信息检索中的系统的评价
精确度-召回率曲线分析
2021/4/4
.
14
信息检索系统中的评价
许多用户对信息检索系统精确度要求较高，他们希望尽快 查到相关的文档，而不把时间浪费在无关的文档上。另外 一些用户则认为召回率更加重要，他们认为相关文档占检 索返回的文档比例越高，系统效果则越好。
.
38
搜索引擎
2021/4/4
(网络信息检索)第6章信息检索性能评价
Elasticsearch
一个基于Lucene的开源搜索和分析引擎，提供了高性能、实时的全文搜索功能，广泛应用于日志分析、网站搜索等领域。
检索效率提高的实践案例
05
信息检索性能评价的挑战与未来发展
信息过载问题
01
信息过载是指用户在信息检索过程中面临的信息量过大、难以有效筛选的问题。
02
随着互联网信息量的爆炸式增长，信息过载问题愈发严重，给用户带来困扰。
查全率计算公式
查全率 = (检索到的相关文档数 / 全部相关文档总数) * 100%。
查全率评价
总结词
查准率是衡量信息检索系统准确性的一个重要指标。
查准率计算公式
查准率 = (检索到的相关文档数 / 所有检索出来的文档总数) * 100%。
详细描述
查准率是指检索系统返回的相关文档数与所有检索出来的文档总数的比值，它反映了检索系统筛选出相关文档的能力。
查询优化
利用多核处理器和分布式系统，提高信息检索的响应速度。
并行计算和分布式处理
检索效率优化方法
Solr
基于Lucene构建的开源搜索平台，提供了丰富的功能和可扩展性，适用于大型企业和互联网应用的信息检索需求。
Google Search
作为全球最大的搜索引擎，Google通过先进的算法和大规模分布式处理技术，实现了快速、准确的信息检索服务。
总结词
检索覆盖率是指信息检索系统能够检索到的与用户查询相关的文档数量。高检索覆盖率意味着系统能够从大量文档中筛选出更多与用户需求源、使用更全面的关键词、优化索引结构等。
总结词
为了提高检索覆盖率，信息检索系统需要不断扩大信息源，尽可能涵盖更多的文档和资源。同时，使用更全面的关键词和优化索引结构可以提高系统的查全率和查准率，从而提升检索覆盖率。
信息检索ppt课件
编辑课件
7
全球医学教育最基本要求 （GMER）
国际医学教育组 (IIME )全球 医学教育最基本要求中涉及信 息管理的要求有5项：从不同数 据库和资源中查找、收集、组 织、解释相关医学生物信息； 从临床数据系统中检索特定病 人的信息；利用信息与网络技 术帮助诊断、治疗、预防及监 护与监测健康状况等；了解信 息技术的应用与局限；维护医 疗的实践记录以进行分析和改 进。
从哲学角度解释强调信息是客观性
编辑课件
16
信息的特征
• 客观性 • 依附性 • 可传递性 • 可加工性 • 时效性 • 共享性
编辑课件
17
2.知识
• 知识（Knowledge）是人们在认识和改造客
观世界的实践中所获得的认识和经验的总 和，是人类通过对信息的感知、获取、选 择、处理、加工等一系列思维过程，形成 的对客观事物的本质和规律的认识。
文献信息检索概念
编辑课件
1
课程目的
• 培养并提高学生的信息素养，为学习、工
作、科研等打下良好的基础
编辑课件
2
日本情报机构就是根 据1966《中国画报》 的这张照片及《人民 中国》杂志上发表的 铁人王进喜的事迹中 的一句“最早钻井是 在北安附近开始的” 分析出了大庆油田的 位置、规模、加工能
力
编辑课件
它为查找、利用一次文献提供线索，即为情报线索。
特点：汇集性、工具性、综合性、系统性
例如：索引、文摘、目录及相应的数据库等。
编辑课件
42
三次文献
是科技人员围绕某一专题，利用二次文献的检索，在吸取一
次文献内容的基础上，即经过阅读、分析、归纳、概括，撰 写而成的新的文献，或综述已取得的成果进展，或加评论、 或预测发展趋势。
【大学课件】信息检索评价-PPT课件
docin/sundae_meng
2、信息利用
信息利用是信息调研的出发点和归宿。信息利用源于 用户的信息需求，体现为对信息资源的选择性纳入。所谓 信息利用，是指信息用户对信息吸收和运用的活动与过程。 信息利用是信息获取、阅读、整理、研究等环节的延续， 同时也是在信息获取、阅读、整理、研究等环节的基础上 得到完成的。 人类的各种社会活动是产生信息的主要源泉，而信息又 对人类的各种社会活动起着积极的作用。随着社会信息化 的进程，一方面人类对信息的依赖程度越来越高，信息深 刻地影响着人们的思维方式、生产方式、工作方式和生活 方式；另一方面，人类存贮和检索信息的能力也越来越强， 信息作为一种取之不尽、用之不竭的特殊资源必将得以更 为充分有效地利用。人们对信息利用的水平是人类社会文 明程度的重要标志。
docin/sundae_meng
检准率
检准率.它是指系统在进行某一检索时，检出的相关 文献量与检出文献总量的比率 ,是衡量信息检索系统精 确度的尺度，它反映每次从该系统文献库中实际检出的 全部文献中有多少是相关的。可用下式表示: 检准率 = [ 检出相关文献量 / 检出文献总量 ] × 100%
docin/sundae_meng
docin/sundae_meng
docin/sundae_meng
③信息调研的目的
信息调研是获取有效信息的手段。 信息调研是为了开发高层次信息，提 高信息利用率。 信息调研是决策和研究具有科学性的 基础和保证。
docin/sundae_meng
④信息调研的类型
信息调查研究的几种类型： 探索性调研（非正式调研） 描述性调研（正式调研） 因果关系调研 预测性调研。
信息检索评价
docin/sundae_meng
2、信息利用
信息利用是信息调研的出发点和归宿。信息利用源于 用户的信息需求，体现为对信息资源的选择性纳入。所谓 信息利用，是指信息用户对信息吸收和运用的活动与过程。 信息利用是信息获取、阅读、整理、研究等环节的延续， 同时也是在信息获取、阅读、整理、研究等环节的基础上 得到完成的。 人类的各种社会活动是产生信息的主要源泉，而信息又 对人类的各种社会活动起着积极的作用。随着社会信息化 的进程，一方面人类对信息的依赖程度越来越高，信息深 刻地影响着人们的思维方式、生产方式、工作方式和生活 方式；另一方面，人类存贮和检索信息的能力也越来越强， 信息作为一种取之不尽、用之不竭的特殊资源必将得以更 为充分有效地利用。人们对信息利用的水平是人类社会文 明程度的重要标志。
docin/sundae_meng
检准率
检准率.它是指系统在进行某一检索时，检出的相关 文献量与检出文献总量的比率 ,是衡量信息检索系统精 确度的尺度，它反映每次从该系统文献库中实际检出的 全部文献中有多少是相关的。可用下式表示: 检准率 = [ 检出相关文献量 / 检出文献总量 ] × 100%
docin/sundae_meng
docin/sundae_meng
docin/sundae_meng
③信息调研的目的
信息调研是获取有效信息的手段。 信息调研是为了开发高层次信息，提 高信息利用率。 信息调研是决策和研究具有科学性的 基础和保证。
docin/sundae_meng
④信息调研的类型
信息调查研究的几种类型： 探索性调研（非正式调研） 描述性调研（正式调研） 因果关系调研 预测性调研。
信息检索评价
docin/sundae_meng
信息检索技术PPT课件
从形式上分 正式主题词 非正式主题词
按按照照选选词词方方式式的的不不同同划划分分
2020/3/21
标题词 单元词
叙词 关键词
13
2.1.2 主题语言
标题词语言
最早使用的主题语言之一，以规范化的自然语义作为标识 来表示文献涉及的主题概念。其中表达主题的词语称为标题词
单元词语言
从文献内容中抽选出来的最基本的词汇，将代表最一般、 最基本的、不可再分割的概念的词作为单独标引文献的单位 单元词是构成标题词的组件，绝大部分单元词都不是具体的标题。
代码语言（code language）是对事物的某一方面特征用某种代码系统来
加以标引和排列的检索语言。例如，根据化合物的分子式这种代码语言，可 以构成分子式索引系统，允许用户从分子式出发，检索相应的化合物及其相 关的文献信息。
自然语言是直接从原始信息中抽取出来的未经规范化处理，用以揭示信息主
题概念的检索语言。
目前世界上使用最广泛、影响最大的图书分类法，已用于130多个国家的图书馆，许 多分类法均是借鉴于杜威分类法产生的。 (2).美国国会图书馆图书分类法（Library of Congress classification）简称为ＬＣ。 (3).国际十进分类法（Universal Decimal Classification）简称ＵＤＣ。 (4).国际专利分类法（International Patent Classification )简称 IPC。
2.1.3 代码语言、自然语言
代码语言
是指对事物的某方面特征，用某种代码系统来表示和排列事物 概念，从而提供检索的检索语言。 通常用数字、字母或用它们结合的形式或以分段的方式来表示 其各部分的含义。 适用：科技报告、专利文献
按按照照选选词词方方式式的的不不同同划划分分
2020/3/21
标题词 单元词
叙词 关键词
13
2.1.2 主题语言
标题词语言
最早使用的主题语言之一，以规范化的自然语义作为标识 来表示文献涉及的主题概念。其中表达主题的词语称为标题词
单元词语言
从文献内容中抽选出来的最基本的词汇，将代表最一般、 最基本的、不可再分割的概念的词作为单独标引文献的单位 单元词是构成标题词的组件，绝大部分单元词都不是具体的标题。
代码语言（code language）是对事物的某一方面特征用某种代码系统来
加以标引和排列的检索语言。例如，根据化合物的分子式这种代码语言，可 以构成分子式索引系统，允许用户从分子式出发，检索相应的化合物及其相 关的文献信息。
自然语言是直接从原始信息中抽取出来的未经规范化处理，用以揭示信息主
题概念的检索语言。
目前世界上使用最广泛、影响最大的图书分类法，已用于130多个国家的图书馆，许 多分类法均是借鉴于杜威分类法产生的。 (2).美国国会图书馆图书分类法（Library of Congress classification）简称为ＬＣ。 (3).国际十进分类法（Universal Decimal Classification）简称ＵＤＣ。 (4).国际专利分类法（International Patent Classification )简称 IPC。
2.1.3 代码语言、自然语言
代码语言
是指对事物的某方面特征，用某种代码系统来表示和排列事物 概念，从而提供检索的检索语言。 通常用数字、字母或用它们结合的形式或以分段的方式来表示 其各部分的含义。 适用：科技报告、专利文献
信息检索性能评价指标
26
单个查询评价指标(9) —不考虑召回率
Precision@N：在第N个位置上的正确率，对于搜 索引擎，考虑到大部分作者只关注前一、两页的结 果，P@10(系统对于查询返回的前10个结果的准确 率) , P@20 对大规模搜索引擎非常有效. 举例
NDCG：后面详细介绍。
多个查询评价指标(10)
返回
10
关于召回率的计算
对于大规模语料集合，列举每个查询的所有相关 文档是不可能的事情，因此，不可能准确地计算召 回率
缓冲池(Pooling)方法：对多个检索系统的Top N 个结果组成的集合进行标注，标注出的相关文档集 合作为整个相关文档集合。这种做法被验证是可行 的，在TREC会议中被广泛采用。
单个查询评价指标(8) —不考虑召回率
Bpref ：Binary preference，2005年首次引入到TREC的Terabyte
任务中 只考虑对返回结果列表中的经过判断后的文档进行评价 在相关性判断完整的情况下，bpref具有与MAP相一致的评价结果 在测试集相关性判断不完全的情况下，bpref依然具有很好的应用 这个评价指标主要关心不相关文档在相关文档之前出现的次数。具 体公式为：
2. d84 3. d56 R=0.2， P=0.67 4. d6 5. d8
10. d25 R=0.4，P=0.4 15. d3 R=0.5， P=0.33
P-R曲线的例子
P-R曲线的插值问题
对于前面的例子，假设Rq={d3,d56,d129}
������ 3. d56 R=0.33,P=0.33;8. d129 R=0.66, P=0.25; 15. d3 R=1,P=0.2
1 | n ranked higher than r | bpref 1 R r R