信息检索性能评价指标共52页
(网络信息检索)第6章信息检索性能评价
Elasticsearch
一个基于Lucene的开源搜索和分析引擎，提供了高性能、实时的全文搜索功能，广泛应用于日志分析、网站搜索等领域。
检索效率提高的实践案例
05
信息检索性能评价的挑战与未来发展
信息过载问题
01
信息过载是指用户在信息检索过程中面临的信息量过大、难以有效筛选的问题。
02
随着互联网信息量的爆炸式增长，信息过载问题愈发严重，给用户带来困扰。
查全率计算公式
查全率 = (检索到的相关文档数 / 全部相关文档总数) * 100%。
查全率评价
总结词
查准率是衡量信息检索系统准确性的一个重要指标。
查准率计算公式
查准率 = (检索到的相关文档数 / 所有检索出来的文档总数) * 100%。
详细描述
查准率是指检索系统返回的相关文档数与所有检索出来的文档总数的比值，它反映了检索系统筛选出相关文档的能力。
查询优化
利用多核处理器和分布式系统，提高信息检索的响应速度。
并行计算和分布式处理
检索效率优化方法
Solr
基于Lucene构建的开源搜索平台，提供了丰富的功能和可扩展性，适用于大型企业和互联网应用的信息检索需求。
Google Search
作为全球最大的搜索引擎，Google通过先进的算法和大规模分布式处理技术，实现了快速、准确的信息检索服务。
总结词
检索覆盖率是指信息检索系统能够检索到的与用户查询相关的文档数量。高检索覆盖率意味着系统能够从大量文档中筛选出更多与用户需求源、使用更全面的关键词、优化索引结构等。
总结词
为了提高检索覆盖率，信息检索系统需要不断扩大信息源，尽可能涵盖更多的文档和资源。同时，使用更全面的关键词和优化索引结构可以提高系统的查全率和查准率，从而提升检索覆盖率。
信息检索考题及答案
信息检索考题及答案一、单选1、报道范围主要为能源方面的科技报告为（ D、DOE）。
2、（C报纸）是出版周期最短的定期连续出版物。
3、（ A学术论文）是高校或科研机构的毕业生为获取学位而撰写的。
4、了解各个国家政治、经济、科技发展政策的重要信息源是（B政府出版物）5、年鉴属于下列哪一类别（D三次信息）6、下列哪种文献属于一次文献（A图书）。
7、下列文献中属于一次信息的是（ A专利说明书） 8、以下各项属于二次信息的是（ A索引）21、（D 漏检率）是指未检出的相关信息量与检索系统中实际与课题相关的信息总量的比率。
22、《四级英语阅读与完型填空》这本图书在中图法体系中的分类号可能是（D、H319 ）。
23、布尔逻辑表达式：在职人员NOT（中年AND 教师）的检索结果是（A检索出除了中年教师以外的在职人员的数据）24、布尔逻辑检索中检索符号“OR”的主要作用在于（ B提高查全率）。
25、根据一定的需要，将特定范围内的某些文献中的有关知识单元或款目按照一定的方法编排，并指明出处，为用户提供文献线索的一种检索工具是（C索引）。
26、将存储于数据库中的整本书、整篇文章中的任意内容查找出来的检索是（A全文检索）27、截词检索中，“?”和“*”的主要区别在于（A 字符数量的不同）。
28、尽管不同的检索系统对截词符的定义不尽相同，一般而言，多数用（C* ）表示无限限检索。
29、尽管不同的检索系统对截词符的定义不尽相同，一般而言，多数用（A？）表示有限检索。
30、利用截词技术检索“？ake”，以下检索结果正确的是（D take）31、利用图书末尾所附参考文献进行检索的方法是（D追溯法）。
32、位置运算符号(W)和(N)的主要区别在于（D 检索词是否出现在同一文献中）。
33、我国最早的分类法是（B 《七略》）34、要查找吴敬琏所发表的文章，首选途径为（C 责任者途径）。
对于中国期刊全文数据库（CNKI）的使用权限的说法，（A从任何公网终端都可访问其全文信息）是不正确的。
信息检索题库(含答案)
注意：1、通读教材，根据页码提示完成下列题目。
2、最后一次上机课在线测试，范围不超出如下题目。
第一章一、单选1、报道范围主要为能源方面的科技报告为（D）。
A、AD B、PB C、NASA D、DOE{第7页}2、（C）是出版周期最短的定期连续出版物。
A、图书B、期刊C、报纸D、学位论文{第6页}3、（A ）是高校或科研机构的毕业生为获取学位而撰写的。
A、学位论文B、科技报告C、会议文献D、档案文献{第6页}4、了解各个国家政治、经济、科技发展政策的重要信息源是（C）A、科技报告B、政府出版物C、标准文献D、档案文献{第8页}5、年鉴属于下列哪一类别（D）A、零次信息B、一次信息C、二次信息D、三次信息{第5页}6、下列哪种文献属于一次文献（A ）。
A、图书B、百科全书C、综述D、文摘{第4页}7、下列文献中属于一次信息的是（A ）A、专利说明书B、百科全书C、目录D、综述{第4页}8、以下各项属于二次信息的是（A ）A、索引B、期刊C、学位论文D、百科全书{第4页}二、多选9、二次信息主要包括（CD）等。
A、手册B、年鉴C、目录D、题录{第4页}10、信息的属性包括（ABCD）A、客观性B、时效性C、传递性D、共享性{第3页}11、信息素质的内涵主要包括（ABC）。
A、信息意识素质B、信息能力素质C、信息道德素质D、信息职业素质{第9页}12、以下类型的信息属于三次信息的是（BC）。
A、目录B、词典C、百科全书D、科技报告{第4页}三、判断13、档案文献具有原始性特点，客观真实地反映了历史。
（∨）{第8页}14、年鉴和百科全书属于二次信息。
（×）{第4页}15、图书一般不能反映最新的信息，时效性差，相比之下，期刊出版发行速度快，内容新颖。
（∨）{第6页}16、文献信息源是各种信息源中检索与利用的主体。
（∨）{第3页}17、一次信息也称为第一手资料，如书目和索引。
（×）{第4页}18、语言信息源，即零次信息，也就是指非正式的、口头交换的信息。
检索评价
检索策略的评价
对一个给定检索策略S 对一个给定检索策略S，对每个信息查询实例， 评测由S 评测由S检出的结果集合与由专家提供的相关文 档集之间的相似性，量化这一指标。
概括表统计
单值测度也可以概括到一张表中， 单值测度也可以概括到一张表中 ， 以便 为检索任务中的所有查询集合进行统 计概括。 主要包括：查询数量、 计概括 。 主要包括：查询数量 、 检索 到的文献总数、相关文献的总数等。 到的文献总数、相关文献的总数等。
信息科学技术学院 · 网络研究所
其它测度方法
Precision 120% 100% 80% 60% 40% 20% 0%
0% 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 10 0%
Recall
信息科学技术学院 · 网络研究所
由于每个查询的查全率值不一定就是这11个标准查全率，因此 由于每个查询的查全率值不一定就是这11个标准查全率，因此 需要对查准率进行插补。 如上例中，若Rq只含有3 如上例中，若Rq只含有3个文档 Rq = {d3, d56, d129}. 此时，如何计算11点标准查全率呢？ 此时，如何计算11点标准查全率呢？ 设rj{j=0,1,2,…,10}为第j个标准查全率的一个参量 {j=0 10}为第j （如r3是查全率为30%的参量），则： 是查全率为30%的参量）
E测度指标
思想：允许用户指出他更关心查准率 或查全率
1+ b E = 1− 2 b 1 + r p
检索效果的评价指标.doc
检索效果的评价指标克兰弗登（ Cranfield）在分析用户基本要求的基础上，提出了 6 项检索系统性能的评价指标，它们是收录范围、查全率、查准率、响应时间、用户负担和输出形式。
（ 1）查全率查全率 (recall factor)是指检出的相关文献量与检索系统中相关文献总量的百分比，是衡量信息检索系统检出相关文献能力的尺度，可用下式表示：查全率 =检出的相关文献总量 / 系统中的相关文献总量×100% 即 R=b/a * 100%设 R 为查全率， P 查准率， M 表示漏检率、 N 表示误检率， m 为检出文献总量， a 为检索系统中的相关文献总量， b 为检出的相关文献总量。
例如，要利用某个检索系统查某课题。
假设在该系统数据库中共有相关文献为 40 篇，而只检索出来 30 篇，那么查全率就等于 75%。
（ 2）查准率查准率 (Pertinency factor)是指检出的相关文献量与检出文献总量的百分比，是衡量信息检索系统精确度的尺度，可用下式表示：查准率 =检出的相关文献总量 / 检出文献总量×100%即 P=b/m*100%例如，如果检出的文献总篇数为 50 篇，经审查确定其中与课题相关的文献只有 40 篇，另外 10 篇与该课题无关。
那么，这次检索的查准率就等于80%。
检索效果 2检索系统的响应时间是指从发出检索提问到获得检索结果平均消耗的时间。
主要包括：① 用户请求到服务器的传送时间；② 服务器处理请求的时间；② 服务器的答复到用户端的传送时间；④用户端计算机处理服务器传来信息的时间。
提高检索效果的措施1."提高用户信息素质2."选择好的检索工具和系统3."优选检索词4."合理调整查全率和查准率不同的检索课题对文献信息的需求不同，用户应根据课题的需要，适当调整查全率和查准率，优化检索策略，以达到最佳检索效果。
（1）提高查全率提高查全率时，调整检索式的主要方法有：① 降低检索词的专指度，从词表或检出文献中选一些上位词或相关词。
信息检索考题及答案
一、单选1、报道围主要为能源方面的科技报告为（D、DOE）。
2、（C报纸）是出版周期最短的定期连续出版物。
3、（A学术论文）是高校或科研机构的毕业生为获取学位而撰写的。
4、了解各个国家政治、经济、科技发展政策的重要信息源是（B政府出版物）5、年鉴属于下列哪一类别（D三次信息）6、下列哪种文献属于一次文献（A图书）。
7、下列文献中属于一次信息的是（A专利说明书）8、以下各项属于二次信息的是（A 索引）21、（D 漏检率）是指未检出的相关信息量与检索系统中实际与课题相关的信息总量的比率。
22、《四级英语阅读与完型填空》这本图书在中图法体系中的分类号可能是（D、H319 ）。
23、布尔逻辑表达式：在职人员NOT（中年AND教师）的检索结果是（A检索出除了中年教师以外的在职人员的数据）24、布尔逻辑检索中检索符号“OR”的主要作用在于（B提高查全率）。
25、根据一定的需要，将特定围的某些文献中的有关知识单元或款目按照一定的方法编排，并指明出处，为用户提供文献线索的一种检索工具是（C索引）。
26、将存储于数据库中的整本书、整篇文章中的任意容查找出来的检索是（A全文检索）27、截词检索中，“?”和“*”的主要区别在于（A 字符数量的不同）。
28、尽管不同的检索系统对截词符的定义不尽相同，一般而言，多数用（C* ）表示无限限检索。
29、尽管不同的检索系统对截词符的定义不尽相同，一般而言，多数用（A？）表示有限检索。
30、利用截词技术检索“？ake”，以下检索结果正确的是（D take）31、利用图书末尾所附参考文献进行检索的方法是（D追溯法）。
32、位置运算符号(W)和(N)的主要区别在于（D 检索词是否出现在同一文献中）。
33、我国最早的分类法是（B 《七略》）34、要查找吴敬琏所发表的文章，首选途径为（C责任者途径）。
主题较复杂、研究围较大、研究时间较久的科研课题适用的检索方法为（A顺查法）《科学引文索引》是基于（B追溯法）检索方法而编制出来的检索工具：下列检索工具哪个不属于事实数据检索工具（A词典）：按检索手段分，搜索引擎属于（C网络检索工具）Adobe Reader可以阅读（D、PDF ）格式文件。
第三章_信息检索评价
相关文 档集
新的评价指标
随着测试集规模的扩大以及人们对评测结果 理解的深入，更准确反映系统性能的新评价 指标逐渐出现 单值评价方法
已检出相关文献的平均准确率均值 P@10 R准确率 准确率直方图
P@10评价
定义:系统对于查询返回的前10个结果的准 确率. 考虑到用户在查看搜索引擎结果时,往往希 望在第一个页面(通常为10个结果)就找到自 己所需的信息,因此P@10能比较真实有效地 反映在真实应用环境下所表现的性能.
信息检索的评价
针对一个检索系统，可以从功能和性能两 个方面对其进行分析评价 功能评价
可通过测试系统来判定是否支持某项功能 因此相对来说较容易 时间与空间性能 相关度排序性能
性能评价
用户真正关 心的性能
评价信息检索系统的困难
相关性不是二值评价，而是一个连续的量 即使进行二值评价，很多时候也很难 从人的立场上看，相关性具有如下特点：
RPA-B=0:对于第i个查询，两个算法有相同的性能 RPA-B>0:对于第i个查询，算法A有较好的性能 RPA-B<0:对于第i个查询，算法B有较好的性能
准确率直方图----例子
1.0
0.5
R准确率A-B
0.0 -0.5 -1.0 1 2 3 4 5 6 7 8 9 10
算法A在其中的8次查询中具有较好的检索性能,而算法B有2次查询的 性能更好.
P@10----例子
Example Rq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123} 通过某一个检索算法得到的排序结果： 1. d123 6. d9 11. d38 2. d84 7. d511 12. d48 3. d56 8. d129 13. d250 4. d6 9. d187 14. d113 5. d8 10. d25 15. d3
【大学课件】信息检索评价-PPT课件
2、信息利用
信息利用是信息调研的出发点和归宿。信息利用源于 用户的信息需求，体现为对信息资源的选择性纳入。所谓 信息利用，是指信息用户对信息吸收和运用的活动与过程。 信息利用是信息获取、阅读、整理、研究等环节的延续， 同时也是在信息获取、阅读、整理、研究等环节的基础上 得到完成的。 人类的各种社会活动是产生信息的主要源泉，而信息又 对人类的各种社会活动起着积极的作用。随着社会信息化 的进程，一方面人类对信息的依赖程度越来越高，信息深 刻地影响着人们的思维方式、生产方式、工作方式和生活 方式；另一方面，人类存贮和检索信息的能力也越来越强， 信息作为一种取之不尽、用之不竭的特殊资源必将得以更 为充分有效地利用。人们对信息利用的水平是人类社会文 明程度的重要标志。
docin/sundae_meng
检准率
检准率.它是指系统在进行某一检索时，检出的相关 文献量与检出文献总量的比率 ,是衡量信息检索系统精 确度的尺度，它反映每次从该系统文献库中实际检出的 全部文献中有多少是相关的。可用下式表示: 检准率 = [ 检出相关文献量 / 检出文献总量 ] × 100%
docin/sundae_meng
docin/sundae_meng
docin/sundae_meng
③信息调研的目的
信息调研是获取有效信息的手段。 信息调研是为了开发高层次信息，提 高信息利用率。 信息调研是决策和研究具有科学性的 基础和保证。
docin/sundae_meng
④信息调研的类型
信息调查研究的几种类型： 探索性调研（非正式调研） 描述性调研（正式调研） 因果关系调研 预测性调研。
信息检索评价
docin/sundae_meng
搜索引擎的主要性能评价指标
搜索引擎的主要性能评价指标1.搜索引擎建立索引的方法数据库中的索引一般是按照倒排文档的文件格式存放的,在建立倒排索引的时候,不同的搜索引擎有不同的选项。
有些搜索引擎对于信息页面建立全文索引:而有些只建立摘要部分,或者是段落前面部分的索引。
还有些搜索引擎,如Google建立索引的时候,同时还考虑超文本的不同标记所表示的不同含义,如粗体、大字体显示的东西往往比较重要:放在"锚"链接中的信息往往是它所指向页面的信息的概括,所以用它来作为所指向的页面的重要信息。
Google、Infbseek还在建立索引的过程中收集页面中的超链接。
这些超链接反映了收集到的信息之间的空间结构,利用这些结果可以提高页面相关度判别的准确度。
由于索引不同,在检索信息时产生的结果会不同。
2.搜索引擎的受欢迎程度搜索引擎的受欢迎程度体现了用户对搜索引擎的偏爱程度,知名度高、性能稳定和搜索质量好的搜索引擎很受用户的青睐。
搜索引擎的受欢迎程度也会随着它的知名度和服务水平的变化而动态地变化。
搜索引擎的服务水平与它所收集的信息量、信息的新颖度和查询的精确度相关。
随着各种新的搜索技术的出现,智能化的、支持多媒体检索的搜索引擎将越来越受到用户的欢迎。
3.搜索引擎的检索功能搜索引擎所支持的检索功能的多少及其实现的程度,直接决定了检索效果的好坏,所以网络检索工具除了要支持诸如布尔检索、邻近检索、截词检索、字段检索等基本的检索功能之外,更应该根据网上信息资源的变化,及时地应用新技术、新方法,提高高级检索功能。
另外,由于中文信息持有的编码不统一问题,所以如果搜索引擎能够实现不同内码之间的自动转换,用户就能全面检索大陆及港台地区乃至全世界的中文信息。
这样不但可以提高搜索引擎的质量,而且会得到用户的支持。
4.搜索引擎的检索效果检索效果可以从响应时间、查全率、查准率和相关度方面来衡量。
响应时间是用户输入检索式开始查询到检出结果的时间:查全率是指一次要求搜索结果中符合用户要求的数目与用户查询相关的总数之比:查准率是指一次搜索结果集中符合用户要求的数目与该词搜索结果总数之比:相似度是指用户查询与搜索结果之间相似度的一种度量二查准率是一个复杂的概念,一方面表示搜索引擎对搜索结果的排序,另一方面却体现了搜索引擎对垃圾网页的抗干扰能力。
信息检索的评价
1 信息检索的评价指标
替代方法
除了信息检索的査全率和查准率以外，两位美国研究人员H. Vernon Leighton和 Jaideep Srivastava提出了一种计算查准率的替代方，即“相关性范畴”概念和“前X命 中记录査准率”。 这里对这两种方法进行简要的介绍。 (1) 相关性范畴 相关性范畴是按照检索结果同用户需求的相关程度，把检索结果分别归入如下4个范畴。 •范畴0：重复链接，死链和不相关链接。 •范畴1：技术上相关的链接。 •范畴2：潜在有用的链接。 •范畴3：十分有用的链接。
1 信息检索的评价指标
1.3 查准率与查全率的关系
如果一个信息检索系统的查准、査全性能水平较低，那么在这样的系统 中所进行的信息检索, 一般而言查准率和查全率都会比较低；但是，倘 若一次检索的措施和手段相当理想，也可能达到较高的检索效率。反之， 如果一个信息检索系统具有较高的性能水平，那么在这样的系统中所进 行的信息检索，通常就容易实现较高的査全率和查全率；但是，倘若一 次检索的措施和手段都相当差，就会得到较低的检索效率。 例如，对于传统的联机检索系统和现代的搜索引擎，在查准、查全的性 能水平上前者要比后者高得多。但这并不意味每一次检索的结果必定如 此。在利用联机系统进行检索时，如果选词不合理、措施和手段不当， 就不可能达到系统的性能水平。同样，在利用搜索引擎进行检索时，如 果检索的措施和手段相当理想，完全可以超越系统的平均性能水平。
④ 计算P(20)的分母。如果返回的检索结果超过20条，那么分母就是所有的20条记录都 相关时的权 值之和，即3×20 +7×17 + 10 ×10 =279。如果返回的检索结果不超过20条，分母就需要进行一 定的调整，以使计算结果更接近真实查准率。
信息检索性能评价指标
26
单个查询评价指标(9) —不考虑召回率
Precision@N：在第N个位置上的正确率，对于搜 索引擎，考虑到大部分作者只关注前一、两页的结 果，P@10(系统对于查询返回的前10个结果的准确 率) , P@20 对大规模搜索引擎非常有效. 举例
NDCG：后面详细介绍。
多个查询评价指标(10)
返回
10
关于召回率的计算
对于大规模语料集合，列举每个查询的所有相关 文档是不可能的事情，因此，不可能准确地计算召 回率
缓冲池(Pooling)方法：对多个检索系统的Top N 个结果组成的集合进行标注，标注出的相关文档集 合作为整个相关文档集合。这种做法被验证是可行 的，在TREC会议中被广泛采用。
单个查询评价指标(8) —不考虑召回率
Bpref ：Binary preference，2005年首次引入到TREC的Terabyte
任务中 只考虑对返回结果列表中的经过判断后的文档进行评价 在相关性判断完整的情况下，bpref具有与MAP相一致的评价结果 在测试集相关性判断不完全的情况下，bpref依然具有很好的应用 这个评价指标主要关心不相关文档在相关文档之前出现的次数。具 体公式为：
2. d84 3. d56 R=0.2， P=0.67 4. d6 5. d8
10. d25 R=0.4，P=0.4 15. d3 R=0.5， P=0.33
P-R曲线的例子
P-R曲线的插值问题
对于前面的例子，假设Rq={d3,d56,d129}
������ 3. d56 R=0.33,P=0.33;8. d129 R=0.66, P=0.25; 15. d3 R=1,P=0.2
1 | n ranked higher than r | bpref 1 R r R
信息检索的评价
效果(Effectiveness) 效果
其他指标
返回的文档中有多少相关文档 所有相关文档中返回了多少 返回得靠不靠前 覆盖率(Coverage) 覆盖率 访问量 数据更新速度
7
武汉大学计算机学院
如 何 评 价 效 果 ？
相同的文档集合，相同的查询主题集合， 相同的文档集合，相同的查询主题集合，相同的评 价指标，不同的检索系统进行比较。 价指标，不同的检索系统进行比较。
TREC会议概况 二．TREC会议概况
3
武汉大学计算机学院
信 息 检 索 的 评 价
为什么要评价IR 为什么要评价IR IR中要评价什么 中要评价什么？ IR中要评价什么？ 如何评价效果 评价指标分类
单个查询的评价指标 多个查询的评价指标
4
武汉大学计算机学院
从 竞 技 体 育 说 起
(曾经的一说)世界记录vs. 世界最好成绩 曾经的一说)世界记录vs.
The Cranfield Experiments, Cyril W. Cleverdon, 1957 – 1968 (上百篇文档集合 上百篇文档集合) 上百篇文档集合 SMART System,Gerald Salton, 1964-1988 (数千篇文档集 数千篇文档集 合) TREC(Text Retrieval Conference), Donna Harman, 美国 标准技术研究所, 1992 -(上百万篇文档 ，信息检索的“奥 标准技术研究所 上百万篇文档)，信息检索的“ 上百万篇文档 运会” 运会”
21
1. d123 R=0.1，P=1 ， 2. d84
3. d56 R=0.2，P=0.67 8. d129 ， 4. d6 5. d8 9. d187 10. d25 R=0.4，P=0.4 ，
信息检索习题及答案
注意：1、通读教材，根据页码提示完成下列题目。
2、最后一次上机课在线测试，范围不超出如下题目。
第一章一、单选1、报道范围主要为能源方面的科技报告为（D）。
A、ADB、PBC、NASAD、DOE{第7页}2、（C）是出版周期最短的定期连续出版物。
A、图书B、期刊C、报纸D、学位论文{第6页}3、（A）是高校或科研机构的毕业生为获取学位而撰写的。
A、学位论文B、科技报告C、会议文献D、档案文献{第6页}4、了解各个国家政治、经济、科技发展政策的重要信息源是（B ）A、科技报告B、政府出版物C、标准文献D、档案文献{第8页}5、年鉴属于下列哪一类别（D）A、零次信息B、一次信息C、二次信息D、三次信息{第7页}（一次信息：图书、期刊论文、科技报告、会议论文、专利说明书及科技日记、杂记、实践记录）6、下列哪种文献属于一次文献（A ）。
A、图书B、百科全书C、综述D、文摘{第4页}7、下列文献中属于一次信息的是（A ）A、专利说明书B、百科全书C、目录D、综述{第4页}8、以下各项属于二次信息的是（A）A、索引B、期刊C、学位论文D、百科全书{第4页}（二次信息；目录、题录、文摘、索引、书目对一次信息有指引和报道作用）二、多选9、二次信息主要包括（）等。
A、手册B、年鉴C、目录D、题录{第4页}10、信息的属性包括（）A、客观性B、时效性C、传递性D、共享性{第3页}11、信息素质的内涵主要包括（）。
A、信息意识素质B、信息能力素质C、信息道德素质D、信息职业素质{第9页}12、以下类型的信息属于三次信息的是（）。
A、目录B、词典C、百科全书D、科技报告{第4页}附加：I)信息道德规范信息行为，主要包括（）。
A、不制作、传播、消费不良信息B、不侵犯他人的知识产权、商业秘密、隐私权C、恰当使用与合理开发信息技术D、私下交易个人信息（第10页）II)根据信息的载体和表达方式的不同，信息源可分为（）。
A、语言信息源B、二次信息C、实物信息源D、文献信息源（第4页）III)文献的基本要素有（）。
03信息检索评价
6
评价IR系统的困难
相关性不是二值评价，而是一个连续的量 即使进行二值评价，很多时候也很难 从人的立场上看，相关性是：
主观的，依赖于特定用户的判断 情景相关的，依赖于用户的需求 认知的，依赖于人的认知和行为能力 时变的，随着时间而变化
7
在评价和比较检索系统的检索性能需要 以下条件：
Bpref指标
只考虑对返回结果列表中的经过判断后的文档进 行评价 这个评价指标主要关心不相关文档在相关文档r之 前出现的次数n。具体公式为： R为相关文档的数目，r是一个相关文档，n是在相 关文档r之前的非相关文档数
1 | n ranked higher than r | bpref 1 R r R
9
“pooling”方法
两个假设
假设绝大多数的相关文档都收录在这个文档池中 没有进行判断的文档即未被认为是不相关的
“pooling”技术的具体操作方法是：针对某一检 索问题，所有参与其检索试验的系统分别给出各 自检索结果中的前K个文档（例如K=100），将这 些结果文档汇集起来，得到一个可能相关的文档 池“pool” 由检索评价专家进行人工判断，最终评判出每一 文档的相关性
平均准确率
上述准确率召回率的值对应一个查询 每个查询对应不同的准确/召回率曲线 为了评价某一算法对于所有测试查询的检索性能， 对每个召回率水平下的准确率进行平均化处理， 公式如下：
P(r )
P (r )
i 1 i
Nq
•Nq: 使用的查询总数
Nq
•Pi(r): 召回率为r时的第i个查询的准确率
27
评价指标的不足
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
▪
29、勇猛、大胆和坚定的决心能够抵得上武器的精良。——达·芬奇
▪
30、意志是一个强壮的盲人，倚靠在明眼的跛子肩上。——叔本华
谢谢！
52
▪
26、要使整个人生都过得舒适、愉快，这是不可能的，因为人类必须具备一种能应付逆境的态度。——卢梭
▪
27、只有把抱怨环境的心情，化为上进的力量，才是成功的保证。——罗曼·罗兰
▪
28、知之者不如好之者，好之者不如乐之者。——孔子
信息检索性能评价指标
16、自己选择的路、跪着也要把它走 完。 17、一般情况ቤተ መጻሕፍቲ ባይዱ)不想三年以后的事， 只想现 在的事 。现在 有成就 ，以后 才能更 辉煌。
18、敢于向黑暗宣战的人，心里必须 充满光 明。 19、学习的关键--重复。
20、懦弱的人只会裹足不前，莽撞的 人只能 引为烧 身，只 有真正 勇敢的 人才能 所向披 靡。