搜索引擎检索性能评价实验报告

计算机网络

实验报告

实验名称：检索性能评价

姓名：xxx 学号：xxxx 专业：信息管理与信息系统班级：xxx 指导教师：

实验成绩：

批阅教师签字：

一、实验目的

通过绘制P-R图、11点插值图和计算MAP比较百度和谷歌的检索性能，加强对单个查询检索性能评价方法的应用能力，进一步巩固和理解课堂中所学的信息检索性能评价方法。

二、实验内容与实验步骤

（一）实验内容

以百度、谷歌为例，在两个搜索引擎中输入同一个Query，并设定该Query的相关文档总数为24篇。查看前20条返回的记过的相关性，对检索性能进行评价，并绘制P-R图、11点插值图，分别计算百度和谷歌的MAP。

（二）实验步骤

1.复习信息检索评价方法原理及P-R图、11点插值图绘制方法，学习并掌握使用Excel绘

制图表方法；

2.在百度、谷歌中分别输入相同的检索词，统计前20个结果hit情况并计算对应的

precision、recall值及11点对应的precision值；

3.绘制P-R图、11点插值图，计算MAP；

4.评价并比较谷歌和百度的检索性能。

三、实验环境

1.操作系统：windows 7

2.软件：Excel2007

四、实验过程与分析

1.在百度和谷歌中输入检索词：信息检索评价P-R图，得到检索结果部分如下图1所示：

图1 谷歌（左）和百度（右）部分检索结果截图

2.用Excel分别统计百度和谷歌前20个结果的hits、presicion、recall、和11点对应的值。如图所示：

3.绘制百度、谷歌P-R图并比较。

百度、谷歌P-R图

从上图可以看出，相同的recall，当recall<=0.125时，谷歌和百度P-R相同，也就是谷歌和百度的前三个结果都是相关的。当recall>0.125时，谷歌的precision高于百度的precision。这个图中，百度和谷歌P-R的差距很明显，可以初步判定当query为“信息检索评价P-R图”时，谷歌的检索性能优于百度。

5.绘制百度、谷歌的11点插值图并比较检索性能。

百度、谷歌11点插值图

从插值图，可以看出，在插值点为0和0.1时，百度和谷歌的precision相同，其余的插值点，谷歌的precision明显高于百度的precision，可以看出当query为“信息检索评价P-

R图”，谷歌的检索性能优于百度。

6.分别计算百度和谷歌的MAP。

（1）百度MAP=（1+1+1+4/7+5/8+2/3+7/10+8/17+9/20）/20=

（2）谷歌MAP=（1+1+1+4/5+5/6+6/7+7/8+8/9+9/11+5/6+11/15+3/5）/20=

五、实验结果总结与思考

通过本次实验，深入理解和掌握了信息检索性能评价单个查询的评价指标precision、recall的计算方法以及P-R图、插值图的绘制方法，并通过比较P-R曲线和插值图来比较谷歌和百度的单个查询的检索性能，完成了实验内容，达到了实验目的。

在实验中，也发现了P-R曲线评价单个查询的检索性能存在一些缺点。一方面，对于像搜索引擎这样有着大规模文档的数据库，每个查询词的相关文档数难以确定，检索结果是否与查询词相关也难以确定，不同的人有不同的看法，所以难以准确计算召回率和正确率。另一方面，因为系统的数据集合是动态的，一个查询词的P-R不能反映搜索引擎的检索性能，P-R只能反映某一时间系统针对某一个查询词的检索性能。

另外，了解到目前针对大规模语料集合召回率难以计算问题解决的的方法是缓冲池(Pooling)方法：对多个检索系统的Top N个结果组成的集合进行标注，标注出的相关文档集合作为整个相关文档集合。

实验中也发现，虽然准确率和召回率没有明显的相关关系，但是两者难以两全其美，检索系统应该从用户的角度考虑更加注重正确率还是召回率，从而帮助用户更好的完成检索任务。例如，我认为搜索引擎这样拥有海量数据的检索系统，相关文档集合很大，考虑召回率意义不大，应该更加注重准确率。