搜索引擎评价研究方法综述

搜索引擎评价研究方法综述

费巍

2012-9-29 19:50:56 来源：《现代情报》(长春)2010年12期【英文标题】Overview of the Methods of Evaluation on Search Engine

【作者简介】费巍(1981-)，男，博士，研究方向：信息组织和信息检索，发表论文10多篇。苏州图书馆，苏州 215002

【内容提要】通过ISI Web of Science和中国期刊网查找有关搜索引擎评价研究的文章，本文对搜索引擎评价研究的相关文献进行了梳理，并对研究方法进行了总结。搜索引擎评价研究方法主要有实验法、调查法、观察法、数据分析法、综述和评论等。对比国内外相关研究，国内搜索引擎评价研究数据支撑较为缺乏，科学分析和论证也明显不足。本文旨在提升国内搜索引擎评价研究的科学性。

The paper reviewed the documents related to the evaluation of search engines based on the ISI Web of Science and CNKI. The methods of these studies were concluded, which were experimentation, survey, observation, data analysis, and review. According to the comparison between domestic and overseas correlational research, the research on the evaluation of search engines was lack of data, as well as scientific analysis and verification. The aim of this paper was to improve the scientificity of the evaluation of search engine in China.

【关键词】搜索引擎/评价/研究方法/综述Search

engines/Evaluation/Research method/Overview

搜索引擎评价研究涉及很多学科，如计算机科学、图书情报科学、统计学、认知科学、电子通讯、机械工程、自动化和控制系统等。ISI Web of Science 数据中搜索引擎评价研究涉及的学科及其分支学科有236个之多（检索时间：2010年10月9日），可见搜索引擎评价研究具有很强的跨学科性质，因而搜索引擎评价的研究方法也不免具有跨学科的特点。Louise提到搜索引擎评价研究方法之一的自然观察法(Naturalistic Studies)[1]被心理学家、行为学家和社会学家采用，用来观察其研究对象的自然习惯。Orland总结的纵向研究法(Longitudinal Studies)[2]，被普遍应用于医学观察，常用于观察某一疾病出现的征兆和症状。还有一些其他的方法被应用于各个领域的研究和实践之中，这些研究方法可以很好地与搜索引擎评价研究相结合，不断充实该领域的研究，也逐步加强搜索引擎评价研究的严谨性和科学性。

1 搜索引擎评价研究方法

Louise归纳出搜索引擎评价的研究方法有评论法(Review)、试验法(Experiments)、自然观察法(Naturalistic Studies)、调查法(Survey)等。Orland综合了可视化检索系统的评价方法：观察法(Inspection Methods)、实验室研究法(Laboratory Studies)、现场实验法(Field Trials)、纵向研究法(Longitudinal Studies)以及系统和日志分析法(Instrumentation and Log Analysis)等。国内的研究人员也对搜索引擎评价方法进行了归纳总结，如比较分析法和测试实验法[3]，如以描述为主的搜索引擎评价方式，以查询结果的命中个数作为评价标准等[4]。

综合国内外关于搜索引擎评价研究，笔者将搜索引擎评价研究方法分为以下几种。

1.1实验方法

实验方法越来越多地被应用于搜索引擎评价的研究，研究人员根据其研究课题，力图探明现象与结果之间的关系。在实验中，研究者首先要提出有关研究目的的问题或假设，并定义变量与自变量，从实验中获取相关数据，通过数据分析来给出问题的答案或论证假设是否成立。实验方法有较强的可控性和操作性，其可控性体现为对实验中变量和自变量的定义以及数据采集的标准和数据量的大小等方面。操作性则体现为研究人员按照科学的实验方法，结合研究课题本身的需求，对实验步骤进行科学合理的设计，规范数据采集的标准并依此标准收集和采集数据，并应用科学的工具对采集的数据进行分析。

Jansen等在搜索引擎检索电子商务信息的性能评价研究中提出了3个假设，分别定义了变量和自变量，通过检索实例收集了相关数据，并应用方差分析法、Tukey's HSD检验以及回归分析法等分析了实验数据[5]。通过实验研究表明，相较于全文检索，基于概念的检索能显著提升检准率，越多的语义因素加入检索式中，检准率就越高[6]。搜索引擎评价研究越来越重视实验方法，也越来越多地采取实验的研究方法。如研究用户个性对信息检索系统心理模型的影响的评价研究[7]，PageRank检索学术信息能力的评价研究[8]，语言及检索任务对相关性评价的影响研究[9]，网页是否含有元数据对网页被搜索引擎检索的影响研究[10]，用户在强化主题词检索环境下检索式扩张行为的研究等[11]。

实验方法极大地促进了搜索引擎评价研究的发展，研究人员针对搜索引擎的

各个方面展开评价研究，并取得了一系列的成果。实验方法具有较强的针对性、可控性和操作性，不过这也从某种程度上说明实验方法具有一定的主观性，在实验设计、标准制定、数据采集等步骤中难免融入了研究人员的主观因素，这或多或少会对搜索引擎评价的客观性造成影响。因此，用实验的方法进行搜索引擎评价研究需要尽量减少实验过程中的主观性因素，这就对实验设计、标准制定以及数据采集等各方面提出了更高的要求。

1.2调查方法

在搜索引擎的评价研究中，研究人员会针对利用搜索引擎的行为用户进行调研，包括用户的背景，如性别、职业、学历等，用户选择搜索引擎的原因，如用户惯性、搜索引擎性能、搜索引擎口碑等，用户利用搜索引擎的行为，如检索词的选择、检索式的构造、检索时间的长短、对检索结果的处理等。这些信息对搜索引擎的评价研究具有重要的意义，其数据直接反映了用户利用搜索引擎的各方面信息，很具参考价值，对搜索引擎的设计和优化研究尤为重要。调查方法首先要设计切实可行的调查问卷，保证问卷的逻辑性，必须围绕研究问题进行有针对性的设计。

Amanda等对Excite搜索引擎的用户特征与检索行为之间的关系进行了研究，其数据收集主要包括用户背景、检索主题、检索词和检索式、连续检索行为等。研究结果显示大多数用户的检索式比较简短，很多用户的检索行为具有持续性，并依次递进，但是搜索引擎在其检索策略的透明度方面还显得不够[12]。Kruschwitz和Al-Bakour研究了用户对搜索引擎检索帮助系统的要求，并对基于任务的检索结果进行了评价。在研究中，作者根据TREC-9交互轨迹(Interact Track)的调查问卷设计了针对其研究目的的调查问卷，包括输入(Entry)、后检