搜索引擎评价研究方法综述

搜索引擎评价研究方法综述费巍2012-9-29 19:50:56 来源：《现代情报》(长春)2010年12期【英文标题】Overview of the Methods of Evaluation on Search Engine【作者简介】费巍(1981-)，男，博士，研究方向：信息组织和信息检索，发表论文10多篇。

苏州图书馆，苏州 215002【内容提要】通过ISI Web of Science和中国期刊网查找有关搜索引擎评价研究的文章，本文对搜索引擎评价研究的相关文献进行了梳理，并对研究方法进行了总结。

搜索引擎评价研究方法主要有实验法、调查法、观察法、数据分析法、综述和评论等。

对比国内外相关研究，国内搜索引擎评价研究数据支撑较为缺乏，科学分析和论证也明显不足。

本文旨在提升国内搜索引擎评价研究的科学性。

The paper reviewed the documents related to the evaluation of search engines based on the ISI Web of Science and CNKI. The methods of these studies were concluded, which were experimentation, survey, observation, data analysis, and review. According to the comparison between domestic and overseas correlational research, the research on the evaluation of search engines was lack of data, as well as scientific analysis and verification. The aim of this paper was to improve the scientificity of the evaluation of search engine in China.【关键词】搜索引擎/评价/研究方法/综述Searchengines/Evaluation/Research method/Overview搜索引擎评价研究涉及很多学科，如计算机科学、图书情报科学、统计学、认知科学、电子通讯、机械工程、自动化和控制系统等。

ISI Web of Science 数据中搜索引擎评价研究涉及的学科及其分支学科有236个之多（检索时间：2010年10月9日），可见搜索引擎评价研究具有很强的跨学科性质，因而搜索引擎评价的研究方法也不免具有跨学科的特点。

Louise提到搜索引擎评价研究方法之一的自然观察法(Naturalistic Studies)[1]被心理学家、行为学家和社会学家采用，用来观察其研究对象的自然习惯。

Orland总结的纵向研究法(Longitudinal Studies)[2]，被普遍应用于医学观察，常用于观察某一疾病出现的征兆和症状。

还有一些其他的方法被应用于各个领域的研究和实践之中，这些研究方法可以很好地与搜索引擎评价研究相结合，不断充实该领域的研究，也逐步加强搜索引擎评价研究的严谨性和科学性。

1 搜索引擎评价研究方法Louise归纳出搜索引擎评价的研究方法有评论法(Review)、试验法(Experiments)、自然观察法(Naturalistic Studies)、调查法(Survey)等。

Orland综合了可视化检索系统的评价方法：观察法(Inspection Methods)、实验室研究法(Laboratory Studies)、现场实验法(Field Trials)、纵向研究法(Longitudinal Studies)以及系统和日志分析法(Instrumentation and Log Analysis)等。

国内的研究人员也对搜索引擎评价方法进行了归纳总结，如比较分析法和测试实验法[3]，如以描述为主的搜索引擎评价方式，以查询结果的命中个数作为评价标准等[4]。

综合国内外关于搜索引擎评价研究，笔者将搜索引擎评价研究方法分为以下几种。

1.1实验方法实验方法越来越多地被应用于搜索引擎评价的研究，研究人员根据其研究课题，力图探明现象与结果之间的关系。

在实验中，研究者首先要提出有关研究目的的问题或假设，并定义变量与自变量，从实验中获取相关数据，通过数据分析来给出问题的答案或论证假设是否成立。

实验方法有较强的可控性和操作性，其可控性体现为对实验中变量和自变量的定义以及数据采集的标准和数据量的大小等方面。

操作性则体现为研究人员按照科学的实验方法，结合研究课题本身的需求，对实验步骤进行科学合理的设计，规范数据采集的标准并依此标准收集和采集数据，并应用科学的工具对采集的数据进行分析。

Jansen等在搜索引擎检索电子商务信息的性能评价研究中提出了3个假设，分别定义了变量和自变量，通过检索实例收集了相关数据，并应用方差分析法、Tukey's HSD检验以及回归分析法等分析了实验数据[5]。

通过实验研究表明，相较于全文检索，基于概念的检索能显著提升检准率，越多的语义因素加入检索式中，检准率就越高[6]。

搜索引擎评价研究越来越重视实验方法，也越来越多地采取实验的研究方法。

如研究用户个性对信息检索系统心理模型的影响的评价研究[7]，PageRank检索学术信息能力的评价研究[8]，语言及检索任务对相关性评价的影响研究[9]，网页是否含有元数据对网页被搜索引擎检索的影响研究[10]，用户在强化主题词检索环境下检索式扩张行为的研究等[11]。

实验方法极大地促进了搜索引擎评价研究的发展，研究人员针对搜索引擎的各个方面展开评价研究，并取得了一系列的成果。

实验方法具有较强的针对性、可控性和操作性，不过这也从某种程度上说明实验方法具有一定的主观性，在实验设计、标准制定、数据采集等步骤中难免融入了研究人员的主观因素，这或多或少会对搜索引擎评价的客观性造成影响。

因此，用实验的方法进行搜索引擎评价研究需要尽量减少实验过程中的主观性因素，这就对实验设计、标准制定以及数据采集等各方面提出了更高的要求。

1.2调查方法在搜索引擎的评价研究中，研究人员会针对利用搜索引擎的行为用户进行调研，包括用户的背景，如性别、职业、学历等，用户选择搜索引擎的原因，如用户惯性、搜索引擎性能、搜索引擎口碑等，用户利用搜索引擎的行为，如检索词的选择、检索式的构造、检索时间的长短、对检索结果的处理等。

这些信息对搜索引擎的评价研究具有重要的意义，其数据直接反映了用户利用搜索引擎的各方面信息，很具参考价值，对搜索引擎的设计和优化研究尤为重要。

调查方法首先要设计切实可行的调查问卷，保证问卷的逻辑性，必须围绕研究问题进行有针对性的设计。

Amanda等对Excite搜索引擎的用户特征与检索行为之间的关系进行了研究，其数据收集主要包括用户背景、检索主题、检索词和检索式、连续检索行为等。

研究结果显示大多数用户的检索式比较简短，很多用户的检索行为具有持续性，并依次递进，但是搜索引擎在其检索策略的透明度方面还显得不够[12]。

Kruschwitz和Al-Bakour研究了用户对搜索引擎检索帮助系统的要求，并对基于任务的检索结果进行了评价。

在研究中，作者根据TREC-9交互轨迹(Interact Track)的调查问卷设计了针对其研究目的的调查问卷，包括输入(Entry)、后检索(Postsearch)、后系统(Postsystem)和输出(Exit)4个分问卷。

结合问卷数据和检索任务的数据分析，研究结果显示，相比于标准的搜索引擎只提供排序的检索结果，用户更倾向于利用提供检索式修正的搜索引擎，即使在某些方面这些搜索引擎并没有那些标准的搜索引擎做得更好[13]。

由于调查方法能客观反映用户利用搜索引擎的行为习惯和特点，从数据中可以分析获知当前搜索引擎的流行度、检索性能的满意度、用户的检索行为等，所以一直深受研究人员的青睐。

如针对用户利用搜索引擎经验的调查，结果显示检索经验对用户选择搜索引擎具有重要影响，而且关键词搜索引擎比目录式搜索引擎更受欢迎等[14]。

对全球搜索引擎利用情况的调查，发现搜索引擎的使用具有很强的政治、文化和地域色彩。

而且，相比于其他因素，搜索引擎的结果、检准率、检全率和可靠性对用户而言更为重要[15]。

还有对搜索引擎检索式翻译功能效果的调查研究[16]，结果描述对相关性影响的研究[17]，用户的品牌意识对其利用搜索引擎的影响等[18]。

通过以上研究实例不难看出，搜索引擎评价研究采用调查的方法多是从用户角度来分析搜索引擎的使用情况，从客观上展示了当前用户利用搜索引擎的情况，如不同性别、年龄、职业、学历的用户群使用搜索引擎的行为特征，搜索引擎的满意度，不同类型搜索引擎的用户群，搜索引擎功能的实际性能等。

在搜索引擎评价研究的过程中需要注意的是，用户的行为特征固然具有很大的参考价值，但不能过分倚重用户的经验。

因为用户的经验反映的是用户利用搜索引擎的习惯，并不能完全说明搜索引擎发展的趋势。

一些研究表明，用户利用搜索引擎的行为和检索策略还略显简单，有关机构和单位需要对用户利用搜索引擎进行必要的培训和采取积极的引导[19-21]。

1.3数据分析法数据分析是指收集、处理和转化数据的一个过程，以突出效用信息、提出结论并支持决策。

数据分析具有多方面、多途径和多技术的特点，在商业、自然科学和社会科学等领域有不同的术语表达方式。

如数据挖掘就是典型的数据分析方法，通过建模和知识发掘来发现规律和实现预测，而不仅仅对信息和数据进行描述。

相较于实验方法和调查方法，数据分析方法的数据来源要略显快捷，不用设计实验步骤和调查问卷，而是从公开的渠道获取有关搜索引擎的数据和信息进行分析研究。

其主要数据和信息来源于有关搜索引擎研究的信息机构、有搜索引擎的网站以及专业搜索引擎网站，Internet Usage WorldStats()、Pew(/)、中国互联网络中心()、iResearch公司()、Search EngineWatch()等机构会不定期公布有关搜索引擎的统计数据，如中国互联网络中心发布的《2008年中国搜索引擎市场广告主调查报告》以及《2008年中国搜索引擎用户行为研究报告》等。

一些具有搜索引擎功能的热门网站，其搜索数据也是进行搜索引擎评价的研究人员较为关注的，如BBC网站的搜索日志[22]，美国犹他州政府网站的检索日志等[23]。

不少专业搜索引擎网站也会不定期公布其日志，如Excite、Altavista、Alltheweb、搜狗、天网等。