搜索引擎技术及研究

搜索引擎技术及研究

引言

随着计算机网络技术的飞速发展，人们要在互联网的海量信息中查找自己所需的信息，就要使用搜索引擎，搜索引擎已经成为人们获取信息的重要手段。搜索引擎从广义的角度来讲，是指互联网上提供用户检索接口并且具有检索功能的网站，它能帮助人们在互联网中查找到所需要的信息;从狭义的角度来讲，搜索引擎是指根据某种策略、运用特定的计算机程序从网络上搜集要查找的信息，对信息进行组织和处理后，为用户提供检索服务，将用户检索的相关信息展现给用户的系统。

1 搜索引擎的发展历程

搜索引擎是伴随互联网的发展而产生和发展的，互联网已成为人们学习、工作和生活中不可缺少的平台，几乎每个人上网都会使用搜索引擎。搜索引擎大致经历了四代的发展。

1.1 第一代搜索引擎

1994年第一代真正基于互联网的搜索引擎lycos诞生，它以人工分类目录为主，代表厂商是yahoo，特点是人工分类存放网站的各种目录，用户通过多种方式寻找网站，现在也还有这种方式存在。

1.2 第二代搜索引擎

随着网络应用技术的发展，用户开始希望对内容进行查找，出现了第二代搜索引擎，也就是利用关键字来查询。最具代表性、最成功的是google，它建立在网页链接分析技术的基础上，使用关键字对网页搜索，能够覆盖互联网的大量网页内容，该技术可以分析网页的重要性后，将重要的结果呈现给用户。

1.3 第三代搜索引擎

随着网络信息的迅速膨胀，用户希望能快速并且准确的查找到自己所要的信息，因此出现了第三代搜索引擎。相比前两代，第三代搜索引擎更加注重个性化、专业化、智能化，使用自动聚类、分类等人工智能技术，采用区域智能识别及内容分析技术，利用人工介入，实现技术和人工的完美结合，增强了搜索引擎的查询能力。第三代搜索引擎的代表是google，它以宽广的信息覆盖率和优秀的搜索性能为发展搜索引擎的技术开创了崭新的局面。

1.4 第四代搜索引擎

随着信息多元化的快速发展，通用搜索引擎在目前的硬件条件下要得到互联网上比较全面的信息是不太可能的，这时，用户就需要数据全面、更新及时、分类细致的面向主题搜索引擎，这种搜索引擎采用特征提取和文本智能化等策略，相比前三代搜索引擎更准确有效，被称为第四代搜索引擎[1]。

2 搜索引擎的分类

搜索引擎按工作方式分为三类：目录索引类搜索引擎、全文搜索引擎和元搜索引擎[2]。

2.1 目录索引类搜索引擎

2.2 全文搜索引擎

目前全文搜索引擎是主流的搜索引擎，人们经常说的搜索引擎一般都是指全文搜索引擎，典型的代表有google、百度、搜狗等。这类搜索引擎利用网络蜘蛛在网络中搜索，再抓取原始网页，存放于本地数据库并对原始网页进行加工，然后建立网页内容索引。系统在检索阶段，索引后台数据库并寻找和用户查询条件相匹配的网页，把这些网页按照相应规则排序后将结果按顺序返回给用户。在搜索引擎的界面上，用户输入要查询的关键字，就能够找到互联网中与之相关的网页。

2.3 元搜索引擎

元搜索引擎是将用户的搜索请求同时提交给多个独立搜索引擎，然后集中处理搜索结果，按统一格式返回给用户，故又被称为搜索引擎之上的搜索引擎。该搜索引擎的特点是本身不

保存网页信息内容，如果有用户输入查询请求，它把请求转换成其它搜索引擎可以接受的命令格式，同时访问多个搜索引擎查询该关键词，最后将搜索引擎返回的结果处理后提交给用户。

总之，目录索引类搜索引擎的缺点是信息覆盖量不大、更新慢，元搜索引擎要等待所有搜索引擎提交结果并进行处理，速度通常比较慢，因此全文搜索引擎是人们研究的重点。

3 搜索引擎的工作原理

搜索引擎通常由搜索器、索引器、检索器和用户接口四部分组成[3]。系统先由搜索器收集网页内容，再通过索引器分析收集的内容并建立索引，然后由检索器响应用户的检索请求，当用户输入查询关键字后，搜索器用关键字与索引器进行匹配，作相关性排序后通过用户接口给用户返回结果。

搜索引擎的工作流程可以简单的描述为：网络蜘蛛定期在互联网上爬行，当发现新的页面时，将其取出并存放到本地数据库中，用户可通过查询本地数据库得到结果。大致可概括为抓取网页、加工整理、查询服务三个阶段。

抓取网页阶段：每个独立的搜索引擎都有自己的网络蜘蛛，它每隔一定的时间自动启动，从数据库获得url列表，按照某种策略抓取列表指定的网站，并将抓到的网页存入数据库，然后把新的url存入数据库。理论上，从一定范围网页出发，就可以搜集到绝大多数网页。

加工整理阶段：搜索引擎抓到网页后，再做大量的预处理工作，对网页文档建立倒排索引，将索引更新到索引数据库，并提取网页链接信息，存入链接数据库，为网页评级做准备。

查询服务阶段：搜索引擎待用户输入关键词，从索引数据库找到匹配该关键词的网页，通过网页评级对结果进行排序处理，最后将结果反馈给用户。