搜索引擎概述

搜索引擎概述

什么是搜索引擎？

搜索引擎(search engine)是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，并将处理后的信息显示给用户，是为用户提供检索服务的系统。

搜索引擎的原理：

第一步：从互联网上搜集信息

网络蜘蛛Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。

第二步：整理信息、建立索引数据库

由分析索引系统程序对收集回来的网页进行分析，提取相关网页所在网址链接、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等信息，根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个

关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。

第三步：在索引数据库中搜索排序、接受查询

当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。

最后，由页面生成系统将搜索结果的链接地址、页面内容摘要等内容，组织起来返回给用户。网络蜘蛛(spider）一般按照各搜索引擎的周期不同，可能是几天、几周或几月，也可能对不同重要性的网页有不同的更新频率，要定期重新访问所有网页，更新网页索引数据库，以反映出网页内容的更新情况，增加新的网页信息，去除死链接，并根据网页内容和链接关系的变化重新排序。这样，网页的具体内容和变化情况就会以更新的形态，反映到用户搜索查询的结果中。

搜索引擎的种类：

搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎（Full Text Search Engine）、目录索引类搜索引擎（Search

Index/Directory）和元搜索引擎（Meta Search Engine）。

全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut

等，国内著名的有百度（Baidu）。它们都是通过从互联网上提取的各个网站的信息（以网页文字为主）而建立的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户，因此他们是真正的搜索引擎。

从搜索结果来源的角度，全文搜索引擎又可细分为两种，一种是拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，并自建网页数据库，搜索结果直接从自身的数据库中调用，如上面提到的7家引擎；另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如Lycos引擎。

目录索引虽然有搜索功能，但在严格意义上算不上是真正的搜索引擎，仅仅是按目录分类的网站链接列表而已。用户完全可以不用进行关键词（Keywords）查询，仅靠分类目录也可找到需要的信息。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo雅虎。其他著名的还有Open Directory Project（DMOZ）、LookSmart、About等。国内的搜狐、新浪、网易搜索也都属于这一类。

元搜索引擎在接受用户查询请求时，同时在其他多个引擎上进行搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜索引擎。在搜索结果排列方面，有的直接按来源引擎排列搜索结果，如Dogpile，有的则按自定的规则将结果重新排列组合，如Vivisimo。

除上述三大类引擎外，还有以下几种非主流形式：

1、集合式搜索引擎：如HotBot在2002年底推出的引擎。该引擎类似META搜索引擎，但区别在于不是同时调用多个引擎进行搜索，而是由用户从提供的4个引擎当中选择，因此叫它“集合式”搜索引擎更确切些。

2、门户搜索引擎：如AOL Search、MSN Search等虽然提供搜索服务，但自身即没有分类目录也没有网页数据库，其搜索结果完全来自其他引擎。

3、免费链接列表（Free For All Links，简称FFA）：这类网站一般只简单地滚动排列链接条目，少部分有简单的分类目录，不过规模比起Yahoo等目录索引来要小得多。

搜索引擎有哪些基本类型？

随着搜索引擎技术和市场的不断发展，出现了多种不同类型的搜索引擎，各类媒体上有关搜索引擎的名词也越来越多，甚至产生让人眼花缭乱的感觉，如交互式搜索引擎、第三代搜索引擎、第四代搜索引擎、桌面搜索、地址栏搜索、本地搜索、个性化搜索引擎、专家型搜索引擎、购物搜索引擎、自然语言搜索引擎、新闻搜索引擎、MP3搜索引擎、图片搜索引擎……如何尽快熟悉如此众多类型的搜索引擎，又如何利用各种搜索引擎作为网络营销工具呢？首先要对搜索引擎的种

类有一个比较清晰的认识。

尽管搜索引擎有各种不同的表现形式和应用领域，如果从搜索引擎的工作原理来区分，搜索引擎有两种基本类型：一类是纯技术型

的全文检索搜索引擎，如google、AltaVista、Inktomi等，其原理是通过机器手（即Spider程序）到各个网站收集、存储信息，并建立索引数据库供用户查询。需要说明的是，这些信息并不是搜索引擎即时从互联网上检索得到的，通常所说的搜索引擎，其实是一个收集了大量网站/网页资料并按照一定规则建立索引的在线数据库，如2004年3月底google收录的网页数量已经超过42亿个，这样，当用户检索时才可以在很短的时间内反馈大量的结果。

另一类称为分类目录，这种“搜索引擎”并不采集网站的任何信息，而是利用各网站向“搜索引擎”提交网站信息时填写的关键词和网站描述等资料，经过人工审核编辑后，如果符合网站登录的条件，则输入数据库以供查询。yahoo是分类目录的典型代表，国内的搜狐、新浪等搜索引擎也是从分类目录发展起来的。分类目录的好处是，用户可以根据目录有针对性地逐级查询自己需要的信息，而不是像技术性搜索引擎一样同时反馈大量的信息，而这些信息之间的关联性并不一定符合用户的期望。

从实质上看，利用机器手自动检索网页信息的搜索引擎才是真正意义上的搜索引擎。现在的大型网站一般都同时具有“搜索引擎”和“分类目录”查询方式，只不过一些网站的搜索引擎技术来自于其他提供全文检索的专业搜索引擎，如yahoo拥有自己经营的网站分类目录，而曾经采用的网页搜索引擎包括Inktomi、google等公司提供的技术。因此，从用户应用的角度来看，无论通过技术性的搜索引擎，