搜索引擎和蜘蛛工作原理

搜索引擎起源于传统的信息全文检索理论，即计算机程序通过扫描每一篇文章中的每一个词，建立以词为单位的排序文件，检索程序根据检索词在每一篇文章中出现的频率和每一个检索词在一篇文章中出现的概率，对包含这些检索词的文章进行排序，最后输出排序的结果。因特网搜索引擎除了需要有全文检索系统之外，还要有所谓的“蜘蛛”（SPIDER）系统，即能够从互联网上自动收集网页的数据搜集系统。蜘蛛将搜集所得的网页内容交给索引和检索系统处理，就形成了我们常见的因特网搜索引擎系统。

说道蜘蛛，搜索引擎就是一个由蜘蛛爬过的页面重新排序后，以及用户在搜索引擎上输入关键词后存入数据库预处理后所显示的页面，蜘蛛根据链接爬到各个页面上，然后经排序筛选收录页面，各个链接就好比蜘蛛丝，被蜘蛛爬过的页面就好比食物，最后经过来回筛选，留下喜欢的食物。

因特网搜索引擎是一个全自动的软件服务，并且非常容易在搜索结果网页中插入具有很高针对性的广告，CPM最高可达70美元；所以一旦投入运转，其收益与成本的比率远高于一般的网站内容服务。根据中国环联网信息中心（CNNIC）2000年1月的统计结果，在中国网民中，搜索是排在电子邮件之后的第二大互联网应用。

百度是国内最大的商业化全文搜索引擎，占国内80%的市场份额。其功能完备，搜索精度高，除数据库的规模及部分特殊搜索功能外，其他方面可与当前的搜索引擎业界领军人物Google相媲美，在中文搜索支持方面有些地方甚至超过了Google，是目前国内技术水平最高的搜索引擎。为包括Lycos中国、、21CN、广州视窗等搜索引擎，以及中央电视台、外经贸部等机构提供后台数据搜索及技术支持。

搜索引擎分类

搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎（Full Text Search Engine）、目录索引类搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。

1、目录索引

目录索引虽然有搜索功能，但在严格意义上算不上是真正的搜索引擎，仅仅是按目录分类的网站链接列表而已。用户完全可以不用进行关键词（Keywords）查询，仅靠分类目录也可找到需要的信息。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo雅虎。其他著名的还有Open Directory Project（DMOZ）、LookSmart、About等。国内的搜狐、新浪、网易搜索也都属于这一类。

2、全文搜索引擎

全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut等，国内著名的有百度（Baidu）。它们都是通过从互联网上提取的各个网站的信息（以网页文字为主）而建立的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户，因此他们是真正的搜索引擎。

从搜索结果来源的角度，全文搜索引擎又可细分为两种，一种是拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，并自建网页数据库，搜索结果直接从自身的数据库中调用，如上面提到的7家引擎；另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如Lycos引擎。

3、元搜索引擎 (META Search Engine)

元搜索引擎在接受用户查询请求时，同时在其他多个引擎上进行搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜索引擎。在搜索结果排列方面，有的直接按来源引擎排列搜索结果，如Dogpile，有的则按自定的规则将结果重新排列组合，如Vivisimo。

除上述三大类引擎外，还有以下几种非主流形式：

（1、门户搜索引擎：如AOL Search、MSN Search等虽然提供搜索服务，但自身即没有分类目录也没有网页数据库，其搜索结果完全来自其他引擎。

（2、免费链接列表（Free For All Links，简称FFA）：这类网站一般只简单地滚动排列链接条目，少部分有简单的分类目录，不过规模比起Yahoo等目录索引来要小得多。

（3、集合式搜索引擎：如HotBot在2002年底推出的引擎。该引擎类似META搜索引擎，但区别在于不是同时调用多个引擎进行搜索，而是由用户从提供的4个引擎当中选择，因此叫它“集合式”搜索引擎更确切些。

闲乐-一个人闲，不如大家一快儿乐