搜索引擎的发展史：从网址簿进化到个人门户

如果说有什么发明拯救了互联网?那一定是搜索引擎，否则互联网中的信息越多，它本身崩溃得越快，因为人们找到自己需要的信息也就越难，使用体验也就越差。搜索的早期形态是啥?搜索经历的多少次变革?未来的搜索引擎将变成怎样?不妨总结一下搜索引擎发展的历史，发现其中的脉络。

其实，搜索的需求——从众多东西(主要是信息)中寻找自己要的，人类一直都有，只不过在IT技术发展之前，所有信息都没有数字化，搜索唯一可行的表现形式是纸质的目录、索引、电话簿。广域网产生以后，搜索的需求存在，但技术没有对应的迅速发展，因此互联网搜索的最早形式是网址簿。具体形式和电话簿、黄页相似，记录很多知名网站网址的一本书，大小视专业程度而定。笔者自己就买过一本普通网民适用的，大小薄厚类似一本新华字典，按网站内容的不同分类。

纸质的有了，网络版的很快跟上。1994年，杨致远创建雅虎，并开始人工搜集各类网站的网址，并将它们按一定规律分类、排序，网民可以只记住雅虎的网址，之后通过雅虎进入各个门类的网站，纸质的网址簿立即变得多余。部分互联网业内人士将雅虎用人工搜集网址并分类呈现的目录式搜索称为第一代搜索引擎，也有部分互联网专家认为雅虎这类做法并不能严格称为搜索引擎，而应算作最早的网址导航。笔者倾向于将其算作搜索实现形式中的一种，甚至包括网址导航也是如此。

但雅虎毕竟只是将纸质目录搬到了互联网网页上，肉眼查找和不同人对网站分类的理解都降低了这类搜索的使用效率。于是根据关键词进行自动查找的功能也被应用进搜索引擎，这其实并不难实现，因为根据关键词进行全文检索的技术甚至早在计算机刚刚被发明的上世纪50年代就已经出现(国内的中文全文检索技术最早被作为748工程的一部分，于80年代后期基本完成，但被广泛应用已经是90年代的事了)。

第一代搜索引擎唯一的问题是，网址仍然由人工收集，效率低、易出错、不全面。于是互联网急需一种替代人工收集网址的技术，而说到替代人工，人们必然会联想到的是机器人，于是第二代搜索引擎所依仗

的就是机器人，用程序铸造、组装的游走在互联网中的机器人，现在它被人们熟知的名字是搜索爬虫或者搜索引擎蜘蛛。事实上，这种技术的出现还早于杨致远的雅虎，甚至早于万维网的诞生。

1990蒙特利尔大学学生Alan Emtage发明的Archie。虽然当时World Wide Web还未出现，但网络中文件传输还是相当频繁的，而且由于大量的文件散布在各个分散的FTP主机中，查询起来非常不便，因此Alan Emtage想到了开发一个可以以文件名查找文件的系统，于是便有了Archie。Archie工作原理与现在的搜索引擎已经很接近，它依靠脚本程序自动搜索网上的文件，然后对有关信息进行索引，供使用者以一定的表达式查询。由于Archie深受用户欢迎，受其启发，美国内华达System ComputingServices大学于1993年开发了另一个与之非常相似的搜索工具，不过此时的搜索工具除了索引文件外，已能检索网页。

现在的主流搜索引擎：谷歌、必应、百度等均采用了搜索爬虫抓取、下载网页，以取代人工，这些搜索爬虫每一定天数(例如谷歌是28天)进行一次全互联网的抓取，将所有网页结果下载至自己的服务器，等待再由人们通过输入关键词提起搜索申请。

机器人抓取网页的工作效率明显高于人工，再加上用关键词进行检索，新一代搜索引擎的登场时间理应早于目录式搜索和网址导航才对。但问题在于：互联网中的信息实在太多了，搜索爬虫拿回来的网页，人几乎无法再次进行分类，而仅仅经由关键词进行检索，人们依然要从一团乱麻中肉眼查找自己想要的内容，这个使用体验还不如直接使用目录。

这个问题的解决诞生了现今搜索领域的最强者，也是世界上最伟大的公司之一——谷歌。上世纪90年代后期，就在雅虎取得成功，让人们看到搜索的巨大需求之后，当时在斯坦福大学攻读理工博士的Larry Page 和 Sergey Brin开发出PageRank算法，用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。这项算法基本可以理解为投票，最重要的部分是计算每个网页与其他网页之间链接的多少，链向

某个搜索结果的网页越多且权重越高，那么这个搜索结果也就越重要。谷歌用这个办法解决了搜索结果排序的问题，以此取代了目录式的分类，也用搜索爬虫加PageRank的办法取代了雅虎最早提出的搜索引擎解决方案。部分业内人士把谷歌为代表的这一代搜索引擎称为第二代搜索引擎，也有人认为这才是真正意义上的搜索引擎，笔者比较支持前一种说法。

中国的搜索引擎历史基本是直接从第二代搜索引擎开始的，时间是1999年，百度、中搜等老牌搜索引擎厂商从一开始就采用了搜索爬虫和排序算法的组合(当时还有3721提供网址导航服务，但时间与百度、中搜等几乎重合)。与谷歌、雅虎不同，当时的百度、中搜，都主要为门户网站提供搜索技术的后台服务，而没有自己的呈现网站。直到谷歌和雅虎在本世纪初进入中国，百度、中搜以及后来的搜搜、搜狗和再后来的360才开始有了自己的搜索引擎网站。

历史似乎到此结束，但以上说到的最晚时间点距现在还有十年之久，搜素引擎在这十年也并非一成不变。

前面说到的搜索引擎爬虫加排序算法只能解决现在的网页搜索功能，目前世界上所有的搜索爬虫都只能用较长时间(20天以上)实现一次全网抓取，对于更新频率稍慢的网页，这个速度是合理的。但对于更新频率较快的互联网中的新闻，这个方法就显得太过笨重。国内部分业内人士认为随着搜索技术和互联网速度的不断增强，这个问题会自然随之解决，但事实上至今网页搜索仍未能承担搜索新闻的工作，现在人们通过专门的新闻搜索技术查找自己想看的新闻。

国内最早为门户网站提供新闻搜索技术服务的是中搜，时间是2003年。他们将原来全网抓取网页内容的搜索爬虫限定在少数几百个选定的新闻源网站范围内，这样就将看似无边无际的互联网大大缩小，全部抓取一次的时间从几天变成了几分钟甚至几十秒。而一旦新闻源本身出现变动，只需将其加入或剔除自己选定的新闻源范围即可。这种技术和曾

经大热的RSS阅读技术有些类似，但后者因为需要信息的源头符合RSS的格式，所以正在逐渐萎缩，谷歌的RSS阅读产品Greader就在2013年夏天正式停止了服务。此外新闻搜索的排序规则也略有不同，更加注重时间、相关性、发布媒体等等权重。

与新闻搜索类似的，搜索特殊类别信息的特殊搜索技术还有图片搜索、视频搜索、比价搜索等等。此外，由于互联网中的信息实在过于庞大，通用搜索很难对所有信息都做到专业、精准、及时，因此一些专门针对某个行业或领域的垂直搜索也应运而生。其原理大多是和新闻搜索类似：缩小搜索爬虫活动的范围，再适当修改排序规则。

中搜对国内乃至整个搜索技术的贡献还在于，第一次尝试了搜索的更高级形式——个人门户，2004年，他们发布个人信息门户浏览器，英文缩写是PIG，因此也被称为网络猪。

之所以把个人门户称为搜索的更高级形式，是因为此前的搜索引擎都是被动的等着人们主动输入关键词提出搜索申请，而能够让搜索变被动等待为主动提供服务的方式就是个人门户。如果搜索始终等待用户输入关键词，那么它就始终难以摆脱工具的角色，与目录、电话簿之间的区别只在形式和效率之间。此外，主动为用户提供服务还能被更多的关注、使用，获得更多的广告收益。因此主动和被动，不仅仅是一个服务形式的问题。

门户网站顾名思义，是力求为网民提供最大信息量，解决最多互联网诉求的“超市”，但前面如果加上个人，主要诉求就在全面之外又加上了精准。似乎整个互联网中也只有利用关键词进行检索的搜索能够提供全面且精准的信息服务。中搜的做法是允许用户自己订阅搜索关键词，再自由组合成一张首页，所有订阅关键词的搜索结果都第一时间呈现给刚一打开浏览器的网民。

在此之后谷歌也推出了自己的个人主页产品——igoogle，并且功能更为丰富(增添了天气、股票等等)。但个人门户产品并没有像传统的搜索引擎那样获得成功，至少在桌面互联网是这样，“网络猪”和