天网搜索引擎设计概述

一个海量ftp信息的搜集与服务系统的设计与实现

--- 陈华 2001.6.10

摘要

在因特网上对众多FTP站点进行快速的文件条目查找，是网络信息搜索的重要组成部分。本文以“天网”FTP搜索引擎为例，介绍了千万级基于WEB的强大的FTP搜索引擎的设计与实现，并重点分析了系统所采用的关键技术和方法。

关键词FTP, 搜索引擎，WWW

●Abstract

FTP Search Engine is a powerful tool to search useful files for users from various resourceful FTP sites. In this paper, mainly described are the design and implementation of our FTP search engine, as well as the key technologies and methods we adopt.

●Keyword FTP, Search Engine, World Wide Web

目录

一、引言 (4)

二、搜索引擎的历史与发

展 (4)

a)搜索引擎的起源 (4)

b)真正意义的搜索引

擎 (4)

c)Ftp的搜索引擎 (5)

I、基于文本的ftp搜索引擎：

Archie。 (5)

II、基于Web的Ftp搜索引

擎。 (5)

三、天网ftp搜索引擎的现

状 (5)

a)天网Ftp搜索产生的起源与发展历

史。 (5)

b)天网ftp搜索引擎的现

状 (6)

i.提供的功能 (6)

1.文件类型的分类 (6)

2.时间过滤 (6)

3.大小过滤 (6)

4.精确匹配 (6)

5.站点限制 (6)

6.结果中查询功能 (6)

7.支持常用的*，?，与，并操

作 (7)

8.多语言版本 (7)

9.快捷方式系统 (7)

ii.数据量 (7)

1.站点数量在3000以上 (7)

2. 文件条目1300万左

右 (7)

3.快捷方式约一千条 (7)

iii.访问量 (7)

1.日页面下载量在3万左

右 (7)

2.日访问人数在1.5万以

上 (8)

四、海量ftp搜索引擎的系统结构设

计 (9)

a)系统的结构设计：四大模块和五个数据

库 (9)

b)数据库功能和结构说

明 (10)

i.文件类型库 (10)

ii.站点列表

库 (11)

iii.素材数据

库 (11)

iv.索引数据

库 (12)

v.快捷方式数据

库 (13)

c)搜集建库模

块 (14)

i.搜集建库过程说

明 (14)

ii.站点获得策

略 (14)

iii.并发搜集策

略 (15)

iv.分布搜集策

略 (15)

v.多次尝试和断点续

搜 (15)

vi.线性的建库过

程 (15)

vii.数据库的切

换 (16)

d)搜索服务模块 (16)

i.搜索服务过程说

明 (16)

ii.服务接口说

明 (17)

iii.匹配算法 (17)

iv.Cache策略 (18)

v.强大的过滤功能的实

现 (18)

1.文件类别过滤 (18)

2.文件大小过滤 (18)

3.文件最后修改时间过

滤 (18)

4.站点过滤 (18)

5.精确匹配 (18)

vi.对“与”、“并”、*、？操作以及结果中再搜索的支

持 (19)

e)WWW搜索界

面 (20)

i.CGI参数说

明 (20)

ii.智能的换页机

制 (20)

iii.使用结果页面模

板 (21)

iv.多语言版本的支

持 (21)

v.漂亮、实用的结果输出页

面 (22)

vi.为支持分布搜索的改

进 (22)

1.使用多服务器的可能性和必要

性 (22)

2.分布搜索的实

现 (22)

3.对分布搜索的加

速 (23)

f)支持多媒体文件的特别处理技

术 (23)

i.多媒体文件条目的文件名特殊性以及查询特殊

性 (23)

ii.一种比较有效的处理技

术 (23)

iii.在建库模块的改

动 (23)

iv.在CGI模块的改

动 (24)

g)快捷方式系

统 (24)

i.使用快捷方式的原

因 (24)

ii.快捷方式系统的关系

图 (24)

iii.文件分类类别层次的显

示 (25)

iv.快捷方式条目的显

示 (25)

v.注册新的软

件 (26)

vi.过滤用户注册的快捷方

式 (26)

vii.管理快捷方式系

统 (26)

五、天网ftp搜索与国内国际Ftp搜索引擎的比

较 (26)

a)国内国际ftp搜索引擎系统按原型分类说

明： (26)

b)功能比

较： (27)

c)数据量比

较： (28)

d)速度比

较： (28)

六、天网Ftp搜索引擎未来的发

展 (28)

七、结束

语 (29)

一、引言

今天搜索引擎的核心是网络导航服务，搜索引擎是一个网络门户，他们提供新闻，在线图书馆，词典，以及其它网络资源，他们提供了不仅仅是网站搜索的服务，他们的涉及面越来越广，也越来越有用。比如，Yahoo!注重的是网站分类归总服务，而如Alta Vista，Excite等则注重提供庞大的搜索数据库。根据中国互联网络信息中心(CNNIC)有关中国Internet发展状况统计报告，搜索引擎是除电子邮件以外网民使用最多的服务。面对浩如烟海的网络信息资源，网络搜索与导航已成为网络用户必不可少的工具。与相对众多的WWW搜索引擎相比，功