基于web搜索引擎的设计与实现大学论文

本科毕业论文（设计、创作）

题目：基于Web搜索引擎的设计与实现

Design and Implementation of Web-based search engine

学生姓名：杨卫中学号：0802115

所在院系：信息与通信技术系专业：电子信息工程

入学时间：2008 年9 月

导师姓名：雷迎科职称/学位：博士

导师所在单位：信息与通信技术系

完成时间：2012 年 5 月

安徽三联学院教务处制

摘要

网络中的资源非常丰富，但是如何有效的搜索信息却是一件困难的事情。建立搜索引擎就是解决这个问题的最好方法。本文首先详细介绍了基于英特网的搜索引擎的系统结构，然后从网络机器人、索引引擎、Web服务器三个方面进行详细的说明。在次基础上设计并实现了一种快捷高效的新闻搜索引擎，该搜索引擎是从指定的Web页面中按照超连接进行解析、搜索，并把搜索到的每条新闻进行索引后加入数据库,然后通过Web服务器接受客户端请求后从索引数据库中搜索出所匹配的新闻。

关键词：搜索引擎;网络机器人;索引引擎 ;Web服务器

Abstact

The network resources are very rich, but how effective search information is a difficult thing. Build a search engine is the best way to solve the problem. This paper first introduced the Internet search engine based on the structure of the system, and then from the network robots, indexing engine, the Web server of the three aspects of the detailed instructions. Based on the time designed and realized a quick and efficient news search engine, the search engine from the Web page in accordance with specified in the connection for analytical, search, and the search to every news indexing of add to the database. Then through the Web server accept client requests from database search index after the news of the match.

Keywords: search engine; Network robot; Indexing engine; Web server

目录

摘要 (2)

目录 (4)

第一章绪论 (6)

1.1搜索引擎出现的背景及意义 (6)

1.2搜索引擎的发展历史及趋势 (6)

第二章搜索引擎的结构 (9)

2.1系统概述 (9)

2.2搜索引擎的构成 (9)

2.2.1网络机器人 (9)

2.2.2索引与搜索 (9)

2.2.3 Web服务器 (10)

2.3搜索引擎的主要指标及分析 (10)

2.4小结 (10)

第三章网络机器人 (11)

3.1什么是网络机器人 (11)

3.2网络机器人的结构分析 (11)

3.2.1如何解析HTML (11)

3.2.2 Spider程序结构 (12)

3.2.3如何构造Spider程序...................... 错误！未定义书签。

3.2.4如何提高程序性能......................... 错误！未定义书签。

3.2.5网络机器人的代码分析....................... 错误！未定义书签。

3.3小结......................................... 错误！未定义书签。第四章基于LUCENE的索引与搜索.................... 错误！未定义书签。

4.1什么是L UCENE全文检索......................... 错误！未定义书签。

4.2L UCENE的原理分析............................. 错误！未定义书签。

4.2.1全文检索的实现机制....................... 错误！未定义书签。

4.2.2 Lucene的索引效率........................ 错误！未定义书签。

4.2.3 中文切分词机制 .......................... 错误！未定义书签。

4.3L UCENE与S PIDER的结合......................... 错误！未定义书签。

4.4小结......................................... 错误！未定义书签。第五章基于TOMCAT的WEB服务器.................... 错误！未定义书签。

5.1什么是基于T OMCAT的W EB服务器 ................. 错误！未定义书签。

5.2用户接口设计................................. 错误！未定义书签。

5.2.1客户端设计............................... 错误！未定义书签。

5.2.2服务端设计............................... 错误！未定义书签。

5.3在T OMCAT上部署项目 (30)

5.4小结 (30)

第六章项目总结以及未来工作展望 (31)

6.1项目总结 (31)

6.2未来工作展望 (31)

参考文献 (32)

致谢 (33)