个性化搜索引擎的设计与实现

I

本科毕业论文

中国·武汉 二○一○ 年 三 月

题 目 个性化搜索引擎的设计与实现 姓 名

学 号

专 业 计算机科学与技术 指导教师

职 称

讲师

华中农业大学毕业论文（设计）

华中农业大学本科毕业论文

个性化搜索引擎的设计与实现

Design and Implementation of Personal Search Engine

学生姓名：

学生学号：

学生专业：

指导教师：

华中农业大学理学院

二○一○年三月

II

华中农业大学毕业论文（设计）

目录

摘要............................................................................................................................................................................. IV 关键词 .......................................................................................................................................................................... IV ABSTRACT ..................................................................................................................................................................V KEY WORDS ...............................................................................................................................................................V 1 前言 .. (1)

1.1研究背景 (1)

1.2个性化搜索引擎的意义 (1)

1.3个性化搜索引擎主要的研究问题 (1)

2 搜索引擎概述 (2)

2.1个性化搜索引擎 (2)

2.2搜索引擎工作原理 (2)

2.3个性化搜索引擎系统模型 (3)

2.4未来搜索引擎的发展趋势 (4)

3 个性化搜索引擎相关技术 (5)

3.1信息抽取技术 (5)

3.2L UCENE检索工具包 (5)

3.3中文分词技术 (6)

3.4自动聚类技术 (6)

3.5用户行为分析 (7)

4 个性化搜索引擎的总体设计 (7)

4.1系统需求分析及总体设计 (7)

4.2系统功能及架构设计 (8)

4.3系统流程设计 (8)

4.4系统数据库设计 (12)

5 个性化搜索引擎的具体实现 (13)

5.1模块设计 (13)

5.2用户界面模块 (14)

5.3搜索模块 (16)

5.4搜索结果优化模块 (19)

5.5系统运行结果及示例 (21)

6 总结 (22)

参考文献： (22)

致谢 (23)

III

华中农业大学毕业论文（设计）个性化搜索引擎的设计与实现

摘要

随着Internet技术的迅速发展，网络提供给人们的信息量越来越大。搜索引擎作为人们在WWW 上查找、获取信息的重要手段之一，在各个领域都已得到了广泛的应用。为了给用户提供个性化的查询服务，个性化搜索引擎孕育而生。经过众多研究者的不懈努力，个性化搜索引擎技术已取得了一些进展。本文针对目前搜索引擎存在的不足以及当前用户个性化查询的要求，在深入研究搜索引擎及相关技术的基础上，设计了一个基于用户兴趣挖掘的个性化搜索引擎模型。本文的主要工作是：（1）个性化模型的研究与实现本文深入分析了个性化搜索的特点，研究了搜索引擎及相关技术，设计了一个基于用户兴趣挖掘的个性化模型。该模型从用户的历史访问页面中提取用户的兴趣特征，将兴趣相同的页面进行归类，并将用户兴趣按类管理；本文构建了用户兴趣树来动态地存储用户兴趣，并通过短期兴趣和长期兴趣相结合的方式来描述用户兴趣特征；为了及时地反映用户的兴趣变化，本文采用了基于遗忘机制的兴趣更新算法。

（2）个性化搜索引擎（除个性化模型外）其他模块的研究与实现本文还研究了与个性化搜索引擎相关的其他模块，包括：中文分词、查询扩展、网络蜘蛛、索引建立与更新以及结果排序。在综合考虑了技术的实现难度和用户个性化查询要求的基础上，本文给出了以上各模块的实现算法。

（3）通过实验证明了本文设计的个性化搜索引擎的有效性。实验内容包括两方面：个性化模型的建立和个性化的搜索。

关键词

个性化模型，用户兴趣挖掘，用户兴趣树

IV

华中农业大学毕业论文（设计）Design and Implementation of Personal Search Engine

Abstract

With the rapid development of Internet technology,the network can providepeople more and more information.Search engine has been widely used in manyfields,which is treated as a tool that people can get information on World Wide Web.In order to provide personalized search service for users,personalized search enginecomes forth.Because of many researchers contribution,people have made greatprogress in personalized searc h engine.This paper points out the shortage of currentsearch engine and user’s requirements of personalized search,does some research onsearch engine and its technology,and designs a personalized search engine model thatis based on user’s interests mining.The main tasks of the paper are as follows:

Firstly,this paper researches and implements the personal model.This paper analyzes the characters of personalized search,researches the searchengine and its technology,and designs a model that is based on user’s interests mining.The model gets user’s interests from the pages that he has visited before,classifies thepages according to the same interest,and manages the user’s interests according to theinterest types.As to the storage of user’s interests,this paper consults the ODP catalogstructure,establishes user interest tree to store the user’s interests,and uses the shortinterest and long interest to describe the user’s interest characters.In order to reflectuser’s interests changing in time,this paper updates u ser’s interests using thealgorithm based on forgetting mechanism.

Secondly,this paper researches and implements other modules of personalizedsearch engine besides the personal model.The modules include Chinese segmenting,search extending,network spider,index establishment and update and result ranking.This paper takes the implementing difficulty of related technology and user’srequirements of personalized search into account,and brings forward the algorithmso f the modules above.

At last,experiments are conducted to verity the efficacy of the personalizedsearch engine designed above.The contents of the experiment include two parts:the establishment of personal model and the personalized search.

Key words

personal model；user’s interests mining；userinterest tree。

V