Web数据挖掘研究_李国慧

数据库与信息管理

本栏目责任编辑：闻翔军

Ｗｅｂ数据挖掘研究

李国慧

（潍坊学院数学与信息科学学院，山东潍坊２６１０６１）

摘要：基于Ｗｅｂ的数据挖掘是一个结合数据挖掘和ＷＷＷ的热门研究主题，它是现代科学技术相互渗透与融合的必然结果。本文

阐述了Ｗｅｂ数据挖掘的定义、分类和过程，并对Ｗｅｂ数据挖掘的应用与发展前景进行了探讨。

关键词：Ｉｎｔｅｒｎｅｔ；数据挖掘；Ｗｅｂ数据挖掘

中图分类号：ＴＰ３０２文献标识码：Ａ文章编号：１００９－３０４４（２００８）０４－１０５９２－０３

ＴｈｅＲｅａｓｅａｒｃｈｏｆＷｅｂＤａｔａＭｉｎｉｎｇ

ＬＩＧｕｏ－ｈｕｉ

（ＳｃｈｏｏｌｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ，ＷｅｉｆａｎｇＵｎｉｖｅｒｓｉｔｙ，Ｗｅｉｆａｎｇ２６１０６１，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：ＤａｔａＭｉｎｉｎｇｂａｓｅｄｏｎｔｈｅＷｅｂｉｓａｐｏｐｕｌａｒｒｅｓｅａｒｃｈｔｏｐｉｃｔｈａｔｊｏｉｎｓｔｈｅｄａｔａｍｉｎｉｎｇａｎｄＷＷＷｔｏｇｅｔｈｅｒ．Ｉｔｉｓｔｈｅｉｎｅｖｉｔａｂｌｅ

ｏｕｔｃｏｍｅｔｈａｔｔｈｅｍｏｄｅｒｎｓｃｉｅｎｃｅｔｅｃｈｎｉｑｕｅｐｅｒｍｅａｔｅｓｍｕｔｕａｌｌｙｗｉｔｈｆｕｓｉｏｎ．Ｔｈｉｓａｒｔｉｃｌｅｈａｖｅｓｅｔｆｏｒｔｈｄｅｆｉｎｉｔｉｏｎ，ｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｐｒｏｃｅｓｓ

ｔｈａｔｔｈｅＷｅｂｄａｔａｍｉｎｉｎｇ，ａｎｄｈａｖｅｃａｒｒｉｅｄｏｕｔｉｎｖｅｓｔｉｇａｔｉｏｎａｎｄｄｉｓｃｕｓｓｉｏｎｏｎｔｈｅａｐｐｌｉｃａｔｉｏｎｔｈａｔｔｈｅＷｅｂｄａｔａｍｉｎｉｎｇｗｉｔｈｄｅｖｅｌｏｐｉｎｇａ

ｐｒｏｓｐｅｃｔ．

Ｋｅｙｗｏｒｄｓ：Ｉｎｔｅｒｎｅｔ；ＤａｔａＭｉｎｉｎｇ；ＷｅｂＤａｔａＭｉｎｉｎｇ

１引言

伴随着网络和通信技术的飞速发展，作为全球最大的信息服务平台的Ｉｎｔｅｒｎｅｔ正在以前所未有的速度渗入到人类的生产和生

活的各个方面。Ｉｎｔｅｒｎｅｔ的普及同时推动了ＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ万维网）的迅猛发展，据统计每２个小时就有一个新的ＷＷＷ服

务器产生，ＷＷＷ作为信息发布和交流的全球性媒体，它的内容涵盖了包括科研、教育、商业、金融、军事等各个领域。Ｗｅｂ已发展成

为一个跨国界的巨大信息空间，Ｗｅｂ页面的数量以惊人的速度增长，正是由于Ｗｅｂ上包含巨大的信息量使得越来越多的用户感觉

到在ＷＷＷ上寻找自己想要的信息犹如“大海捞针”一样困难。据说，９９％的Ｗｅｂ信息相对９９％的用户来说都是无用的。用户关心的

其实只是Ｗｅｂ信息中极少的一部分，而且大量的无关信息会干扰甚至淹没用户感兴趣的内容。所以如何快速、准确且高效地从浩瀚

的Ｗｅｂ信息资源中搜寻和发现用户感兴趣的信息和知识己经成为一个迫切需要解决的问题。而将传统的数据挖掘技术与Ｗｅｂ有

机地结合在一起，进行Ｗｅｂ挖掘是解决这些问题的一个有效的途径。Ｗｅｂ数据挖掘是对已有Ｗｅｂ资源的有效利用，其主要目标是

从分散在Ｉｎｔｅｒｎｅｔ上的半结构化的ＨＴＭＬ页面中挖掘用户所需信息，形成结构化数据，且结构化的结果数据可用于数据库挖掘、文

本生成等后续Ｗｅｂ信息处理。

２Ｗｅｂ数据挖掘概念

在国内对于Ｗｅｂ挖掘众说纷纭，有学者将网络环境下的数据挖掘归入网络信息检索与网络信息内容的开发，也有的在信息服

务的角度上提出“信息挖掘”，指出其有别于传统的信息检索，能够在异构数据组成的信息库中，从概念及相关因素的延伸比较上找

出用户需要的深层次的信息，并提出信息挖掘将改革传统的信息服务方式而形成一个全新的适合网络时代要求的信息服务组合。Ｗｅｂ数据挖掘（ＷｅｂＤａｔａＭｉｎｉｎｇ）简称Ｗｅｂ挖掘，是数据挖掘技术在Ｗｅｂ环境下的应用，它将数据挖掘技术应用在Ｗｅｂ上，从大量

的Ｗｅｂ文档集合和在站点内进行浏览的相关数据中发现蕴涵的、未知、有潜在应用价值的、非平凡的模式（Ｐａｔｔｅｒｎ）的过程。它所处理

的对象包括：静态网页、Ｗｅｂ数据库、Ｗｅｂ结构、用户使用记录等信息［１］。通过对这些信息的挖掘，可以得到仅通过文字检索所不能得

到的信息。

基于Ｗｅｂ的数据挖掘和传统的基于数据仓库的数据挖掘有着不同的含义。根据Ｗ．Ｊ．Ｆｒａｗｌｅｙ和Ｇ．Ｐ．Ｓｈａｐｉｒｏ等人的定义，一般的

数据挖掘指从大型数据库的数据中提取人们感兴趣的知识，而这些知识是隐含的，事先未知的、潜在的有用信息，它侧重在于从己

有的信息中提取规律性的知识［２］。而Ｗｅｂ挖掘的研究对象是以半结构化和无结构文档为中心的Ｗｅｂ，这些数据没有统一的模式，数

收稿日期：２００８－０１－１２

作者简介：李国慧，潍坊学院数学与信息科学学院教师，硕士研究生，研究方向：计算机技术。

本栏目责任编辑：闻翔军数据库与信息管理

据的内容和表示互相交织，数据内容基本上没有语义信息进行描述，仅仅依靠ＨＴＭＬ语法对数据进行结构上的描述。为了对这种半结构化数据进行分析和处理，Ｗｅｂ挖掘必须和其研究手段结合起来。由于涉及到很多的知识领域，Ｗｅｂ挖掘现在是多个研究方向的交汇点，包括数据库、信息获取、人工智能、机器学习、模式识别、统计学、自然语言处理等。

３Ｗｅｂ数据挖掘的分类

在数据挖掘领域，如果面对的数据类型不同就会采用不同的挖掘算法。因此，根据所挖掘的Ｗｅｂ数据的类型，可以将Ｗｅｂ挖掘分为以下三类：Ｗｅｂ内容挖掘（ＷｅｂＣｏｎｔｅｎｔＭｉｎｉｎｇ）、Ｗｅｂ结构挖掘（ＷｅｂＳｔｒｕｃｔｕｒｅＭｉｎｉｎｇ）、Ｗｅｂ使用挖掘（ＷｅｂＵｓａｇｅＭｉｎｉｎｇ）［３］。如图１所示：

图１Ｗｅｂ挖掘结构

３．１Ｗｅｂ内容挖掘

Ｗｅｂ内容挖掘可以看作是Ｗｅｂ信息检索（ＩＲ）和信息挖掘（ＩＥ）的结合，是指对Ｗｅｂ上大量文档集合的“内容”进行总结、分类、聚类、关联分析以及利用Ｗｅｂ文档进行趋势预测等，是从Ｗｅｂ文档内容或其描述中抽取知识的过程，主要分为文本信息的挖掘和多媒体信息的挖掘。目前的研究主要集中在利用词频统计、分类算法、机器学习、元数据（ＭｅｔａＤａｔａ）、部分ＨＴＭＬ结构信息发现、数据间隐藏的模式发现并生成抽取规则（ＥｘｔｒａｃｔｉｏｎＲｕｌｅ），并从页面中分离出概念（Ｃｏｎｃｅｐｔ）和实体（Ｅｎｔｉｔｙ）数据。

由于文本仍是信息传递的主要方式，而且文本处理技术相对比较成熟；因此文本数据的挖掘，在研究和应用上都比较普遍。文本的知识发现最早是由Ｆｅｌｄｍａｎ和Ｄａｇａｎ首先提出来的。文本挖掘不仅指的是单独文档中的信息提取，同时也包括分析文档集合的模式和趋势。

３．２Ｗｅｂ结构挖掘

Ｗｅｂ结构挖掘是从Ｗｅｂ组织结构和链接关系中推导知识，它分为Ｗｅｂ文档内部结构挖掘（Ｉｎｔｒａ－ＤｏｃｕｍｅｎｔＳｔｒｕｃｔｕｒｅ）和文档间的超链结构挖掘（Ｉｎｔｅｒ－ＤｏｃｕｍｅｎｔＳｔｒｕｃｔｕｒｅ）。根据科学引文分析理论，文档之间的互连数据中蕴涵着丰富有用的信息。在通常的搜索引擎中没有考虑到结构的复杂性，仅将Ｗｅｂ看作是一个平面文档的集合，忽略其结构信息。挖掘页面的结构和Ｗｅｂ结构，可以用来指导对页面进行分类和聚类，找到权威页面、中心页面，从而提高检索的性能。同时还可以用来指导网页采集工作，提高采集效率。

其中比较有代表性的工作是ＰａｇｅＲａｎｋ和ＣＬＥＶＥＲ，它们正是利用了文档间的链接信息查找相关的Ｗｅｂ页。有关这方面研究的算法有：ＰａｇｅＲａｎｋ、ＨＩＴＳ（Ｈｙｐｅｒｌｉｎｋ－ＩｎｄｕｃｅｄＴｏｐｉｃＳｅａｒｃｈ）及改进的ＨＩＴＳ（将内容信息加入到链接结构中）和Ｈｕｂ／Ａｕｔｈｏｒｉｔｙ。

ＰａｇｅＲａｎｋ是典型的Ｗｅｂ结构挖掘算法，其核心思想在于发现权威性页面［４］。ＰａｇｅＲａｎｋ算法是Ｗｅｂ超链接结构分析中最成功的代表之一，是评价网页权威性的一种重要工具。ＰａｇｅＲａｎｋ是一种静态的链接分析算法，每个ＵＲＬ有一个确定的ＰａｇｅＲａｎｋ值，该值不随查询关键字的不同而改变。Ｋｌｅｉｎｂｅｒｇ提出了一种与查询有关的ＨＩＴＳ算法，ＨＩＴＳ中最重要的两个概念是Ｈｕｂｓ和Ａｕｔｈｏｒｉｔｙ。

Ｈｕｂ／Ａｕｔｈｏｒｉｔｙ方法的基本思想：现实中当我们搜索某个给定话题的Ｗｅｂ页面时，不仅希望得到相关的Ｗｅｂ页面，而且希望检索到的Ｗｅｂ页面是权威Ｗｅｂ页面。

３．３Ｗｅｂ使用挖掘

Ｗｅｂ使用挖掘是Ｗｅｂ挖掘中与传统数据挖掘技术交叉点最多的领域。一般数据挖掘的基本方法如聚类、分类等算法在这里都可以得到应用。现在的Ｗｅｂ使用挖掘一般都是指Ｗｅｂ日志的挖掘。Ｗｅｂ访问日志，是登陆某个Ｗｅｂ站点的用户经过一系列的站点浏览后，系统自动记录的用户浏览行为数据，诸如用户的ＩＰ、用户的访问时间、浏览过页面的ＵＲＬ、请求方法、请求的字节数、客户端的操作系统和浏览器版本号等。Ｗｅｂ日志挖掘过程大体分为四个阶段：数据预处理、挖掘算法实施、模式分析、可视化。Ｗｅｂ日志挖掘系统的体系结构如图２所示。

４Ｗｅｂ数据挖掘的过程

Ｗｅｂ数据的特点决定了对其进行有效数据挖掘具有极大的挑战性。根据Ｗｅｂ数据的特点，结合数据挖掘的一般过程，可以将Ｗｅｂ数据挖掘流程描述如图３所示的５个功能模块，即数据采集、数据预处理、数据挖掘、分析与评估和知识表述模块。各模块的功能如图３。

４．１数据采集