Web数据挖掘综述.

Web数据挖掘综述

摘要:过去几十年里,Web的迅速发展使其成为世界上规模最大的公共数据源,因此如何从Web庞大的数据中提取出有价值的信息成为一大难题。Web数据挖掘正是为了解决这一难题而提出的一种数据挖掘技术。本文将从Web数据挖掘的概念、分类、处理流程、常用技术等几方面对Web数据挖掘进行介绍,并分析了Web 数据挖掘的应用及发展趋势。

关键词:Web数据挖掘;分类;处理流程;常用技术;应用;发展趋势

Overview of Web Data Mining

Abstract:Over the past few decades,the rapid development of Web makes it becoming the world’s largest public data sources.So how to extract valuable information from the massive data of Web has become a major problem.Web data mining is the data mining technology what is in order to solve this problem.This article introduces the Web data mining from its concept, classification,processing,and common techniques,and analyzes the application and the development tendency of Web data mining.

Key words:Web Data Mining;Classification;Processing;Common

Techniques;Application; Development Tendency

0.引言

近些年来,互联网技术的飞速发展,带来了网络信息生产和消费行为的快速拓展。电脑、手机、平板电脑等终端的普及,SNS、微博等Web2.0应用的快速发展,促进了互联网信息数量的急剧增长,信息资源前所未有的丰富。但同时,海量级、碎片化的信息增加了人们获取有效信息的时间和成本[1]。因此,迫切需要找到这样的工具,能够从Web上快速有效地发现资源,发现隐含的规律性内容,提高在Web上检索信息、利用信息的效率,解决数据的应用问题,Web数据挖掘正是一个很好的解决方法。

1.Web数据挖掘概念

Web数据挖掘,简称Web挖掘,是由Oren Etzioni在1996年首先提出来的[2]。Web数据挖掘是数据挖掘在Web上的应用,它利用数据挖掘技术从与Web相关的资源和行为中抽取感兴趣的、有用的模式和隐含信息,涉及数据库技术、信息获取技术、统计学、机器学习和神经网络等多个研究领域的技术[3]。

2.Web数据挖掘分类

Web上包括三种类型数据:Web页面数据、Web结构数据和Web日志文件[4]。依据在挖掘过程中使用的数据类别,Web数据挖掘可以分为Web内容挖掘,Web 结构挖掘,Web 使用挖掘三类。

2.1Web内容挖掘

Web内容挖掘是从文档内容或其描述中抽取有用信息的过程。Web内容挖掘有两种策略:直接挖掘文档的内容和在其他工具搜索的基础上进行改进。根据挖掘出来的数据可以将

Web内容挖掘分为文本挖掘和多媒体挖掘两个部分。

2.2Web结构挖掘

Web结构挖掘是从Web组织结构和链接关系中推导知识、挖掘页面的结构和Web结构,可以用来指导页面采集工作,提高采集效率。Web结构挖掘可以分为Web 文档内部结构挖掘和文档间的超链接结构挖掘。

2.3Web使用挖掘

Web使用挖掘是从服务器端记录的用户访问日志或从用户的浏览信息中抽取感兴趣的模式。通过分析这些数据可以帮助理解用户隐藏在数据中的行为模式,做出预测性分析,从而改进站点的结构或为用户提供个性化服务[5]。这方面的研究主要有两个方向:一般的访问模式追踪和个性化的使用记录追踪。

图1Web数据挖掘分类示意图

3.Web数据挖掘处理流程

与传统数据和数据仓库相比,Web上的信息具有高度异构和半结构化特性[6],并且是动态的,所以很难直接以Web网页上的数据进行数据挖掘,而必须经过必要的数据处理,典型的Web数据挖掘的处理流程如下[7]:

3.1查找资源

任务是从目标Web文档中得到数据,值得注意的是有时信息资源不仅限于在线Web文档,还包括电子邮件、电子文档、新闻组或者网站的日志甚至是通过Web形成的交易数据库中的数据。

3.2信息选择和预处理

任务是从取得的Web资源中剔除无用信息和将信息进行必要的整理。例如从Web文档中自动去除广告链接,去除多余格式标记、自动识别段落或者字段,并将数据组织成规整的逻辑形式甚至关系表。

3.3模式发现

对预处理后的数据进行挖掘,自动进行模式发现,从Web站点间发现普遍的模式和规则。

3.4模式分析

对发现的模式进行解释和评估,必要时需返回前面处理中的某些步骤以反复提取,最后将发现的知识以能理解的方式提供给用户。可以是机器自动完成,也可以是与分析人员进行交互来完成。

图2Web数据挖掘处理流程示意图

4.常用的Web数据挖掘技术

4.1路径分析技术

我们通常采用图的方法来分析Web页面之间的路径关系。G=(V,E,其中V是页面的集合,E是页面之间的超链接集合,页面定义为图中的顶点,而页面间的超链接定义为图中的有向边。顶点v的入边表示对v的引用,出边表示v引用了其他的页面,这样形成网站的结构图,从图中可以确定最频繁的访问路径。路径分析技术常用于改进站点的结构[8]。

4.2关联规则挖掘技术