关联规则数据挖掘

关联规则数据挖掘

学习报告

目录

引言 2案例 2关联规则 3（一）关联规则定义

（二）相关概念

（三）关联规则分类

数据 6（一）小型数据

（二）大型数据

应用软件 7（一）WEKA

（二）IBM SPSS Modeler

数据挖掘 12总结 27

一、引言

数据库与互联网技术在日益发展壮大，人们每天可以获得的信息量呈指数级增长。如何从这浩如瀚海的数据中找出我们需要的数据显得尤为重要。数据挖掘又为资料探勘、数据采矿。它是数据库知识发现中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

数据挖掘大致分为以下几类：分类（Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)。

二、案例

"尿布与啤酒"的故事。

在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这不是一个笑话，而是发生在美国沃尔玛连锁店超市的真实案例，并一直为商家所津津乐道。沃尔玛拥有世界上最大的数据仓库系统，为了能够

准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是："跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和分析，揭示了一个隐藏在"尿布与啤酒"背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。

按常规思维，尿布与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。

在这个案例中使用了数据挖掘中的关联规则分析。关联分析是发现交易数据库中不同项之间的联系。毫无疑问，关联分析中发现的规则为超市带来了更多的收益。如果我们能在生活中对关联分析进行应用，一定可以解决更多的问题。

数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。关联规则挖掘发现大

量数据中项集之间有趣的关联或相关联系。Agrawal等于1993年首先提出了挖掘顾客交易数据库中项集间的关联规则问题，以后诸多的研究人员对关联规则的挖掘问题进行了大量的研究。他们的工作包括对原有的算法进行优化，如引入随机采样、并行的思想等，以提高算法挖掘规则的效率；对关联规则的应用进行推广。关联规则挖掘在数据挖掘中是一个重要的课题，最近几年已被业界所广泛研究。

三、关联规则

（一）关联规则定义

关联分析是一种简单、实用的分析技术，就是发现存在于大量数据集中的关联性或相关性，从而描述了一个事物中某些属性同时出现的规律和模式。

关联分析是从大量数据中发现项集之间有趣的关联和相关联系。关联分析的一个典型例子是购物篮分析。该过程通过发现顾客放人其购物篮中的不同商品之间的联系，分析顾客的购买习惯。通过了解哪些商品频繁地被顾客同时购买，这种关联的发现可以帮助零售商制定营销策略。其他的应用还包括价目表设计、商品促销、商品的排放和基于购买模式的顾客划分。

（二）相关概念

1.关联规则

关联规则是指数据之间的简单的使用规则，是指数据之间的相互依赖关系。关联规则形如：XY；其中XI，YI，并且X∩Y=。X为先决

条件，Y为结果；关联规则反映了项目集X出现的同时项目集Y也会跟着出现。

2.支持度（Support）

设X属于数据项目集，为事务数据库中包含X的记录条数，为事务数据库中记录的总个数，那么项目集X的支持度=/支持度表示项目集在事物集中出现的频率的是多少。

3.置信度（Confidence）

有关联规则XY，其中XI，YI，并且X∩Y=，那么XY的置信度为：Conf（XY）=*100%=P（Y|X）。置信度是反映在事物X中出现事物Y的条件概率。

4.强关联规则

如果某条规则同时满足最小支持度和最小置信度则称为强关联规则。

5.最小支持度、大项集和最小置信度

从关联规则的定义可以看出任意两个数据项集都存在关联规则只是其支持度和置信度不同而已。为了找出有意义的规则就需要规定最小支持度和最小置信度前者描述了关联规则中数据项集的最低重要程度，记为minsup后者规定了关联规则必须满足的最低可靠性记为，minconf。支持度大于最小支持度的数据项集称作大项集(Large Itemset)反之则称为弱项集(Small Iterns)。同时满足最小支持度、最小置信度的关联规则称为强关联规则。

（三）关联规则分类

1.基于规则中处理的变量的类别，关联规则可以分为布尔型和数值型。

布尔型关联规则处理的值都是离散的、种类化的，它显示了这些变量之间的关系；而数值型关联规则可以和多维关联或多层关联规则结合起来，对数值型字段进行处理，将其进行动态的分割，或者直接对原始的数据进行处理，当然数值型关联规则中也可以包含种类变量。

2.基于规则中数据的抽象层次，可以分为单层关联规则和多层关联规则。

在单层的关联规则中，所有的变量都没有考虑到现实的数据是具有多个不同的层次的；而在多层的关联规则中，对数据的多层性已经进行了充分的考虑。

3.基于规则中涉及到的数据的维数，关联规则可以分为单维的和多维的。

单维关联规则是处理单个属性中的一些关系；多维关联规则是处理各个属性之间的某些关系。

（四）算法

1.Apriori算法

1)Apriori算法是一种使用频繁项集的先验知识从而生成关联规则的一种算法也是最有影响的关联规则挖掘算法。

2)定义：设C（k）表示候选k-项集L（k）表示C（k）中出现频率大于或等于最小支持度阈值与事务总数的乘积的k-项集，即k-频繁项集或者是k-大项集。