关联规则与关联分析PPT课件
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
= {{A,B,C},{A,C,E},{B,C,E}}
• 2．使用Apriori性质剪枝：频繁项集的所有子集必须是频 繁的，对候选项C3，我们可以删除其子集为非频繁的选项：
– {所A,以B,删C}的除2这项个子选集项是；{A,B},{A,C},{B,C}，其中{A,B}不是L2的元素，
–
{A,C,E}的2项子集是{A,C},{A,E},{C,E}，其中{A,E} 所以删除这个选项；
confidence( A B) P( A | B) sup port _ count( A B) sup port _ count( A)
• 每个关联规则可由如下过程产生：
– 对于每个频繁项集l，产生l的所有非空子集；
– 对于每个非空子集s，如果
则输出规则“
” sup port _ count(l) min_ conf
• 关联规则的两个兴趣度度量
– 支持度 buys ( X , "computer") buys ( X , "software") – 置信度 [sup port 2%, confidence 60%]
第五页，共36页。
• 关联（association）：两个或多个变量的取值之间存 在某种规律性。
集c’，使得每个包含c的事务也包含c’）
• （最大的频繁模式和频繁闭项集可以用来减少挖掘中产生的频繁项 集）
第十八页，共36页。
由事务数据库挖掘单维布尔关联规则
• 最简单的关联规则挖掘，即单维、单层、布尔关联
规则的挖掘。
Transaction ID Items Bought
最小支持度 50%
2000 A,B,C
关联规则与关联分析
第一页，共36页。
摘要
• 关联规则挖掘是数据挖掘中成果颇丰而且比 较活跃的研究分支。本章主要介绍了关联规 则挖掘的基本概念及其分类，以单维单层布 尔关联规则的挖掘理论为切入点，介绍关联 规则挖掘理论模型以及算法方面的内容，并 简单扼要介绍了多层关联规则挖掘、多维关 联规则挖掘的相关内容，最后通过一个实例 给出了关联分析的医学应用。
• 应用：购物篮分析、生物信息学、医疗诊断、Web挖掘、
科学数据分析、分类设计、捆绑销售和亏本销售分析
第六页，共36页。
购物篮事务的例子
TID
项集
1
{面包，牛奶}
2
{面包，尿布，啤酒，鸡蛋}
3
{牛奶，尿布，啤酒，可乐}
4
{面包，牛奶，尿布，啤酒}
5
{面包，牛奶，尿布，可乐}
第七页，共36页。
第一节 关联规则基本概念和关联规则挖掘分类
第二十一页，共36页。
Apriori算法步骤
• Apriori算法由连接和剪枝两个步骤组成。
• 连集– 的接L是k-集：1中合为的两了，个找该元L候素k，L选1通和k项L过2集可Lk以记-1执与为行自C连k己。接连操接作产生候l1 选的 lk条2-项件
(l1[1] l2[1]) (l1[2] l2[2]) ... (l1[k 2] l2[k 2]) (l1[k 1] l2[k 1])
被称为项集（itemset） • 如果一个项集包含k个项，则称它为k-项集。
例如{啤酒，尿布，牛奶}是一个3-项集。 • 空集是指不包含任何项的项集。
第九页，共36页。
• 事务的宽度定义为事务中出现项的个数。 • 如果项集X是事务tj的子集，则称事务tj包含
项集X。 • 项集的一个重要性质就是它的支持度计数，
• C频描k繁数是的据Lk库k的-项，超集通集过都，计在即算C它k每的中个成（k员为-项可什集能么的不？支是）持频。度繁因来的此得，可到但以是L通k所过。有扫
– 为了减少计算量，可以使用Apriori性质，即如果一个k-项集 的直(接k-从1)-C子k删集除不。在Lk-1中，则该候选不可能是频繁的，可以
第十一页，共36页。
规则度量：支持度和置信度
Customer
buys both
Customer
buys diaper
• 对所有满足最小支持度和 置信度的关联规则
– 支持度s是指事务集D中包 含 A 的B 百分比
sup port( A B) P( A B)
Customer buys beer
C3 Itemset
{B, C, E}
3rd scan L3 Itemset
{B, C, E}
第二十三页，共36页。
sup 2
{C, E}
使用Apiori性质由L2产生C3
• 1 ．连接：
– C3=L2 L2= {{A,C},{B,C},{B,E}{C,E}} {{A,C},{B,C},{B,E}{C,E}}
– 置信度c是指D中包含A的 事务同时也包含B的百分 比
TID 2000 1000 4000 5000
购买的item A,B,C A,C A,D B,E,F
confidence ( A B) P(B | A) P( A B) / P( A)
• 假设最小支持度为50%，
最小置信度为50%，则有 如下关联规则
第十六页，共36页。
关联规则挖掘分类 (1)
• 关联规则有多种分类： – 根据规则中所处理的值类型
• 布尔关联规则
computer financial _ management _ software
• 量化关联规则（规则描述的是量化的项或属性间的关联性）
age ( X , "30...39") income ( X , "42k...48k") buys ( X , "computer")
– A C (50%, 66.6%)
– C A (50%, 100%)
第十二页，共36页。
关联规则挖掘的基本过程与分类
• 关联规则挖掘的基本过程 • 关联规则挖掘的分类
第十三页，共36页。
关联规则挖掘的基本过程
• 给定事务的集合T，关联规则发现是指找出 支持度大于等于minsup，并且置信度大于等 于minconf的所有规则，其中minsup和 minconf是对应的支持度和置信度的阈值。
3
{C}
3
{E}
3
40
B, E
L2 Itemset sup
{A, C} 2 {B, C} 2 {B, E} 3 {C, E} 2
C2 Itemset sup
{A, B} 1 {A, C} 2 {A, E} 1 {B, C} 2 {B, E} 3 {C, E} 2
C2 2nd scan
Itemset {A, B} {A, C} {A, E} {B, C} {B, E}
第十四页，共36页。
原始关联规则挖掘方法：
• 计算每一个可能规则的支持度和置信度。但 是这种方法由于过高的代价而让人望而却步。
第十五页，共36页。
关联规则挖掘任务的步骤
• 找出所有频繁项集：其目标是发现满足最小 支持度阈值的所有项集，这些项集称作频繁 项集（frequent itemset）
• 由频繁项集产生强关联规则：其目标是从上 一步发现的频繁项集中提取所有高置信度的 规则，这些规则称作强规则i算法 (1)
• Apriori算法是挖掘布尔关联规则频繁项集的算法
• Apriori算法利用的是Apriori性质：频繁项集的所有 非空子集也必须是频繁的。
– A B 模式不可能比A更频繁的出现
– Apriori算法是反单调的，即一个集合如果不能通过测试，则
该集合的所有超集也不能通过相同的测试。
• 关联规则的基本概念 • 关联规则挖掘的基本过程与分类
第八页，共36页。
关联规则的基本概念
• 令I={i1， i2， ……，id}是购物篮数据中所 有项的集合，而T={t1， t2， ……，tn}是所 有事务的集合。
• 每个事务ti包含的项集都是I的子集。 • 在关联分析中，包含0个或者多个项的集合
第二十二页，共36页。
最小支持计数：2
Apriori算法——示例Itemset sup
Database TDB
Tid Items
C1
{A} {B}
2 L1
3
10 20
A, C, D B, C, E
1st scan
{C}
3
{D}
1
30 A, B, C, E
{E}
3
Itemset sup
{A}
2
{B}
即包含特定项集的事务个数，数学上，项集 X的支持度计数σ（X）可以表示为： σ（X ）=|{ti|X≤ti，ti∈T}|
第十页，共36页。
• 关联规则是形如X→Y的蕴含表达式，其中X 和Y是不相交的项集。
• 关联规则的强度可以用它的支持度 （support）和置信度（confidence）度量。 支持度确定了规则可以用于给定数据集的频 繁程度，而置信度确定了Y包含X的事务中 出现的频繁程度。
不是L2的元素，
– {B,C,E}的2项子集是{B,C},{B,E},{C,E}，它的所有2－项子集都 是L2的元素，因此保留这个选项。
• 3．这样，剪枝后得到C3={{B,C,E}}
第二十四页，共36页。
由频繁项集产生关联规则
• 同时满足最小支持度和最小置信度的才是强 关联规则，从频繁项集产生的规则都满足支 持度要求，而其置信度则可由一下公式计算：
最小置信度 50%
1000 A,C
4000 A,D
Frequent Itemset Support
5000 B,E,F
{A}
{B}
75% 50%
{C}
50%
{A,C}
50%
• 对规则A C，支持度 sup port(A C) P(A C=)50%
• 置信度
confidence ( A C) P(C | A) P( A C) / P( A) sup port( A C) / sup port( A) 66.6%
第二页，共36页。
什么是关联规则挖掘？
• 关联规则挖掘：
– 从事务数据库，关系数据库和其他信息存储中 的大量数据的项集之间发现有趣的、频繁出现 的模式、关联和相关性。
• 应用：
– 购物篮分析、分类设计、捆绑销售等
第三页，共36页。
“尿布与啤酒”——典型关联分析案
例
• 采用关联模型比较典型的案例是“尿布与啤 酒”的故事。在美国，一些年轻的父亲下班 后经常要到超市去买婴儿尿布，超市也因此 发现了一个规律，在购买婴儿尿布的年轻父 亲们中，有30%～40%的人同时要买一些啤 酒。超市随后调整了货架的摆放，把尿布和 啤酒放在一起，明显增加了销售额。同样的， 我们还可以根据关联规则在商品销售方面做 各种促销活动。
– Apriori性质通过减少搜索空间，来提高频繁项集逐层产生的
效率
第二十页，共36页。
Apriori算法 (2)
• Apriori算法利用频繁项集性质的先验知识 （prior knowledge），通过逐层搜索的迭代 方法，即将k-项集用于探察(k+1)-项集，来 穷尽数据集中的所有频繁项集。
– 先找到频繁1-项集集合L1,然后用L1找到频繁2项集集合L2，接着用L2找L3，直到找不到频繁k项集，找每个Lk需要一次数据库扫描。
• 关联规则（association rule）：指在同一个事件中出 现的不同项的相关性。
• 关联分析（association analysis）：用于发现隐藏在 大型数据集中的令人感兴趣的联系。所发现的联系 可以用关联规则或者频繁项集的形式表示。关联规 则挖掘就是从大量的数据中挖掘出描述数据项之间 相互联系的有价值的有关知识。
– 根据规则中涉及的数据维
• 单维关联规则 • （仅涉及buys这个维）
buys ( X , "computer") buys ( X , "software")
• 多维关联规则
第十七页，共36页。
关联规则挖掘分类 (2)
– 根据规则集所涉及的抽象层
• 单层关联规则
• 多层关联规则 （在不同的抽象层发现关联规则）
age ( X , "30...39") buys ( X , "computer") age ( X , "30...39") buys ( X , "laptop _ computer")
– 根据关联挖掘的各种扩充
• 挖掘最大的频繁模式（该模式的任何真超模式都是非频繁的） • 挖掘频繁闭项集（一个项集c是频繁闭项集，如果不存在其真超
第四页，共36页。
购物篮分析
• 如果问题的全域是商店中所有商品的集合，则对每 种商品都可以用一个布尔量来表示该商品是否被顾 客购买，则每个购物篮都可以用一个布尔向量表示； 而通过分析布尔向量则可以得到商品被频繁关联或 被同时购买的模式，这些模式就可以用关联规则表 示（ ） 0001001100，这种方法丢失了什么信息？
• 2．使用Apriori性质剪枝：频繁项集的所有子集必须是频 繁的，对候选项C3，我们可以删除其子集为非频繁的选项：
– {所A,以B,删C}的除2这项个子选集项是；{A,B},{A,C},{B,C}，其中{A,B}不是L2的元素，
–
{A,C,E}的2项子集是{A,C},{A,E},{C,E}，其中{A,E} 所以删除这个选项；
confidence( A B) P( A | B) sup port _ count( A B) sup port _ count( A)
• 每个关联规则可由如下过程产生：
– 对于每个频繁项集l，产生l的所有非空子集；
– 对于每个非空子集s，如果
则输出规则“
” sup port _ count(l) min_ conf
• 关联规则的两个兴趣度度量
– 支持度 buys ( X , "computer") buys ( X , "software") – 置信度 [sup port 2%, confidence 60%]
第五页，共36页。
• 关联（association）：两个或多个变量的取值之间存 在某种规律性。
集c’，使得每个包含c的事务也包含c’）
• （最大的频繁模式和频繁闭项集可以用来减少挖掘中产生的频繁项 集）
第十八页，共36页。
由事务数据库挖掘单维布尔关联规则
• 最简单的关联规则挖掘，即单维、单层、布尔关联
规则的挖掘。
Transaction ID Items Bought
最小支持度 50%
2000 A,B,C
关联规则与关联分析
第一页，共36页。
摘要
• 关联规则挖掘是数据挖掘中成果颇丰而且比 较活跃的研究分支。本章主要介绍了关联规 则挖掘的基本概念及其分类，以单维单层布 尔关联规则的挖掘理论为切入点，介绍关联 规则挖掘理论模型以及算法方面的内容，并 简单扼要介绍了多层关联规则挖掘、多维关 联规则挖掘的相关内容，最后通过一个实例 给出了关联分析的医学应用。
• 应用：购物篮分析、生物信息学、医疗诊断、Web挖掘、
科学数据分析、分类设计、捆绑销售和亏本销售分析
第六页，共36页。
购物篮事务的例子
TID
项集
1
{面包，牛奶}
2
{面包，尿布，啤酒，鸡蛋}
3
{牛奶，尿布，啤酒，可乐}
4
{面包，牛奶，尿布，啤酒}
5
{面包，牛奶，尿布，可乐}
第七页，共36页。
第一节 关联规则基本概念和关联规则挖掘分类
第二十一页，共36页。
Apriori算法步骤
• Apriori算法由连接和剪枝两个步骤组成。
• 连集– 的接L是k-集：1中合为的两了，个找该元L候素k，L选1通和k项L过2集可Lk以记-1执与为行自C连k己。接连操接作产生候l1 选的 lk条2-项件
(l1[1] l2[1]) (l1[2] l2[2]) ... (l1[k 2] l2[k 2]) (l1[k 1] l2[k 1])
被称为项集（itemset） • 如果一个项集包含k个项，则称它为k-项集。
例如{啤酒，尿布，牛奶}是一个3-项集。 • 空集是指不包含任何项的项集。
第九页，共36页。
• 事务的宽度定义为事务中出现项的个数。 • 如果项集X是事务tj的子集，则称事务tj包含
项集X。 • 项集的一个重要性质就是它的支持度计数，
• C频描k繁数是的据Lk库k的-项，超集通集过都，计在即算C它k每的中个成（k员为-项可什集能么的不？支是）持频。度繁因来的此得，可到但以是L通k所过。有扫
– 为了减少计算量，可以使用Apriori性质，即如果一个k-项集 的直(接k-从1)-C子k删集除不。在Lk-1中，则该候选不可能是频繁的，可以
第十一页，共36页。
规则度量：支持度和置信度
Customer
buys both
Customer
buys diaper
• 对所有满足最小支持度和 置信度的关联规则
– 支持度s是指事务集D中包 含 A 的B 百分比
sup port( A B) P( A B)
Customer buys beer
C3 Itemset
{B, C, E}
3rd scan L3 Itemset
{B, C, E}
第二十三页，共36页。
sup 2
{C, E}
使用Apiori性质由L2产生C3
• 1 ．连接：
– C3=L2 L2= {{A,C},{B,C},{B,E}{C,E}} {{A,C},{B,C},{B,E}{C,E}}
– 置信度c是指D中包含A的 事务同时也包含B的百分 比
TID 2000 1000 4000 5000
购买的item A,B,C A,C A,D B,E,F
confidence ( A B) P(B | A) P( A B) / P( A)
• 假设最小支持度为50%，
最小置信度为50%，则有 如下关联规则
第十六页，共36页。
关联规则挖掘分类 (1)
• 关联规则有多种分类： – 根据规则中所处理的值类型
• 布尔关联规则
computer financial _ management _ software
• 量化关联规则（规则描述的是量化的项或属性间的关联性）
age ( X , "30...39") income ( X , "42k...48k") buys ( X , "computer")
– A C (50%, 66.6%)
– C A (50%, 100%)
第十二页，共36页。
关联规则挖掘的基本过程与分类
• 关联规则挖掘的基本过程 • 关联规则挖掘的分类
第十三页，共36页。
关联规则挖掘的基本过程
• 给定事务的集合T，关联规则发现是指找出 支持度大于等于minsup，并且置信度大于等 于minconf的所有规则，其中minsup和 minconf是对应的支持度和置信度的阈值。
3
{C}
3
{E}
3
40
B, E
L2 Itemset sup
{A, C} 2 {B, C} 2 {B, E} 3 {C, E} 2
C2 Itemset sup
{A, B} 1 {A, C} 2 {A, E} 1 {B, C} 2 {B, E} 3 {C, E} 2
C2 2nd scan
Itemset {A, B} {A, C} {A, E} {B, C} {B, E}
第十四页，共36页。
原始关联规则挖掘方法：
• 计算每一个可能规则的支持度和置信度。但 是这种方法由于过高的代价而让人望而却步。
第十五页，共36页。
关联规则挖掘任务的步骤
• 找出所有频繁项集：其目标是发现满足最小 支持度阈值的所有项集，这些项集称作频繁 项集（frequent itemset）
• 由频繁项集产生强关联规则：其目标是从上 一步发现的频繁项集中提取所有高置信度的 规则，这些规则称作强规则i算法 (1)
• Apriori算法是挖掘布尔关联规则频繁项集的算法
• Apriori算法利用的是Apriori性质：频繁项集的所有 非空子集也必须是频繁的。
– A B 模式不可能比A更频繁的出现
– Apriori算法是反单调的，即一个集合如果不能通过测试，则
该集合的所有超集也不能通过相同的测试。
• 关联规则的基本概念 • 关联规则挖掘的基本过程与分类
第八页，共36页。
关联规则的基本概念
• 令I={i1， i2， ……，id}是购物篮数据中所 有项的集合，而T={t1， t2， ……，tn}是所 有事务的集合。
• 每个事务ti包含的项集都是I的子集。 • 在关联分析中，包含0个或者多个项的集合
第二十二页，共36页。
最小支持计数：2
Apriori算法——示例Itemset sup
Database TDB
Tid Items
C1
{A} {B}
2 L1
3
10 20
A, C, D B, C, E
1st scan
{C}
3
{D}
1
30 A, B, C, E
{E}
3
Itemset sup
{A}
2
{B}
即包含特定项集的事务个数，数学上，项集 X的支持度计数σ（X）可以表示为： σ（X ）=|{ti|X≤ti，ti∈T}|
第十页，共36页。
• 关联规则是形如X→Y的蕴含表达式，其中X 和Y是不相交的项集。
• 关联规则的强度可以用它的支持度 （support）和置信度（confidence）度量。 支持度确定了规则可以用于给定数据集的频 繁程度，而置信度确定了Y包含X的事务中 出现的频繁程度。
不是L2的元素，
– {B,C,E}的2项子集是{B,C},{B,E},{C,E}，它的所有2－项子集都 是L2的元素，因此保留这个选项。
• 3．这样，剪枝后得到C3={{B,C,E}}
第二十四页，共36页。
由频繁项集产生关联规则
• 同时满足最小支持度和最小置信度的才是强 关联规则，从频繁项集产生的规则都满足支 持度要求，而其置信度则可由一下公式计算：
最小置信度 50%
1000 A,C
4000 A,D
Frequent Itemset Support
5000 B,E,F
{A}
{B}
75% 50%
{C}
50%
{A,C}
50%
• 对规则A C，支持度 sup port(A C) P(A C=)50%
• 置信度
confidence ( A C) P(C | A) P( A C) / P( A) sup port( A C) / sup port( A) 66.6%
第二页，共36页。
什么是关联规则挖掘？
• 关联规则挖掘：
– 从事务数据库，关系数据库和其他信息存储中 的大量数据的项集之间发现有趣的、频繁出现 的模式、关联和相关性。
• 应用：
– 购物篮分析、分类设计、捆绑销售等
第三页，共36页。
“尿布与啤酒”——典型关联分析案
例
• 采用关联模型比较典型的案例是“尿布与啤 酒”的故事。在美国，一些年轻的父亲下班 后经常要到超市去买婴儿尿布，超市也因此 发现了一个规律，在购买婴儿尿布的年轻父 亲们中，有30%～40%的人同时要买一些啤 酒。超市随后调整了货架的摆放，把尿布和 啤酒放在一起，明显增加了销售额。同样的， 我们还可以根据关联规则在商品销售方面做 各种促销活动。
– Apriori性质通过减少搜索空间，来提高频繁项集逐层产生的
效率
第二十页，共36页。
Apriori算法 (2)
• Apriori算法利用频繁项集性质的先验知识 （prior knowledge），通过逐层搜索的迭代 方法，即将k-项集用于探察(k+1)-项集，来 穷尽数据集中的所有频繁项集。
– 先找到频繁1-项集集合L1,然后用L1找到频繁2项集集合L2，接着用L2找L3，直到找不到频繁k项集，找每个Lk需要一次数据库扫描。
• 关联规则（association rule）：指在同一个事件中出 现的不同项的相关性。
• 关联分析（association analysis）：用于发现隐藏在 大型数据集中的令人感兴趣的联系。所发现的联系 可以用关联规则或者频繁项集的形式表示。关联规 则挖掘就是从大量的数据中挖掘出描述数据项之间 相互联系的有价值的有关知识。
– 根据规则中涉及的数据维
• 单维关联规则 • （仅涉及buys这个维）
buys ( X , "computer") buys ( X , "software")
• 多维关联规则
第十七页，共36页。
关联规则挖掘分类 (2)
– 根据规则集所涉及的抽象层
• 单层关联规则
• 多层关联规则 （在不同的抽象层发现关联规则）
age ( X , "30...39") buys ( X , "computer") age ( X , "30...39") buys ( X , "laptop _ computer")
– 根据关联挖掘的各种扩充
• 挖掘最大的频繁模式（该模式的任何真超模式都是非频繁的） • 挖掘频繁闭项集（一个项集c是频繁闭项集，如果不存在其真超
第四页，共36页。
购物篮分析
• 如果问题的全域是商店中所有商品的集合，则对每 种商品都可以用一个布尔量来表示该商品是否被顾 客购买，则每个购物篮都可以用一个布尔向量表示； 而通过分析布尔向量则可以得到商品被频繁关联或 被同时购买的模式，这些模式就可以用关联规则表 示（ ） 0001001100，这种方法丢失了什么信息？