《高级人工智能》第九章知识发现和数据挖掘(2)

成的，内容相对稳定的、不同时间的数据集合，用以 支持经营管理中的决策制定过程。
2019/6/13
高级人工智能 史忠植
37
数据仓库的特征(1)
数据仓库中的数据是面向主题的
与传统数据库面向应用相对应的。主题是一个在 较高层次将数据归类的标准，每一个主题基本对应一 个宏观的分析领域
20世纪80年代，人们要利用现有的数据，进行分析和推理， 从而为决策提供依据。这种需求既要求联机服务，又涉及大量 用于决策的数据。而传统的数据库系统已无法满足这种需求：
所需历史数据量很大，而传统数据库一般只存储短期数据。
涉及许多部门的数据，而不同系统的数据难以集成。
对大量数据的访问性能明显下降
建模：
构造描述一种活动或状态的数学模型
2019/6/13
高级人工智能 史忠植
8
知识发现的方法(1)
统计方法：
传统方法： 回归分析、判别分析、聚类分析、探索性分析
模糊集(fuzzy set) Zadeh 1965 支持向量机(Support Vector Machine) Vapnik 90
2019/6/13
高级人工智能 史忠植
12
关联规则
属于知识发现任务中的相关性分析
由于条形码技术的发展,零售部门可以利用前端收款 机收集存储大量的售货数据。因此,如果对这些历史 事务数据进行分析,则可对顾客的购买行为提供极有 价值的信息。例如,可以帮助如何摆放货架上的商品 (如把顾客经常同时买的商品放在一起),帮助如何规 划市场(怎样相互搭配进货)。
• 如果L[k+1]为空集，则结束，L[1]∪L[2]∪…即为结果； 否则转(2)，继续。
2019/6/13
高级人工智能 史忠植
20
思路的正确性
利用了大物品集向下封闭性，即大物品集X 的任意子集一定是大物品集，反过来说， 如果X有一子集不是大项集，则X肯定不是。
是宽度优先算法
2019/6/13
2019/6/13
高级人工智能 史忠植
17
关联规则的相关概念(4)
最小支持度minsup
用户规定的关联规则必须满足的最小支持度。
最小可信度minconf
用户规定的关联规则必须满足的最小可信度。
大项集(大项集、大物品集largeitemset)
支持度不小于最小支持度minsup的物品集
2019/6/13
高级人工智能 史忠植
21
经典的Apriori算法
(1) L[1]={large 1-itemsets}; (2) for (k=2; L[k-1]不为空; k++) do begin (3) C[k]=apriori-gen(L[k-1]); // 新候选物品集 (4) For all transactions t∈D do begin (5) C=subset(C[k],t); // t中的候选物品集 (6) For all candidates c∈C do
2019/6/13
高级人工智能 史忠植
15
关联规则的相关概念(2)
支持度
物品集A的支持度：称物品集A具有大小为s的支持度, 如果D中有s%的事务支持物品集X P(A)
1000个顾客购物，其中200个顾客购买了面包，
支持度就是20％（200/1000）。
关联规则A→B的支持度：关联规则A→B在事务数据 库W中具有大小为s的支持度,如果物品集A∪B的支持 度为s
100个顾客购买了面包和黄油，则面包→黄油 10％
2019/6/13
高级人工智能 史忠植
16
关联规则的相关概念(3)
可信度
设W中支持物品集A的事务中，有c％的事务同时也 支持物品集B，c％称为关联规则A→B的可信度。
P(B|A) 1000个顾客购物，200个顾客购买了面包，其中140个 买了黄油，则可信度是70％（140/200）。
insert into C[k] select p.item1,p.item2,...,p.item(k-1), q.item(k-1) from L[k-1] p, L[k-1] q where p.item1=q.item1, ...,p.item(k-2)=q.item(k-2),
p.item(k-1)<q.item(k-1)
2019/6/13
高级人工智能 史忠植
14
关联规则的相关概念(1)
设R={I1,I2……Im}是一组物品集，W是一组事务集。W 中的每个事务T是一组物品，TR。 假设有一个物品集A，一个事务T，如果AT，则称事 务T支持物品集A。 关联规则是如下形式的一种蕴含：A→B，其中A、B是 两组物品，AI，BI，且A∩B=。
(7) c.count++;
(8) end; (9) L[k]={c∈C[k]|c.count>=minsup};
(10) end; (11) Answer = L[1]∪L[2]∪…
2019/6/13
高级人工智能 史忠植
22
apriori-gen(L[k-1]) 分成两步：
join算法：从两个L[k-1]物品集生成候选 物品集C[k]
神经计算：
神经网络是指一类新的计算模型，它是模仿人脑神经网络的 结构和某些工作机制而建立的一种计算模型。常用的模型： Hopfield网 多层感知机 自组织特征映射 反传网络
可视化：
2019/6/13
高级人工智能 史忠植
11
KDD的技术难点
动态变化的数据 噪声 数据不完整 冗余信息 数据稀疏 超大数据量
2019/6/13
高级人工智能 史忠植
30
关联规则发现使用步骤
连接数据，做数据准备 给定最小支持度和最小可信度，利用知识发 现工具提供的算法发现关联规则 可视化显示、理解、评估关联规则
2019/6/13
高级人工智能 史忠植
31
关联规则在保险业务中的应用
最小支持度1%，最小可信度为50%
2019/6/13
2019/6/13
高级人工智能 史忠植
36
数据仓库的定义
信息处理技术的发展趋势是：从大量的事务型数据库中抽取 数据，并将其清理、转换为新的存储格。随着此过程的发展 和完善，这种九十年代初出现的支持决策的、特殊的数据存 储即被称为数据仓库（Data Warehouse）。
Inmon将数据仓库明确定义为： 数据仓库（Data Warehouse）是面向主题的，集
2019/6/13
高级人工智能 史忠植
5
2019/6/13
高级人工智能 史忠植
6
知识发现的任务(1)
数据总结：
对数据进行总结与概括。传统的最简单的数据总结方法是计 算出数据库的各个字段上的求和值、平均值、方差值等统计 值,或者用直方图、饼状图等图形方式表示。
分类：
根据分类模型对数据集合分类。分类属于有导师学习，一般 需要有一个训练样本数据集作为输入。
高级人工智能 史忠植
32
2019/6/13
高级人工智能 史忠植
33
2019/6/13
高级人工智能 史忠植
34
2019/6/13
高级人工智能 史忠植
35
数据仓库
在过去几十年，数据库技术，特别是OLTP（联机事务处 理），主要是为自动化生产、精简工作任务和高速采集数据服 务。它是事务驱动的、面向应用的。
规则、科学规律、方程或概念网。
2019/6/13
高级人工智能 史忠植
3
数据库知识发现
目前, 关系型数据库技术成熟、应用广泛。 因此, 数据库知识发现(Knowledge Discovery in Databases KDD)的研究非常活跃。
该术语于1989年出现，Fayyad定义为 “KDD是从数据集中识别出有效的、新颖的、 潜在有用的，以及最终可理解的模式的非平凡 过程”
2019/6/13
高级人工智能 史忠植
4
不同的术语名称
知识发现是一门来自不同领域的研究者关注的交 叉性学科，因此导致了很多不同的术语名称。
知识发现:人工智能和机器学习界。
数据挖掘(data mining):
统计界、数据分析、数据库和管理信息系统界
知识抽取 (information extraction)、 信息发现 (information discovery)、 智能数据分析 (intelligent data analysis)、 探索式数据分析 (exploratory data analysis) 信息收获 (information harvesting) 数据考古 (data archeology)
高级人工智能 史忠植
18
关联规则发现任务
给定一个事务数据库D，求出所有满足最小支 持度和最小可信度的关联规则。该问题可以分解 为两个子问题： 1) 求出D中满足最小支持度的所有大项集； 2) 利用大项集生成满足最小可信度的所有关联规
则。对于每个大项集A，若BA，B≠φ ，且 Confidence（B (AB)）minconf，则构成 关联规则B (AB)2019Βιβλιοθήκη 6/13高级人工智能 史忠植
19
关联规则发现的基本思路
第2个子问题比较容易。目前大多数研究集中在第 一个子问题上，即如何高效地求出大项集。
• 首先生成长度为1的大项集（即单个物品），记为L[1]；
• 在L[k]的基础上生成候选物品集C[k+1]，候选物品集必须 保证包括所有的大项集。
• 用事务数据库D中的事务对C[k+1]进行支持度测试以生成 长度为k+1的大项集L[k+1]，计算每个候选物品集的支持 度，如果大于minsup，则加入到L[k+1]中。