数据仓库 第九章

3. 树剪枝(续)
如果剪去该枝导致较高的期望错误率， 则保留该子树；否则剪去该子树。 在产生经过一系列修剪的判定树候选之后， 使用一个独立的测试集，评估每棵树的准确率， 就能得到具有最小期望错误率的判定树。 先剪枝与后剪枝可以结合使用，构成一个 混合的修剪方法，从而可以获得一个更可靠的 决策树。
4. 由判定树提取分类规则
第九章 分类与预测
9.1 9.2 9.3 9.4 9.5 分类与预测的基本知识 基于判定树的分类 贝叶斯分类 神经网络分类 预测
9.3
贝叶斯分类
贝叶斯分类方法是统计学分类方法。 它可以预测类成员关系的可能性。对分 类方法进行比较的有关研究结果表明： 一种简单贝叶斯分类的算法可以与判定 树和神经网络分类算法相媲美。在处理 大型数据库时，贝叶斯分类已表现出高 准确率与高速度。
9.1
分类与预测的基本知识(续)
通常，学习模型用分类规则、判定 树或数学公式的形式提供。例如：给定 一个顾客信用信息DB，通过学习获得的 分类规则，可用于识别顾客是否具有良 好的信用等级或一般的信用等级。
第一步 学习：用分类算法分析训 练数据（类标号属性是信用等级，学习
模型以分类规则形式提供）
分类算法
由判定树可提取“IF-THEN”形式的分 类规则。判定树中从根到树叶的每条路 径都创建一个规则。沿着给定路径上的 每个属性-值对形成规则前件的一个合取 项，叶节点包含类预测，形成规则后件。 例2：由判定树产生分类规则。下图的判 定树，沿着根节点到叶节点的路径，可 提取的IF-THEN分类规则是：
4. 由判定树提取分类规则(续)
年龄？ <=30 学生？
no no yes yes 31…40 yes >40
信用级？ 优
no
良
yes
4. 由判定树提取分类规则(续)
IF 年龄 = “<=30” AND 学生 = “no” THEN 购买电脑 = “no” IF 年龄 = “<=30” AND 学生 = “yes” THEN 购买电脑 = “yes” IF 年龄 = “30-40”
收入 学生? 信用级 购买? No Yes 高 良 Yes Yes 低 优 No Yes 中 优 Yes Yes 高 良
算法返回的最终判定树如下：
年龄？ <=30 学生？
no no yes yes 31…40 yes >40
信用级？ 优
no
良
yes
2. 属性选择方法 (续)
判定树归纳算法被广泛应用到许多 进行分类识别的应用领域，这类算法无 需相关领域知识。归纳的学习与分类识 别的操作处理速度都相当快，而对于具 有细长条分布性质的数据集合来讲，判 定树归纳算法相应的分类准确率是相当 高的。
9.2
基于判定树的分类
判定树是一个类似流程图的树型结 构，其中每个内部节点表示在一个属性 上的测试，每个分枝代表一个测试输出， 而每个树叶节点代表类或类分布。
判定树归纳是构造判定树的基本算 法。在判定树构造时，许多分枝可能反 映的是训练数据中的噪声或孤立点。可 用树剪枝方法检测和剪去这类分枝，以 提高在未知数据上分类的准确性。
第九章 分类与预测
9.1 9.2 9.3 9.4 9.5 分类与预测的基本知识 基于判定树的分类 贝叶斯分类 神经网络分类 预测
9.1
分类与预测的基本知识
分类和预测是两种数据分析形式， 可以用来提取描述重要数据类的模型或 预测未来的数据趋势。 分类：预测分类标号 预测：建立连续值函数模型
数据分类是一个两步过程：
1. 判定树归纳（续）
算法使用同样的过程，递归地形成每个
划分上的样本判定树。一旦一个属性出 现在一个节点上，就不必考虑该节点的 任何后代了； 递归划分操作仅当下列条件之一成立时 停止： a）给定节点的所有样本属于同一类。
1. 判定树归纳（续）
b）没有剩余属性可用来进一步划分样 本。在此情况下，使用多数表决将当前 节点强制转换为树叶，并用训练样本中 类别个数最多的类标记它。 c）分枝test_attribute=ai没有样本。 在这种情况下，以训练样本中的多数类 创建一个树叶。
Gain(age) I ( s1 , s2 ) E (age) 0.246
2. 属性选择方法 (续)
类似地，可计算：
Gain(income) 0.029
Gain(student) 0.151
Gain(credit _ rating) 0.048
由于age在属性中具有最高信息增 益，它被选作测试属性。创建一个节点， 用age 标记，并对每个属性值引出一个 分枝。样本据此划分，见下图：
例1：判定树归纳。下表给出一个商场
顾客DB数据元组训练集，类标号属性为： “buys_compute” 有两个不同值（即 {yes，no}），因此有两个不同的类(m = 2)。设类C1对应于yes，而类C2对应no。 类yes 有9 个样本，类no 有5 个样本。 我们用前面的一组公式计算每个属性的 信息增益。
训练数据
分类规则
姓名 王明 张小丽 许永新 陈进 方菲 刘力音
年龄 <=30 <=30 31-40 >40 >40 31-40
收入 低 低 高 中 中 高
信用等级 良 优 优 良 良 优
if 年龄=“31-40” and 收入=高 then 信用等级=优
…
…
…
…
9.1
分类与预测的基本知识(续)
分类规则也可以用来为以后的数据 样本分类，并能对DB的内容提供更好的 理解。 （2）分类：首先评估模型（分类法） 的预测准确率。保持方法是一种使用类 标号样本测试集的简单方法。这些样本 随机选取，并独立于训练样本。模型在 给定测试集上的准确率是正确被模型分 类的测试样本的百分比。对于每个测试 样本，将已知的类标号与该样本的学习 模型类预测比较。
2. 属性选择方法
在判定树的每个节点上使用信息 增益度量选择测试属性。选择具有最 高信息增益的属性作为当前节点的测 试属性，可以使结果划分中的样本分 类需要的信息量最小，并反映划分的 最小随机性。这种信息论方法使得对 一个对象分类所需的期望测试数目达 到最小，并确保找到一棵简单的树。
2. 属性选择方法 (续)
RID
1 2 3 4 5 6 7 8 9 10 11 12 13 14
年龄
<=30 <=30 31–40 >40 >40 >40 31–40
收入
高 高 高 中 低 低 低 中 低 中 中 中 高 中
学生 信用级 购买电脑
No No No No Yes Yes Yes No Yes Yes Yes No Yes No 良 优 良 良 良 优 优 良 良 良 优 优 良
3. 树剪枝(续)
如果在一个节点划分样本，导致节 点中样本数低于指定的阈值，则给定子 集的进一步划分将停止。但确定这样一 个合理的阈值是困难的。较高的阈值可 能导致过分简化的树，而较低的阈值可 能使得树的化简太少。
3. 树剪枝(续)
(2)后剪枝
该方法由“完全生长”的树剪去分枝。 代价复杂性剪枝算法是后剪枝方法的一 个实例。对于树中每个非树叶节点，算 法计算该节点上的子树被剪枝后可能出 现的期望错误率。然后，使用每个分枝 的错误率，结合沿每个分枝观察的权重 评估，计算不对该节点剪枝的期望错误 率。
接着计算每个属性的熵,从属性age开始：
age “ 30” : s11 2 s 21 3 I s11 , s21 0.971
age “3140” : s12 4
age “ 40” : s13 3
s 22 0
s 23 2
I s12 , s22 0
第二步 分类：测试数据用于评估分类规则的准确率
（如果准确率是可以接受的，则规则可用于新的数据元组分类）
分类规则
测试数据
新数据
姓名 苏寺华 汪洋 刘宾
…
年龄 >40 <=30 31-40
…
收入 高 低 高
…
信用等级 良 良 优
…
(刘英，31-40，高)
信用等级？ 优
9.1
分类与预测的基本知识(续)
9.1 分类与预测的基本知识（续）
（1）学习：建立一个模型，描述预定
的数据类集或概念集，该模型是通过分 析由属性描述的DB元组而构造的。假定 每个元组属于一个预定义的类，由类标 号属性确定。为建立模型所使用的元组 形成训练数据集。其中的单个元组称作 训练样本，并随机地由样本群选取。由 于提供了每个训练样本的类标号，该步 也称作有指导的学习。
9.2
基于判定树的分类(续)
1.判定树归纳
判定树归纳的基本算法是贪心算法。 它以自顶向下递归的分而治之方式构造 判定树。算法的基本策略如下：
判定树以代表训练样本的单个节点开始； 如果样本都在同一个类，则该节点成为
树叶，并用该类标记；
1. 判定树归纳（续）
否则，算法使用信息增益度量作为启发
信息，选择能够最好地将样本分类的属 性，作为该节点的“测试”属性。在此 算法中，所有的属性都是分类的，即取 离散值。对连续值的属性必须离散化； 对测试属性的每个已知的值，创建一个 分枝，并具此划分样本；
优
<=30 <=30 >40 <=30 31–40 31–40
>40
No No Yes Yes Yes No Yes No Yes ຫໍສະໝຸດ es Yes Yes Yes No
2. 属性选择方法 (续)
首先计算给定样本分类所需的信息 增益：
9 9 5 5 I ( s1 , s2 ) I (9,5) log2 log2 0.94 14 14 14 14