第5章 数据分类-1

8
二、分类的评价准则

给定测试集Xtest={(xi,yi)|i=1,2,…,N}

N表示测试集中的样本个数
xi表示测试集中的数据样本 yi表示数据样本xi的类标号-m个类别 被正确分类的样本数量为TPj 被错误分类的样本数量为FNj 其他类别被错误分类为该类的样本数据量为FPj
9

对于测试集的第j个类别，假设
数据仓库与数据挖掘
第5章 数据分类
2015/12/17
1
5.1 引例
一、分类的定义
把数据样本映射到一个事先定义的类中 的学习过程，即给定一组输入的属性向量及 其对应的类，用基于归纳的学习算法得出分 类。 例如：（1）正常信用卡与欺诈信用卡的分类 （2） 正常细胞与癌变细胞的分类 （3）正常邮件与垃圾邮件的分类
j arg max gi (x), i 1,..., c
i
33
k-近邻法错误率分析
在N→∞的条件下，k-近邻法的错误率要低于最近
邻法。
最近邻法和k-近邻法的错误率上下界都是在一倍到
两倍贝叶斯决策方法的错误率范围内。
34
近邻法应用举例
3-近邻 最近邻
35
x
m1 g(x)=0 m2
x
28
5.5.1 最近邻法
29
一、最近邻决策规则

判别函数
对一个C类别问题，每类有Ni个样本，i＝1，…，C，则 第i类ωi的判别函数为：
gi (x) min x xi k , k 1,..., Ni
k
‖·‖表示某种距离 （相似性）度量，常用 欧氏距离作为相似性度 量。
中
低 中 中
良
良 良 优
c2
c1 c1 c1
否
是 否
41~50
41~50 >50
中
高 中
优
良 优
c1
c1 c2 18
一、决策树的基本概念（续）
年龄
≤40 41~50
>50
公司职员 是
c1
否
良
信誉度
优
c1
c2
c1
c2
19
二、 决策树算法ID3
基本思想： ID3 只能处理离散型描述属性；在选择根节 点和各个内部节点上的分枝属性时，采用信息增 益作为度量标准 ，选择具有最高信息增益的描 述属性作为分枝属性。 假设 nj是数据集 X中属于类别 cj的样本数量， 则 各 类 别 的 先 验 概 率 为 P(cj)=nj/total ， j=1,2,…,m。

先剪枝方法：在生成决策树的过程中对树进行 剪枝 后剪枝方法：在生成决策树之后对树进行剪枝

27
5.5 近邻分类方法

最小距离分类器
将各类训练样本划分成若干子类，并在每个子类中确 定代表点。测试样本的类别则以其与这些代表点距离最近 作决策。

缺点 所选择的代表点并不一定能很好地代表各类，其后果 将使错误率增加。
20
二、 决策树算法ID3 （续）

对于数据集X，计算期望信息（熵）
I(n 1 , n 2 ,...,n m ) P(c j ) log 2 (P(c j ))
m

计算描述属性Af划分数据集X所得的熵

j1
假设 Af 有 q 个 不同取值 ，将 X 划分为 q 个子集 {X1,X2,…,Xs,…,Xq} 。
2
,1 j m
注：β是可以调节的，通常取值为1。
12
二、分类的评价准则（续）

几何均值 各个类别的查全率的平方根。
G mean
Re call j
j1
m
13
5.3 决策树
一、 二、 三、 四、 五、 六、 决策树的基本概念 决策树算法ID3 ID3算法应用举例 决策树算法C4.5 SQL Server 2005中的决策树应用 决策树剪枝

判别函数 假设所有 N个样本中，来自 ωi 类的样本有 Ni 个，若测 试样本的 k 个最近邻所属各类别样本个数分别为 ki, i ＝ 1，…，c，则判别函数为： gi(x)=ki, i=1, 2,…,c。 k- 近邻一般采用 k 为奇数，跟投票表决一样，避免因两种 票数相等而难以决策。

决策规则
5
5.2 分类问题概述
一、 分类的过程 二、 分类的评价准则
6
一、 分类的过程
获取数据
预处理
分类器设计
分类决策
7
一、分类的过程（续）




获取数据 输入数据、对数据进行量化 预处理 ※ 去除噪声数据、对空缺值进行处理 ※ 数据集成或者变换 分类器设计 划分数据集、分类器构造、分类器测试 分类决策 对未知类标号的数据样本进行分类
C4.5既可以处理离散型描述属性，也可以处理 连续型描述属性 对于连续值描述属性， C4.5将其转换为离散值 属性 在 {A1c,A2c,…,Atotalc} 中 生 成 total-1 个 分 割点 第i个分割点的取值设置vi=(Aic+A(i+1)c)/2 每个分割点将数据集划分为两个子集 挑选最适合的分割点对连续属性离散化
xi=(xi1,xi2,…,xid) ，其中xi1,xi2,…,xid分别对应d个描述属 性A1,A2,…,Ad的具体取值
yi 表示数据样本 xi 的类标号，假设给定数据集包含 m 个类别，则yi∈{c1,c2,…,cm}，其中c1,c2,…,cm是类别 属性C的具体取值


未知类标号的数据样本 x用d维特征向量x=(x1,x2,…,xd)来 表示
30
一、最近邻决策规则
决策规则
if g j (x) min gi ( x) then x j
i

最近邻法在原理上最直观，方法简单。
缺点：计算量大，存储量大。
31
二、最近邻法错误率分析

最近邻法的错误率高于贝叶斯错误率，可以证明以下关系式 成立：
P* P P* (2 C P* ) C 1
决策树的优点

进行分类器设计时，决策树分类方法所需时间相对较 少。 决策树的分类模型是树状结构，简单直观，比较符合 人类的理解方式。 可以将决策树中到达每个叶节点的路径转换为 IF— THEN形式的分类规则，这种形式更有利于理解。


16
一、 决策树的基本概念

采用自顶向下的递归方式产生一个类似于流程图的树 结构。 在根节点和各内部节点上根据给定的度量标准选择合 适的描述属性，并且根据该属性的不同取值向下建立 分枝。 对未知类标号的数据样本分类时，从根节点开始逐层 向下判断，直至叶节点，从而获得该数据样本的类标 号。

假设ns表示Xs中的样本数量，njs表示Xs中属于 类别cj的样本数量。
21
二、 决策树算法ID3（续）

由描述属性Af划分数据集X所得的熵为
其中： m I(n1s ,...,n ms ) p js log2 (p js )
j1
n1s n ms E(A f ) I(n1s ,...,n ms ) total s 1
※ 连续型属性是指在某一个区间或者无穷区 间内该属性的取值是连续的。 例如：属性“Age” ※ 离散型属性是指该属性的取值是不连续的。 例如：属性“Salary”和“Class”
4
5.1 引例
二、分类问题使用的数据集（续）

分类问题中使用的数据集X={(xi,yi)|i=1,2,…,total}

最近邻法的错 误率

P*为贝叶斯错误率，一般情况下 P*很小，可粗略表示成： P* P 2 P * 粗略说最近邻法的渐近平均错误率 在贝叶斯错误率的两倍之内。
32

5.5.2 k-近邻法

k-近邻法－最近邻法的推广 取未知样本x的k个近邻，看这k个近邻中多数属于哪 一类，就将x归为哪一类。
q

p js n js / n s 计算Af划分数据集时的信息增益
Gain(Af)=I(n1,n2,…,nm)-E(Af)
22
三、 ID3算法应用举例

参考书本的p114~116。
23
四、 决策树算法C4.5

C4.5算法使用信息增益比来选择分枝属性，克服 了ID3算法使用信息增益时偏向于取值较多的属性 的不足 信息增益比的定义式为

17一、 决策树的本概念（续）描述属性公司职员 否 否 否 年龄 ≤40 ≤40 41~50 收入 高 高 高 信誉度 良 优 良 买保险 c2 c2 c1
类别属性
否
是 是 是
>50
>50 >50 41~50
中
低 低 低
良
良 优 优
c1
c1 c2 c1
否
是 是 是
≤40
≤40 >50 ≤40
Precision j TPj TPj FPj ,1 j m
11
二、分类的评价准则（续）

F-measure 查全率和查准率的组合表达式
F measure j (1 2 ) Recall j Precision j Recall j Precision j
Gain(A f ) Gain _ ratio(A f ) , f 1,2,...,d split(A f ) 其中：
ns ns split(A f ) log2 ( ), f 1,2,...,d total s 1 total
q
24
四、 决策树算法C4.5 （续）


2
5.1 引例