第六讲判别分析ppt课件

建立判别准则
未知样品 判别归类
12
判别分析利用已知类别的样本培训模型，为 未知样本判类的一种统计方法。
它产生于本世纪30年代。近年来，在自然科 学、社会学及经济管理学科中都有广泛的应用。 判别分析的特点是根据已掌握的、历史上每个类 别的若干样本的数据信息，总结出客观事物分类 的规律性，建立判别公式和判别准则。然后，当 遇到新的样本点时，只要根据总结出来的判别公 式和判别准则，就能判别该样本点所属的类别。13
• 而在判别分析中，至少有一个已经明确知道 类别的“训练样本”，利用这个数据，就可 以建立判别准则，并通过预测变量来为未知 类别的观测值进行判别了。
6
聚类分析 7
聚类要注意的问题
• 聚类结果主要受所选择的变量影响。如果去掉一 些变量，或者增加一些变量，结果会很不同。
• 相比之下，聚类方法的选择则不那么重要了。因 此，聚类之前一定要目标明确。
• 另外就分成多少类来说，也要有道理。只要你高 兴，从分层聚类的计算机结果可以得到任何可能 数量的类。但是，聚类的目的是要使各类距离尽 可能的远，而类中点的距离尽可能的近，而且分 类结果还要有令人信服的解释。这一点就不是数 学可以解决的了。
8
判 别 分 析
9
概述 距离判别法 贝叶斯判别法 费歇尔判别法 逐步判别法
-1
Σ2
x
-
μ
=
x
-
μ
-
Σ
1 2
Σ
-
1 2
x
-
μ
= x - μ Σ-1 x - μ
20 20
3、若变量之间是相互无关的，则协方差矩阵为对角矩阵
11
Σ
22
1
11
1
pp
Σ1
22
1
pp
21
21
此时的马氏距离为
1
11
1
d
2
(x,
G)
(x
-
μ)
22
(x - μ)
1
pp
x1 1 2 x2 2 2
2、按区分不同总体所用的数学模型分有 线性判别和非线性判别
3、按判别准则的不同有距离判别、费歇尔 （Fisher）判别和贝叶斯（Bayes）判别。
15 15
判别分析的假设前提
• 每一个判别变量不能是其他判别变量的 线性组合
• 各组变量的协方差阵相等 • 各判别变量之间具有多元正态分布
16 16
第二节 距离判别
4
• 聚类分析是根据事物本身的特性研究个体分类 的方法，原则是同一类中的个体有较大的相似 性，不同类中的个体差异很大。
• 判别分析是根据表明事物特点的变量值和它们 所属的类，求出判别函数。根据判别函数对未 知所属类别的事物进行分类的一种分析方法。
5
判别分析和聚类分析有什么不同呢？
• 主要不同点就是，在聚类分析中一般人们事 先并不知道或一定要明确应该分成几类，完 全根据数据来确定。
（一）马氏距离 距离判别的最直观的想法是计算样品到第i类总 体的平均数的距离，哪个距离最小就将它判归哪个 总体，所以，我们首先考虑的是是否能够构造一个 恰当的距离函数，通过样本与某类别之间距离的大 小，判别其所属类别。
17
设 x (x1, x2,, xm )和 y ( y1, y2,,是ym从) 期望
11
22
2
xp p
22
判别分析是根据观测到的某些指标对所研 究的对象进行分类的一种多元统计分析方法。 在医学研究中经常遇到这类问题；例如, 临床 上常需根据就诊者的各项症状、 体征、实验 室检查、病理学检查及医学影像学资料等对其 作出是否有某种疾病的诊断或对几种可能患有 的疾病进行鉴别诊断，有时已初步诊断为某种 疾病，还需进一步作出属该类疾病中哪一种或 哪一型的判断。
分类
• 俗语说，物以类聚、人以群分。
• 但什么是分类的根据呢？
• 比如，要想把中国的县分成若干类，就有很多 种分类法；
• 可以按照自然条件来分，
• 比如考虑降水、土地、日照、湿度等各方面；
• 也可以考虑收入、教育水准、医疗条件、基础 设施等指标；
• 既可以用某一项来分类，也可以同时考虑多项
指标来分类。
10
第一节 概述
一、什么是判别分析？ 设有k个总体G1，G2，…，Gk，希望建立一
个准则，对给定的任意一个样本x，依据这个 准则就能判断它是来自哪个总体。应当要求这 种准则在某种意义下是最优的，如：错判概率 最小或错判损失最小等等。
11 11
判别分析的一般步骤
已知分类的 训练样本
判别分析方法
判别函数
• 但是雄性和雌性昆虫在若干体表度量上有些 综合的差异。于是统计学家就根据已知雌雄 的昆虫体表度量（这些用作度量的变量亦称 为预测变量）得到一个标准，并且利用这个 标准来判别其他未知性别的昆虫。
• 这样的判别虽然不能保证百分之百准确，但 至少大部分判别都是对的，而且用不着杀死 昆虫来进行判别了。
3
什么是判别分析
1
分类学是人类认识世界的基础科学。聚类 分析和判别分析是研究事物分类的基本方法， 广泛地应用于自然科学、社会科学、工农业生 产的各个领域。
在自然科学和社会科学的各个领域经常遇 到需要对某个个体属于哪一类进行判断。如动 物学家对动物如何分类的研究和某个动物属于 哪一类、目、纲的判断。
2
判别
• 有一些昆虫的性别很难看出，只有通过解剖 才能够判别；
18
马氏距离和欧式距离之间的差别
马氏距离 d 2(x,G) (x - μ)Σ-1(x - μ)
欧氏距离
d 2(x,G) (x - μ)(x - μ)
19 19
马氏距离有如下的特点：
1、马氏距离不受计量单位的影响;
2、马氏距离是标准化后的变量的欧式距离
y
=
-1
Σ2
x
-
μ
yy
=
-1
Σ2
x
-
μ
μ=
(1, 2,和方, 差m )阵 Σ=
ij mm 0
的总体G抽得的两个观测值，则
X与Y之间的Mahalanobis距离
d 2 (x来自百度文库y) (x y)1(x y)
样本X和Gi类之间的马氏距离定义为X与Gi类重 心间的距离：
d 2 (x,Gi ) (x i )1(x i ) i 1,2,, k 18
13
判别分析举例：
• 根据发掘出来的人类头盖骨的高、宽等特征来判 断其是男性还是女性。
• 在税务稽查中，要判断某企业是否偷漏税。 • 医生对病情的诊断。 • 信用风险的判定。 • 成功概率的判定。 • 企业运行状态或财务状况的判定。
14 14
二、判别分析的种类
1、按判别的组数分有两组判别分析和多组判 别分析