第六章 判别分析
合集下载
多元统计分析课件第六章-判别分析例题与操作过程可修改文字
.
(一) 操作步骤 1. 在SPSS窗口中选择Analyze→Classify→Discriminate，调 出判别分析主界面，将左边的变量列表中的“group”变量选 入分组变量中，将—变量选入自变量中，并选择Enter independents together单选按钮，即使用所有自变量进行判 别分析。
1
5
50.06 23.03 2.83 23.74 112.52 63.3
1
6
33.24 6.24 1.18 22.9 160.01 65.4
2
7
32.22 4.22 1.06 20.7 124.7 68.7
2
8
41.15 10.08 2.32 32.84 172.06 65.85
2
9
53.04 25.74 4.06 34.87 152.03 63.5
由此表可知，两个Fisher判别函数分别为：
y1 74.99 1.861X1 1.656X 2 0.877 X3 0.798X 4 0.098X 5 1.579X 6 y2 29.482 0.867X1 1.155X 2 0.356X 3 0.089X 4 0.054X 5 0.69 X 6
判别分析例题
例1：设有两个正态总体 G1 和 G2 ，已知：
(1)
ห้องสมุดไป่ตู้
10 15
(2)
20 25
18 12 1=12 32
20 7
2
=
7
5
试用距离判别法判断：样品：
X
20 20
，应归属于哪一类
判别分析例题 解：比较X到两个总体的马氏距离的大小
所以X属于正态总体 G1
例2：
第六章--判别分析
设有两个正态总体，
现有一个样品如图所示的A点，
A
距总体X的中心
远，距总体Y的中心
远
若按欧氏距离来度量，A点离总体X要比离总体Y近一些。但是，从概率论的
角度看，A点位于 点离总体Y近一些。
右侧的
而位于
左侧的
处，应该认为A
样品点x到
的马氏距离为：
（一）当
时
（二）当
时
虽然在两个总体有显著差异的条件下，误判概率很小，但当这种差异不很显著时，误判的 概率就很大。因此，只有当两个总体的均值有显著差异时，做判别分析才有意义。
-7.182 -4.379 -2.144 -9.440 -6.573 -6.906 -4.245
原分类 1 1 1 1 1 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3
新分类 1 1 1 1 1 1 2 2 2 2 2 2 3 3 3 3 3 3 3 3
第二节 贝叶斯（Bayes）判别
判别分析就是在研究对象用某种方法分好若干类（组）的情况下，确定新样品属 于已知类别中哪一类的多元统计分析方法。
判别分析和聚类分析不同，判别分析是在已知研究对象分成若干类型（或 组别） 并已取得各种类型的一批已知样品的观测数据 ，在此基础上根据某种准则建立 判别函数式，然后对未知类型的样品进行判别分类。而对于聚类分析，一批给 定样品要划分的类型事先并不知道，需要通过聚类分析来确定各样品所属的类 型。所以，判别分析和聚类分析往往结合起来运用。
第六章 判别分析
第一节 什么是判别分析
在科学研究和日常生活中，往往会遇到这样的问题，即根据观测数据对所研究的对象 进行分类（组）判别。例如，在经济学中可根据人均国内生产总值、人均消费水平等 多种指标来判别一个国家的经济发展程度所属类型；在气象学中，根据已有的气象资 料（气温、气压、湿度等）来判断明天是阴天还是晴天，有雨还是无雨等。以上各方 面的问题具有一个共同特点：就是事先已有“类”的划分，或事先已对某些已知样品 分好了“类”，需要判断那些还未分好的的样品究竟属于哪一类。
判别分析
1
x 2
2
若 x 1 ， 则显然判 x 1 ， 若 x 2 ， 则显然判 x 2 ， 下面讨论 1 x 2 ， 此时有
d ( x, 1 ) d ( x, 2 ) x 1
1
2 x 1 2 (x * ) ， 2 1 2
i i i i
由此得：
ˆ1
ˆ
n1
1 1 n1 1 ˆ2 xj ˆ x 1 ， n2 n1 j 1
x x ห้องสมุดไป่ตู้
j 1
2 j 2
n2
1 (W1 W2 ) n1 n2 2
n2
其中 W1 ( xj1 x 1 )( xj1 x 1 )T ， W2 ( xj2 x 2 )( xj2 x 2 )T 。
从而 u ( x) ~ N (0.5 2 , 2 ) ，所以
0 0.5 2 P(2 1) P(u ( x) 0 x 1 ) (0.5)
同理得： P(1 2) P( u ( x) 0 x 2 ) (0.5) 例 1 设判别因子只有一个， 即 p 1， 且假定 i ~ N ( i , 2 ) (i 1, 2) ， 则判别函数为：
记 2 ( 1 2 )T 1 ( 1 2 ) ，则
aT ( 1 2 ) ( 1 2 )T 1 ( 1 2 ) 2
a T a ( 1 2 )T 1 1 ( 1 2 )
( 1 2 )T 1 ( 1 2 ) 2
判别分析
§1. 引言 在生产、 科学研究及日常生活中经常遇到需要对某一研究对象属于哪种情况 作出判断。如在地质勘探中，根据岩石标本的多种特性来判别地层的地质年代， 由采样分析出的多种成份来判别此地是有矿还是无矿，是铜矿还是铁矿。在市场 预测中，根据以往调查所得的种种指标，判断下季度产品是畅销、平销或滞销。 在医疗诊断中，根据患者的不同症状和化验结果来诊断其患病类型等等。 从概率观点看，判别问题可以归结为如下模型：设共有 G 个总体：
判别分析法
判别分析判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。
其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待定系数，并计算判别指标。
据此即可确定某一样本属于何类。
1：距离判别的判别准则和判别函数：设总体A 和B 的均值向量分别为1μ和2μ，协方差阵分别为1∑和2∑，今给一个样本x 要判断x 来自哪一个总体。
若协方差相同，即1212μμ∑∑∑≠==，计算x 到总体A 和B 的Mahalanobis 距离(,)d x A 和(,)d x B ，Mahalanobis 的计算有以下定义：定义5.1 设x 是从均值为μ，协方差为∑的总体A 中抽取的样本，则总体A 内两点x 与y 的Mahalanobis 距离（简称马氏距离）定义为：(,)d x y =定义样本x 与总体A 的Mahalanobis 距离为：(,)d x A =然后进行比较，若(,)(,)d x A d x B ≤，则判定x 属于A ;否则判定x 来自B 。
由此得到如下判别准则：,(,)(,),(,)(,)A d x A d x B x B d x A d x B ≤⎧∈⎨≥⎩令T 112()()()w x x μ∑μμ-=-- 称()w x 为两总体距离的判别函数，由此判别准则变为,()0,,()0.A w x x B w x ≥⎧∈⎨≤⎩在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替，设1(1)(1)(1)12,,,nx x x ⋅⋅⋅是来自总体A 的1n 个样本点，2(2)(2)(2)12,,,n x x x ⋅⋅⋅是来自总体B 的2n 个样本,则样本的均值和协方差为 11ˆ,1,2in ii i j j iux x i n ====∑2()()()()T1211121211ˆ=()()()22in i i i i j ji j x x x x S S n n n n ==∑---++-+-∑∑ 其中()()()()T 1()(),1,2in i i i i i j j j S x x x x i ==--=∑对于待测样本x ，其判别函数定义为T 1(1)(2)ˆˆˆˆ()()()wx x x x x ∑-=-- 其中(1)(2)ˆˆˆ2x x x +=其判别准则为ˆ,()0,ˆ,()0.A wx x B wx ≥⎧∈⎨≤⎩ 2：若协方差不同，即1212μμ∑∑≠≠，对于样本x ，在方差不同的情况下，判别函数为 T -1T -1222111ˆˆ()()()()()W x x x x x μ∑μμ∑μ=----- 在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替。
判别分析
（4）输出的结果文件中第四部分如下表 所示。
（5）输出的结果文件中第五个部分为组 间的协方差矩阵，如下表所示。
（6）输出的结果文件中第六个部分如下两 个表格所示。
（7）输出的结果文件中第七个部分如下表 所示。
（8）输出的结果文件中第八个部分如下表 所示。
（9）输出的结果文件中第九个部分如下表 所示。
小 结
SPSS中“Analyze”/“Classify”菜单专门 用于聚类分析和判别分析。其中，“K-Means Cluster”适用于快速聚类分析方法， “Hierarchical Cluster”适用于层次聚类分 析方法，“Discriminant”主要用于判别分析。
图7 “Discriminant Analysis：Classification”对话框
图8 “Discriminant Analysis：Save”对话框
3 结果和讨论
（1）SPSS输出结果文件中的第一部分如下 表所示。
（2）输出的结果文件中第二部分如下表所 示。
（3）输出的结果文件中第三部分如下表所 示。
有学者在研究中提出，可以利用判别分析 来对聚类分析结果的准确性进行检验。聚类分 析分成几类后，即可以作为判别分析的类别输 入，定义：判别分析先根据已知类别的事物的 性质（自变量），建立函数式（自变量的线性 组合，即判别函数），然后对未知类别的新事 物进行判断以将之归入已知的类别中。
（10）输出的结果文件中第十个部分如下 表所示。
（11）输出的结果文件中第十一个部分如 下表所示。
（12）输出的结果文件中第十二个部分包 括3个分类统计信息表格
（13）输出的结果文件中第十三个部分为 每一个个案的实际分组摘要表。如下表所示。
（14）输出的结果文件中第十四个部分如 图9所示。
判别分析完整课件
D ( y(1) y( 2) )(n1 n2 2) ( ci di )(n1 n2 2)
2 i 1 m
m为判别指标数，根据自由度查F(m,n1+n2-m-1)。
（三）确定判别临界值
确定两类的判别临界值（即两类的分界点）yc， 据此对未知样本作出判断。
yc
n1 y(1) n2 y( 2 ) n1 n2
在医学科研资料中经常遇到指标变量不呈正态分 布或难以满足参数判别分析的要求，特别是有些 变量是分类变量，不可能服从正态分布，可以用 Logistic回归分析的方法。
实际资料中一般含有较多的指标，有些指标可能 对鉴别不同的类别毫无用处，或指标间彼此相关的情 况时不应该用所有的指标都参与建判别函数。所以， 在建函数之前，先进行变量筛选是很有必要的，即逐 步判别分析,此法建立的函数更简洁，效果也更好。 此外,对于某些指标间存在彼此相关的情况时, 先对众多的指标进行聚类，从聚成的几大类中各挑选 一个最有代表性的指标，用这些典型指标建立判别函 数。 逐步回归、判别分析、聚类分析等方法可以联合 应用。
y ci xi
i 1 n
2
n1
(y
i 1
n2
i ( 2)
y( 2 ) )
2
y(1) ck xk (1)
k 1
n1
y( 2) ck xk ( 2)
k 1
n2
根据求极值的原理，求I对判别系数Ci的偏导数，使其等 于零，得到下列方程组：
f11C1+f12C2+……f1mCm=d1 f21C1+f22C2+……f2mCm=d2 ……… …… …… ……… ….. fm1C1+fm2C2+……fmmCm=dm 其中， di
2 i 1 m
m为判别指标数，根据自由度查F(m,n1+n2-m-1)。
（三）确定判别临界值
确定两类的判别临界值（即两类的分界点）yc， 据此对未知样本作出判断。
yc
n1 y(1) n2 y( 2 ) n1 n2
在医学科研资料中经常遇到指标变量不呈正态分 布或难以满足参数判别分析的要求，特别是有些 变量是分类变量，不可能服从正态分布，可以用 Logistic回归分析的方法。
实际资料中一般含有较多的指标，有些指标可能 对鉴别不同的类别毫无用处，或指标间彼此相关的情 况时不应该用所有的指标都参与建判别函数。所以， 在建函数之前，先进行变量筛选是很有必要的，即逐 步判别分析,此法建立的函数更简洁，效果也更好。 此外,对于某些指标间存在彼此相关的情况时, 先对众多的指标进行聚类，从聚成的几大类中各挑选 一个最有代表性的指标，用这些典型指标建立判别函 数。 逐步回归、判别分析、聚类分析等方法可以联合 应用。
y ci xi
i 1 n
2
n1
(y
i 1
n2
i ( 2)
y( 2 ) )
2
y(1) ck xk (1)
k 1
n1
y( 2) ck xk ( 2)
k 1
n2
根据求极值的原理，求I对判别系数Ci的偏导数，使其等 于零，得到下列方程组：
f11C1+f12C2+……f1mCm=d1 f21C1+f22C2+……f2mCm=d2 ……… …… …… ……… ….. fm1C1+fm2C2+……fmmCm=dm 其中， di
判别分析
判别分析
多变量统计分析方法
01 简介
03 判别函数
目录
02 基本思想 04 建立方法
05 判别方法
07 应用
目录
06 验证方法
基本信息
判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的 一种多变量统计分析方法。
其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待 定系数，并计算判别指标。据此即可确定某一样本属于何类。
3）Fisher判别：亦称典则判别，是根据线性Fisher函数值进行判别，通常用于梁祝判别问题，使用此准则 要求各组变量的均值有显著性差异。该方法的基本思想是投影，即将原来在R维空间的自变量组合投影到维度较低 的D维空间去，然后在D维空间中再进行分类。投影的原则是使得每一类的差异尽可能小，而不同类间投影的离差 尽可能大。Fisher判别的优势在于对分布、方差等都没有任何限制，应用范围比较广。
判别方法
判别方法
判别方法是确定待判样品归属于哪一组的方法，可分为参数法和非参数法，也可以根据资料的性质分为定性 资料的判别分析和定量资料的判别分析。此处给出的分类主要是根据采用的判别准则分出几种常用方法。除最大 似然法外，其余几种均适用于连续性资料。
1）最大似然法：用于自变量均为分类变量的情况，该方法建立在独立事件概率乘法定理的基础上，根据训 练样品信息求得自变量各种组合情况下样品被封为任何一类的概率。当新样品进入是，则计算它被分到每一类中 去的条件概率（似然值），概率最大的那一类就是最终评定的归类。
基本思想
基本思想
根据判别中的组数，可以分为两组判别分析和多组判别分析； 根据判别函数的形式，可以分为线性判别和非线性判别； 根据判别式处理变量的方法不同，可以分为逐步判别、序贯判别等； 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。
多变量统计分析方法
01 简介
03 判别函数
目录
02 基本思想 04 建立方法
05 判别方法
07 应用
目录
06 验证方法
基本信息
判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的 一种多变量统计分析方法。
其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待 定系数，并计算判别指标。据此即可确定某一样本属于何类。
3）Fisher判别：亦称典则判别，是根据线性Fisher函数值进行判别，通常用于梁祝判别问题，使用此准则 要求各组变量的均值有显著性差异。该方法的基本思想是投影，即将原来在R维空间的自变量组合投影到维度较低 的D维空间去，然后在D维空间中再进行分类。投影的原则是使得每一类的差异尽可能小，而不同类间投影的离差 尽可能大。Fisher判别的优势在于对分布、方差等都没有任何限制，应用范围比较广。
判别方法
判别方法
判别方法是确定待判样品归属于哪一组的方法，可分为参数法和非参数法，也可以根据资料的性质分为定性 资料的判别分析和定量资料的判别分析。此处给出的分类主要是根据采用的判别准则分出几种常用方法。除最大 似然法外，其余几种均适用于连续性资料。
1）最大似然法：用于自变量均为分类变量的情况，该方法建立在独立事件概率乘法定理的基础上，根据训 练样品信息求得自变量各种组合情况下样品被封为任何一类的概率。当新样品进入是，则计算它被分到每一类中 去的条件概率（似然值），概率最大的那一类就是最终评定的归类。
基本思想
基本思想
根据判别中的组数，可以分为两组判别分析和多组判别分析； 根据判别函数的形式，可以分为线性判别和非线性判别； 根据判别式处理变量的方法不同，可以分为逐步判别、序贯判别等； 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。
《判别分析》课件
在金融领域的应用
信用评分
利用判别分析模型，通过借款人 的特征和历史表现，预测其未来 违约风险，为金融机构提供信贷
决策依据。
市场风险评估
判别分析用于评估金融市场风险 ，通过分析市场数据和变量，预 测市场走势，帮助投资者做出合
理决策。
投资组合优化
利用判别分析对投资组合进行优 化，通过评估不同资产的风险和 回报，为投资者提供最佳资产配
对判别分析的未来展望
改进算法
针对判别分析的假设严格问题，未来研究可以尝试改进算法，放宽 假设条件，使其更适用于实际数据。
结合其他技术
可以考虑将判别分析与其它机器学习算法相结合，如神经网络、支 持向量机等，以提高分类性能和泛化能力。
拓展应用领域
随着大数据时代的到来，判别分析在各个领域的应用越来越广泛，未 来可以进一步拓展其应用领域，解决更多实际问题。
在市场营销中，判别分析可用于市场 细分，根据消费者的购买行为、偏好 和需求等因素，将市场划分为不同的 细分市场，帮助企业制定更加精准的 市场策略。
广告投放优化
通过判别分析对广告投放效果进行评 估和优化，基于历史数据和实时监测 数据，分析不同广告渠道和创意的表 现，提高广告投放的效率和效果。
06 判别分析的案例分析
金融领域的判别分析案例
信用风险评估
利用判别分析对银行客户进行信用风险评估，根据客户的历 史表现和其他相关信息，预测其未来违约的可能性，帮助银 行制定更加精准的信贷政策。
股票市场预测
通过判别分析对股票市场走势进行预测，基于历史数据和市 场信息，构建预测模型，以指导投资者进行投资决策。
1. 单变量判别函数
基于单个特征的判别函数。
2. 多变量判别函数
06.判别分析
从全部控矿地质因素和找矿标志中选择7个变量参 加判别分析：x1为接触带长度；x2为单元中心距断 喷带距离；x4为闪长玢岩出露面积比；x5为围岩蚀 变组合相对熵；x9为磁异常特征值；x10为重力异常 形态特征值；x12为岩层组合相对熵。建立的判别函 数为：
为了进一步对比煤层，考虑选取只与煤层成因 有关的地质变量如煤的灰分、硫分、灰分成分等12 个指标建立各煤层的判别式，从而将各煤层用数学 表达式定量地确定下来。
各判别式经过显著性检验都是特别显著的，即运用以上 判别式分辨煤层有效。以里兰、河里、马鞍煤矿四煤样品 为未知样品进行判别，四个未知样品均以100%的后验概率 落入第三类，即属于四煤（上）层（表6-5）
因此，可以认为，里兰、河里一线以南的四煤，只相当 于煤产地北部的四煤（上）层。
上述是判别分析用于解决煤层对比的实际例子。 此外，在我国运用判别分析进行矿床定量预测方面， 也取得了教好的成果。
在矿床统计预测时，首先将研究区划分为 若干个单元；再从这些单元中选择一些研究程 度较高的有矿或无矿单元作为已知单元，然后 选择与矿化密切的地质因素作为地质变量并将 其数值化。根据这些变量对已知含矿或无矿两 个母体建立判别函数，最后对未知单元进行判 别，以便定量地给出含矿单元，作为矿床预测 区。
诸如此类的问题，在传统地质学中，多是 只管的定性判断，往往随地质人员实践经验Байду номын сангаас 同，得出不同的结论。因此，具有较大的主观 性和片面性。运用判别分析方法，对比较复杂、 地质变量多、地质属性比较近似的问题，能够 给出定量的合理判别。
判别分析的基本思想，是将研究对象（某一个 体）的各种地质特征，同它可能归属的各个类型的 地质特征进行对比，以决定其应该归入哪一类。为 此，判别分析主要解决两个问题： 1、根据什么指标来判别（分辨）已知的类型，即 建立判别函数； 2、对于可能来自已知类型的某些未知样品，如何 判定它们归属已知类型中的哪一类。
医学统计学SPSS
（2）命令打开
用户选择命令File->New->Output打开结果输出窗。
（3）关闭
2、结果输出区
（1）大纲输出区
（2）文本输出区 四、SPSS的其他窗口 五、多窗口操作
第四节
SPSS的基本运行方式
一、用SPSS作统计分析的一般步骤
Hale Waihona Puke 1。数据文件的建立和编辑2。选择统计分析方法
3。选择分析的变量、设置参数
7.具有较强的图表生成、编辑功能。 8.丰富的联机帮助功能是初学者学习SPSS的帮手。
第二节 SPSS的安装、启动和退出 一、SPSS的安装 1.启动Windows。 2.把SPSS安装光盘放入光驱。
3.找到光盘中的setup文件并双击，即启动
SPSS的安装程序。
4.用户最先阅读版权声明，读完后单击“next”
一家电脑销售公司三个月的日销售量数 据，如果要研究日销售量的分布规律， 可以进行分组分析，则将日销售量在140 －149编码为1，150－159编码为2，以此 类推。然后再对重编码以后的数据进行 描述统计分析，得到组距分组的结果。
141 143 144 149 150 152
159 160 160 161 161 162
女
25
2000.00
良
11
男
32
3000.00
良
2
男
37
3000.00
中
12
男
29
2600.00
中
3
女
42
3200.00
良
13
男
42
3400.00
良
4
男
26
2000.00
第六章 判别分析
p
y = ∑cj xj
j =1
对于Ａ类样品 yＡi = ∑ c j x Aij
j =1
p
对于B类样品 y Bi = ∑ c j xBij
j =1
p
1 yA = nA 1 yB = nB
1 ∑ y Ai = n i =1 A 1 ∑ yBi = n i =1 B
nB
nA
∑∑c x
i =1 j =1 nB p j
第六章
判别分析
一、判别分析的概念
• • 引出 （１） 某勘探区已知有三层煤，已经分别取得 了这三层煤的若干个煤样（每个煤样是哪一层煤已 知），对这些煤样进行化验，取得了每个煤样的若干 项化验数据（称为属性或变量），现钻孔发现了煤， 但不知此煤是这三层煤中的哪一层，如何鉴别之。这 就是判别分析要解决的问题。 （２）一般的做法是，分别取已知为何层煤的煤样 若干，并取得每个煤层的若干项化验数据（变量）， 建立用以判别未知煤样的关于此若干个变量的判别函 数。同样对未知煤样化验，取得同样项的化验数据， 利用判别方程，就可以判别出未知煤样属于些三层煤 中的哪一层。
nB nA 2 ( y Aij − y Aj ) + ∑ ( y Bij − y Bj ) 2 ∑ i =1 s jj = i =1 nA nB
2
( n A + n B − 2)
2
s jk j≠k
( y Aij − y Aj )( y Aik − y Ak ) + ∑ ( y Bij − y Bj )( y Bik − y Bk ) ∑ i =1 = i =1
经过整理得
c1 s11 + c 2 s12 + L + c p s1 p = bd1 c1 s 21 + c 2 s 22 + L + c p s 2 p = bd 2 LLLLLL c1 s p1 + c 2 s p 2 + L + c p s pp = bd p
y = ∑cj xj
j =1
对于Ａ类样品 yＡi = ∑ c j x Aij
j =1
p
对于B类样品 y Bi = ∑ c j xBij
j =1
p
1 yA = nA 1 yB = nB
1 ∑ y Ai = n i =1 A 1 ∑ yBi = n i =1 B
nB
nA
∑∑c x
i =1 j =1 nB p j
第六章
判别分析
一、判别分析的概念
• • 引出 （１） 某勘探区已知有三层煤，已经分别取得 了这三层煤的若干个煤样（每个煤样是哪一层煤已 知），对这些煤样进行化验，取得了每个煤样的若干 项化验数据（称为属性或变量），现钻孔发现了煤， 但不知此煤是这三层煤中的哪一层，如何鉴别之。这 就是判别分析要解决的问题。 （２）一般的做法是，分别取已知为何层煤的煤样 若干，并取得每个煤层的若干项化验数据（变量）， 建立用以判别未知煤样的关于此若干个变量的判别函 数。同样对未知煤样化验，取得同样项的化验数据， 利用判别方程，就可以判别出未知煤样属于些三层煤 中的哪一层。
nB nA 2 ( y Aij − y Aj ) + ∑ ( y Bij − y Bj ) 2 ∑ i =1 s jj = i =1 nA nB
2
( n A + n B − 2)
2
s jk j≠k
( y Aij − y Aj )( y Aik − y Ak ) + ∑ ( y Bij − y Bj )( y Bik − y Bk ) ∑ i =1 = i =1
经过整理得
c1 s11 + c 2 s12 + L + c p s1 p = bd1 c1 s 21 + c 2 s 22 + L + c p s 2 p = bd 2 LLLLLL c1 s p1 + c 2 s p 2 + L + c p s pp = bd p
判别分析-四种方法
第六章 判别分析§6.1 什么是判别分析判别分析是判别样品所属类型的一种统计方法，其应用之广可与回归分析媲美。
在生产、科研和日常生活中经常需要根据观测到的数据资料,对所研究的对象进行分类.例如在经济学中，根据人均国民收入、人均工农业产值、人均消费水平等多种指标来判定一个国家的经济发展程度所属类型；在市场预测中，根据以往调查所得的种种指标，判别下季度产品是畅销、平常或滞销;在地质勘探中，根据岩石标本的多种特性来判别地层的地质年代，由采样分析出的多种成份来判别此地是有矿或无矿，是铜矿或铁矿等；在油田开发中,根据钻井的电测或化验数据，判别是否遇到油层、水层、干层或油水混合层;在农林害虫预报中，根据以往的虫情、多种气象因子来判别一个月后的虫情是大发生、中发生或正常； 在体育运动中，判别某游泳运动员的“苗子”是适合练蛙泳、仰泳、还是自由泳等；在医疗诊断中，根据某人多种体验指标（如体温、血压、白血球等）来判别此人是有病还是无病.总之，在实际问题中需要判别的问题几乎到处可见。
判别分析与聚类分析不同。
判别分析是在已知研究对象分成若干类型(或组别)并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式,然后对未知类型的样品进行判别分类.对于聚类分析来说，一批给定样品要划分的类型事先并不知道，正需要通过聚类分析来给以确定类型的。
正因为如此,判别分析和聚类分析往往联合起来使用，例如判别分析是要求先知道各类总体情况才能判断新样品的归类,当总体分类不清楚时,可先用聚类分析对原来的一批样品进行分类，然后再用判别分析建立判别式以对新样品进行判别。
判别分析内容很丰富，方法很多.判别分析按判别的组数来区分，有两组判别分析和多组判别分析；按区分不同总体的所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。
判别分析可以从不同角度提出的问题，因此有不同的判别准则，如马氏距离最小准则、Fisher 准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。
第六章 bayes判别分析+ 举例
学 习 目 的
本章只介绍判别分析的几种最基本的方法： 贝 叶斯判别、距离判别及费歇判别．学习本章，要密 切联系实际， 着重理解判别分析的基本思想方法及 具体实现步骤，了解几种不同判别分析方法的优、 缺点及应用背景．
第六章
判 别 分 析
贝 贝 叶 叶 斯 斯 判 判 别 别
距 离 判 别 费 歇 判 别 费 歇 判 别
i =1
给定 R 的一个划分 R = ( R1 , R2 ,
Ri ∩ R j = φ (i ≠ j , i, j = 1,2,
, Rk ) ， 即 ∪ Ri =R m ，
i =1
k
, k) ， 由 R 规 定 的 判 别 准
空间 R m 的一个分划（有时也称为判别） 。即
R m = {R1 , R2 | R1 ∪ R2 = R m , R1 ∩ R2 = φ }
由 R 规定的判别准则如下： 如果 x 落在 R1 内，则判其来自总体 π 1 ； 如果 x 落在 R2 内，则判其来自总体 π 2 。 给定分划的损失函数及平均损失 设 C (1 | 2) 为样品 x 来自总体 π 2 而误判为总体 这 其 π 1 的损失， 一 误 判 的 概 率 记 为 P (1 | 2 , R ) ， 中 R = ( R1 , R2 ) ； (2 | 1) 为样品 x 来自总体 π 1 而误判 C 于是有 为总体 π 2 的损失，误判的概率记为 P(2 | 1, R) 。
R m 的任一划分，即
（6-4）
* * 证明：设 R = ( R1 , R2 ) 由（6-4）给出， R * = ( R1 , R2 ) 为
* * * * R1 ∪ R2 = R m ， R1 ∩ R2 = φ 。
g(R1 , R2 ) = q1C(2 | 1) P(2 | 1, R) + q2 C(1 | 2) P(1 | 2, R)
判别分析
培训大纲
一、概述 二、距离判别 三、贝叶斯判别 四、费希尔判别
概念：
判别分析是多元统计中用于判别样品所属类型 的一种统计分析方法。是一种在一些已知研究对象 用某种方法已经分成若干类的情况下，确定新的样 品的观测数据属于那一类的统计分析方法。
判别准则： 用于衡量新样品与各已知组别接近程度的思路原则。
距离判别样例:
data ds511; input id x1-x4 group $; cards;
1 13.85 2.79 7.80 49.60 A 2 22.31 4.67 12.31 47.80 A 3 28.82 4.63 16.18 62.15 A 4 15.29 3.54 7.50 43.20 A 5 28.79 4.90 16.12 58.10 A 6 2.18 1.06 1.22 20.60 B 7 3.85 0.80 4.06 47.10 B 8 11.40 0.00 3.50 0.00 B 9 3.66 2.42 2.14 15.10 B 10 12.10 0.00 5.68 0.00 B ; run; data d511test; input id x1-x4 group $ ; cards; 11 8.85 3.38 5.17 26.10 . 12 28.60 2.40 1.20 127.00 . 13 20.70 6.70 7.60 30.20 . 14 7.90 2.40 4.30 33.20 . 15 3.19 3.20 1.43 9.90 . 16 12.40 5.10 4.43 24.60 . 17 16.80 3.40 2.31 31.30 . 18 15.00 2.70 5.02 64.00 . ; run; proc discrim data=ds511
一、概述 二、距离判别 三、贝叶斯判别 四、费希尔判别
概念：
判别分析是多元统计中用于判别样品所属类型 的一种统计分析方法。是一种在一些已知研究对象 用某种方法已经分成若干类的情况下，确定新的样 品的观测数据属于那一类的统计分析方法。
判别准则： 用于衡量新样品与各已知组别接近程度的思路原则。
距离判别样例:
data ds511; input id x1-x4 group $; cards;
1 13.85 2.79 7.80 49.60 A 2 22.31 4.67 12.31 47.80 A 3 28.82 4.63 16.18 62.15 A 4 15.29 3.54 7.50 43.20 A 5 28.79 4.90 16.12 58.10 A 6 2.18 1.06 1.22 20.60 B 7 3.85 0.80 4.06 47.10 B 8 11.40 0.00 3.50 0.00 B 9 3.66 2.42 2.14 15.10 B 10 12.10 0.00 5.68 0.00 B ; run; data d511test; input id x1-x4 group $ ; cards; 11 8.85 3.38 5.17 26.10 . 12 28.60 2.40 1.20 127.00 . 13 20.70 6.70 7.60 30.20 . 14 7.90 2.40 4.30 33.20 . 15 3.19 3.20 1.43 9.90 . 16 12.40 5.10 4.43 24.60 . 17 16.80 3.40 2.31 31.30 . 18 15.00 2.70 5.02 64.00 . ; run; proc discrim data=ds511
判别分析
P273
• 4、classify的设定
用于分类的先 验概率
选择计算时的 协方差矩阵 输出判别分析正确 或错误分组的个数 交叉验证
• 结果：
标准化的典型判别函数的系数
Fisher线性判别函数
关于不同判别函 数的作用
• 例：有一个样本，四个自变量的取值分别为 50、33、14，2，判定它到底归属于哪一类。 • 第一种：非标准化的辨别函数： • Step1： • D1=-2.526-0.063 x50-0.155 x33+0.196 x 14+0.299 x2=-7.499 • D2=-6.987+0.007 x50+0.218 x33-0.089 x 14+0.271 x2=-0.147 • Step2：领域图
逐步分析方法。当认为不是 所有自变量都能对观测量特 性提供信息时，选择该项， 因此需要判别贡献的大小再 进行选择。选中该单选按钮 时，“Method”按钮被激活， 可以进一步选择判别分析方 法。
• 3、statistic的设定
自变量的分组及平均数 与标准差 自变量的单因素方差分析 组间协方差矩阵的检验
判别分析
• §1. 基本原理 • §2. 基本步骤 • §3. 实例分析
§1. 基本原理
• 定义：判别分析先根据已知类别的事物的性质 （自变量），建立函数式（自变量的线性组合， 即判别函数），然后对未知类别的新事物进行 判断以将之归入已知的类别中。 • 判别分析是一种有效的对个案进行分类分析的 方法。和聚类分析不同的是，判别分析时，组 别的特征已知。 有学者在研究中提出，可以利 用判别分析来对聚类分析结果的准确性进行检 验。聚类
• 练习：iris.Sav
• 作业：4-26.sav
判别分析课件
断
○○○○○●●●●
界
○○○●●●●
值
○○●●●
○●●●
X平面
X平面
判别分析的应用： 1、用于临床上疾病的诊断和鉴别诊断。 2、疾病发病的预测 3、病人预后的预测
判别分析的分类
1、按类别分：二类判别 多类判别
Fisher、Bayes
2、方法：Fisher判别分析(距离判别) Bayes判别分析(概率判别) 非参数判别分析
详细资料见：皮质醇.xls
原始数据
整理数据
分析方法
分析方法
分析方法
Wilks λ统计量最小化 相邻两组马氏距离最大化
组间不可解释方差和最小化
分析方法
分析方法
分析结果
判别函数式：
新病人的数据分别代入，哪个值 大就判归哪种类型。
Y1=0.222ACTH8+3.985转移+8.595FHIT+4.744Ki-67－20.014 Y2=0.080ACTH8+3.647转移+6.246FHIT+4.239Ki-67－8.848 Y3=0.019ACTH8+14.462转移+4.153FHIT+9.483Ki-67－11.968
常数项
回归系数
构造判别函数式：
p yj|x 1 e 1 j x 1 e 1 j 1 x
j=1，2，3，….
新病人回代，哪个值大判归哪类。
Y=0的概率：
P y 0 1 e 5 .1 7 2 .3 2F 84 H 1 1 .7IK 5 T 6 8 i 2 7 .0P 56 CNA
判别分析的根本原理：
Y平面
诊断界值
○○○○○○○● ○○○○○○● ○○○○○●●●● ○○○●●●● ○○●●● ○●●●
应用多元统计分析-第六章 判别分析
4
判别分析例子
例10.1 数据“企业评价.sav” :企图用一 套打分体系来描绘企业的状况。该体系对 每个企业的一些指标（变量）进行评分。 这些指标包括：
企业规模、服务、 雇员工资比例、利润增长、 市场份额、市场份额增长、 流动资金比例、资金周转速度等等。
5
Disc.sav数据
企业评价.sav数据有8个用来建立判别标准 (或判别函数)的（预测）变量，另一个 （group）是类别。 因此每一个企业的打分在这8个变量所构成 的8维空间中是一个点。这个数据有90个点， 由于已经知道所有点的类别了，所以可以 求得每个类型的中心。这样只要定义了如 何计算距离，就可以得到任何给定的点 （企业）到这三个中心的三个距离。
各组协方差阵相等的检验
Test Results 207.175 Approx. 2.498 df1 72 df2 21089.679 Sig. .000 Tests null hypothesis of equal population covariance matrices. Box's M F
21
-4
-3
-2
-1
0
1
2
3
-4 -2 0 2 4 6
22
Fisher判别法
于是就寻找一个方向，也就是图上的虚线 方向，沿着这个方向朝和这个虚线垂直的 一条直线进行投影会使得这两类分得最清 楚。可以看出，如果向其他方向投影，判 别效果不会比这个好。 有了投影之后，再用前面讲到的距离远近 的方法来得到判别准则。这种首先进行投 影的判别方法就是Fisher判别法。
这样的判别虽然不能 保证百分之百准确， 但至少大部分判别都 是对的，而且用不着 杀死昆虫来进行判别 了。 3
判别分析例子
例10.1 数据“企业评价.sav” :企图用一 套打分体系来描绘企业的状况。该体系对 每个企业的一些指标（变量）进行评分。 这些指标包括：
企业规模、服务、 雇员工资比例、利润增长、 市场份额、市场份额增长、 流动资金比例、资金周转速度等等。
5
Disc.sav数据
企业评价.sav数据有8个用来建立判别标准 (或判别函数)的（预测）变量，另一个 （group）是类别。 因此每一个企业的打分在这8个变量所构成 的8维空间中是一个点。这个数据有90个点， 由于已经知道所有点的类别了，所以可以 求得每个类型的中心。这样只要定义了如 何计算距离，就可以得到任何给定的点 （企业）到这三个中心的三个距离。
各组协方差阵相等的检验
Test Results 207.175 Approx. 2.498 df1 72 df2 21089.679 Sig. .000 Tests null hypothesis of equal population covariance matrices. Box's M F
21
-4
-3
-2
-1
0
1
2
3
-4 -2 0 2 4 6
22
Fisher判别法
于是就寻找一个方向，也就是图上的虚线 方向，沿着这个方向朝和这个虚线垂直的 一条直线进行投影会使得这两类分得最清 楚。可以看出，如果向其他方向投影，判 别效果不会比这个好。 有了投影之后，再用前面讲到的距离远近 的方法来得到判别准则。这种首先进行投 影的判别方法就是Fisher判别法。
这样的判别虽然不能 保证百分之百准确， 但至少大部分判别都 是对的，而且用不着 杀死昆虫来进行判别 了。 3
第6章判别分析(王斌会)
6.3 距离判别分析
思想：根据已知分类的数据，分别计算各类的重心即 各组的均值，判别准则是对任给的一次观测，若它与 第i类的重心距离最近，就认为它来自第i类。 1.两总体距离判别
第1个总体G1 抽n1个样品
第2个总体G2抽 n2个样品
判别标准
D(X, G1 ) D(X, G 2 ) D(X, G1 ) D(X, G 2 ) D(X, G1 ) D(X, G 2 )
5-5
2.计算判别界值
计算各类判别值均值：
两均值中点为界点：
Y1 Y2 Y0 2
3.建立判别标准 （1）当 Y1 Y2 时，Y<Y0,则X∈G1，否则X∈G2 （2）当 Y1 Y2 时，Y<Y0,则X∈G2，否则X∈G1 （3）当 Y1 Y2 时，待判
5-6
4.实例分析
雨天（A） 晴天（B） 组别 湿温差 气温差 组别 湿温差 气温差 1 -1.9 3.2 2 0.2 6.2 1 -6.9 0.4 2 -0.1 7.5 1 5.2 2 2 0.4 14.6 1 5 2.5 2 2.7 8.3
(tab=table(G,newG)) #混淆矩阵
newG G 1 2 1 9 1 2 1 9
sum(diag(prop.table(tab)))=0.9 #判对率 predict(ld,data.frame(x1=8.1,x2=2.0),data=d6.1) #判对率判别分析 结论：明天x1=8.1，x2=2.0，预测明天是雨天，此 90%。 5次准确率为 -9
问题：现根据该资料建立判别函数，根据判别准则进 行回判，假设有一新厂商推销其产品，Q=8.0,C=7.5, P=65,预测该产品销售前景如何？
5 - 12
第六章判别分析
第六章判别分析第六章判别分析近年来，判别分析在植物分类、天⽓预报、经济决策与管理、社会调查、农业科研、科研数据整理分析中都得到了⼴泛的应⽤。
判别分析是⼀种很有实⽤价值⽽且应⽤极其⼴泛的⼀种统计⽅法。
本章介绍两种常⽤的判别⽅法：距离判别及Fisher 判别。
§1 距离判别距离判别是先给出⼀个样品到某个总体的距离的定义，然后根据样品到各个总体的距离的远近，来判断该样品应归属于哪⼀个总体。
本节先介绍多元分析中⼴泛应⽤的马⽒距离的概念，然后，再介绍距离判别的⽅法。
⼀、马⽒距离 1.概念距离是⼀个最直观的概念，多元分析中许多⽅法都可⽤距离的观点来推导，其中最著名的⼀个距离是印度统计学家Mahalanobis 于1936年引进的，所以习惯上称之为马⽒距离。
下⾯我们很快会看到，马⽒距离是我们熟知的欧⽒距离的⼀种推⼴。
定义：设P 维总体G 的均值向量为u ，协差阵为V>0（有V －1>0存在）X,Y 是总体G 的两个样品，则：(1)X 与Y 两点的马⽒距离d(X,Y)为：211)]()[(),(Y X V Y X Y X d -'-=-(2) X 与总体G 的马⽒距离为：211)]()[(),(u X V u X G X d -'-=-2.性质很容易证明，马⽒距离符合作为距离的三条基本公理：设X ，Y ，Z 是总体G 的三个样品，则有： (1)⾮负性：Y X Y X d Y Xd =?=≥0),(,0),( (2)对称性：),(),(X Y d Y X d =(3)满⾜三⾓不等式：),(),(),(Z Y d Y X d Z X d +≤证：(2)),()]()[()]()[(),(211211X Y d X Y V X Y Y X V Y X Y X d =-'-=-'-=-- 其它性质不证。
由马⽒距离的定义知，当V=E 时，X 与Y 的马⽒距离就变成为欧⽒距离：221121)()()]()[(),(p p y x y x Y X Y X Y X d -++-=-'-=所以，马⽒距离是欧⽒距离的推⼴，欧⽒距离是马⽒距离的特例。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解决这个问题可以有多种途径，我们只介绍其常用 的一些，如距离判别，贝叶斯判别，费歇判别等。
§6.1 距离判别
如果事先已有m类的知识，我们把每一类看成一 个总体，设每个总体都是p维变量，第j类Gj 的平均 向量为 u j ，协方差矩阵为Σj(j=1,2,…,m)，
现有一个样本 y ，要判断它属于哪一个总体，
马氏距离判别
待判样本到各类的马氏距离
d ( y, G j ) ( y u j )
2
1 j
(y uj )
距离判别的基本原则如下： 1.计算 y 与各总体Gj(j＝1,…,m)的马氏距离
d2(
d 2 ( y, Gk ) min d 2 ( y, G j )，则判 划入第k类。即若
0.0351
0.0264 0.1624 0.2333
竹 波段 4 5 6 7 水 波段 4 5 6 4 0.00094 5 -0.00015 0.00021 6 4 0.00091 5 0.00143 0.00117 6
林 7 0.01006 0.00782 0.04611 0.08261 地 7 0.00024 0.00005 0.00095 平均数 0.0583 0.0443 0.0255 平均数 0.0728 0.0498 0.3261 0.4378
波段），用以估计各类型（总体）平均值和协方差阵。
本例取自杭州附近某林区利用光谱进行土地分类
的研究材料。为了说明问题，材料是经显著简化了的。
这里只取了四个类型（纯针叶林，阔叶混交林，竹林，
水地），每个类型选取15块观测样地进行光强度测量。 所示
然后算出了四个类型的离差矩阵和平均值，如表（6.1）
表（6.1） 四种土地类型各波段的离差阵Q 阔 波段 4 4 0.00088 5 0.00061 叶 6 0.00417 林 7 0.00521 平均数 0.0503
第6章 判别分析
在生产、科研和日常生活中，我们经常会遇到需要 对某一研究对象属于哪种情况作出判断。 例如，要根据这两天天气情况判断明天是否会下雨。 医生要根据病人的体温、白血球数目及其它症 状判断此病人是否患某种疾病 地质勘探中需要从岩石标本的多种特性去判断 该地区是否有某种矿 持股票者要根据某一种股票近期变化情况判断 此种股票是升还是降。 这些问题都是判别问题
2.找出其中的最小值，若d2( y
1 j m
,G )， y j
,Gk)最小，则将 y
定 y Gk 。
注意：如果总体平均值 u j 及总体协方差Σj都为未
1 x j , S j ( j 2,, m) 。这时
知，自然用样本平均值及样本协方差阵来代替。即从
Gj中抽取nj个样本单元来计算
0.034
0.046
0.029
0.064
0.042
（ⅱ）马氏（Mahalanobis）距离 印度统计学家Mahalanobis设计出了这种距离。
1 d xi x j S xi x j
2 ij
马氏距离与原始数据的测量单位无关。 马氏距离虽然与测量单位无关，但它 又会夸大缩小变量的作用，这是马氏距离在 实用中的不足。
表（6.2） 对16个样本材料进行距离判别
样本号 波段 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
4
0.052
0.054
0.056
0.041
0.092
0.065
0.076
0.067
0.050
0.048
0.030
0.033
0.053
0.061
0.062
0.068
5
0.034
判别分析是判别样品所属类型的一种统计方法。 例如，事先已知某地区土壤分类，分为G1，G2，…， Gm类，现在又取得了一个土样，需要判定这个土样属 于哪一类。 类似的问题还很多，如判断一株植物属于哪个种， 判断一个林分属于哪个类型，判断一个地区属于哪种 气候类型等。 这些问题有一共同特点，就是事先已有“类”的划 分，或事先已对某些已知样本分好了“类”，需要判 断那些还未分类的样本究竟属于哪一类。 正因为它有这样的特点，所以有些文献把判别分析 又叫做有监督分类。
5
6 7 针 波段 4
0.00071
0.00531
0.05360
0.00728
0.07165 0.10233
0.0357
0.2490 0.3266
叶 5
纯 6
林 7 平均数
4
5 6 7
0.00261
0.000231
0.000269
0.002130
0.002310 0.020779
0.002419
0.002720 0.023690 0.028887
即要将该样本进行归类。 一个最直观的想法，就是计算该样本到各总体 之间的距离，并且将其归入离它最近的那一类。
欧氏距离与马氏距离
（ⅰ）欧氏（Euchiled）距离
d ( xi x j ) ( xi x j )( xi x j )
ij 2
p
1
欧氏距离虽然很有用，很也有明显的缺点。 例如，当改变测量单位时，算出的距离数值就不 相同。再则它将样本的不同属性（即各变量）之 间的差别等同看待，有时不能满足实际要求，因 为事物个体间不同属性的差异对于区别个体有着 不同的重要性。
2
1 d ( y, G j ) ( y x j )S j ( y x j )
例6.1 在遥感技术的应用研究中，利用卫星磁带的
各波段光强度进行土地类型分类。首先将研究地区分 成m个类型，想象将各类型划分成大小相同的许多样 地，在每个类型中抽取一部分样地作为观测样地。测 定每个观测样地四个波段的光谱度（4，5，6，7四个 然后依次判断各样地所属类型，从而达到将全部土地 进行分类的目的。
0.00656 0.00516 0.03606
0.00039 -0.00015 0.00148
7
0.00091
0.0190
现在要根据这些基础材料判别各样地属于哪一个类型，如 果将所研究地区的全部样地都判定了它属于哪个类型，也就达 到了划分土地类型的目的。为此只要测定各样地的四个波段光 强度，用判别分析的方法进行判定就可以了。