第十八章_判别分析
判别分析的基本原理
______________________________________________________________________________________________________________判别分析的基本原理和模型一、判别分析概述（一）什么是判别分析判别分析是多元统计中用于判别样品所属类型的一种统计分析方法，是一种在已知研究对象用某种方法已经分成若干类的情况下，确定新的样品属于哪一类的多元统计分析方法。
判别分析方法处理问题时，通常要给出用来衡量新样品与各已知组别的接近程度的指标，即判别函数，同时也指定一种判别准则，借以判定新样品的归属。
所谓判别准则是用于衡量新样品与各已知组别接近程度的理论依据和方法准则。
常用的有，距离准则、Fisher准则、贝叶斯准则等。
判别准则可以是统计性的，如决定新样品所属类别时用到数理统计的显著性检验，也可以是确定性的，如决定样品归属时，只考虑判别函数值的大小。
判别函数是指基于一定的判别准则计算出的用于衡量新样品与各已知组别接近程度的函数式或描述指标。
（二）判别分析的种类按照判别组数划分有两组判别分析和多组判别分析；按照区分不同总体的所用数学模型来分有线性判别分析和非线性判别分析；按照处理变量的方法不同有逐步判别、序贯判别等；按照判别准则来分有距离准则、费舍准则与贝叶斯判别准则。
二、判别分析方法（一）距离判别法１．基本思想：首先根据已知分类的数据，分别计算各类的重心，即分组（类）均值，距离判别准则是对于任给一新样品的观测值，若它与第i类的重心距离最近，就认为它来自精品资料第i 类。
因此，距离判别法又称为最邻近方法（nearest neighbor method ）。
距离判别法对各类总体的分布没有特定的要求，适用于任意分布的资料。
２．两组距离判别两组距离判别的基本原理。
设有两组总体B A G G 和，相应抽出样品个数为21,n n ，n n n =+)(21，每个样品观测p 个指标得观测数据如下，总体A G 的样本数据为：()()()()()()()()()A x A x A x A x A x A x A x A x A x p n n n p p 111212222111211该总体的样本指标平均值为：()()()A x A x A x p 21,总体B G 的样本数据为：()()()()()()()()()B x B x B x B x B x B x B x B x B x p n n n p p 222212222111211该总体的样本指标平均值为：()()()B x B x B x p 21,现任取一个新样品X ，实测指标数值为X =（p x x x ,,,21 ），要求判断X 属于哪一类？首先计算样品X 与A G 、B G 两类的距离，分别记为()A G X D ,、()B G X D ,，然后按照距离最近准则判别归类，即样品距离哪一类最近就判为哪一类；如果样品距离两类的距离相同，则暂不归类。
判别分析完整课件
2 i 1 m
m为判别指标数，根据自由度查F(m,n1+n2-m-1)。
（三）确定判别临界值
确定两类的判别临界值（即两类的分界点）yc， 据此对未知样本作出判断。
yc
n1 y(1) n2 y( 2 ) n1 n2
在医学科研资料中经常遇到指标变量不呈正态分 布或难以满足参数判别分析的要求，特别是有些 变量是分类变量，不可能服从正态分布，可以用 Logistic回归分析的方法。
实际资料中一般含有较多的指标，有些指标可能 对鉴别不同的类别毫无用处，或指标间彼此相关的情 况时不应该用所有的指标都参与建判别函数。所以， 在建函数之前，先进行变量筛选是很有必要的，即逐 步判别分析,此法建立的函数更简洁，效果也更好。 此外,对于某些指标间存在彼此相关的情况时, 先对众多的指标进行聚类，从聚成的几大类中各挑选 一个最有代表性的指标，用这些典型指标建立判别函 数。 逐步回归、判别分析、聚类分析等方法可以联合 应用。
y ci xi
i 1 n
2
n1
(y
i 1
n2
i ( 2)
y( 2 ) )
2
y(1) ck xk (1)
k 1
n1
y( 2) ck xk ( 2)
k 1
n2
根据求极值的原理，求I对判别系数Ci的偏导数，使其等 于零，得到下列方程组：
f11C1+f12C2+……f1mCm=d1 f21C1+f22C2+……f2mCm=d2 ……… …… …… ……… ….. fm1C1+fm2C2+……fmmCm=dm 其中， di
判别分析
多变量统计分析方法
01 简介
03 判别函数
目录
02 基本思想 04 建立方法
05 判别方法
07 应用
目录
06 验证方法
基本信息
判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的 一种多变量统计分析方法。
其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待 定系数，并计算判别指标。据此即可确定某一样本属于何类。
3）Fisher判别：亦称典则判别，是根据线性Fisher函数值进行判别，通常用于梁祝判别问题，使用此准则 要求各组变量的均值有显著性差异。该方法的基本思想是投影，即将原来在R维空间的自变量组合投影到维度较低 的D维空间去，然后在D维空间中再进行分类。投影的原则是使得每一类的差异尽可能小，而不同类间投影的离差 尽可能大。Fisher判别的优势在于对分布、方差等都没有任何限制，应用范围比较广。
判别方法
判别方法
判别方法是确定待判样品归属于哪一组的方法，可分为参数法和非参数法，也可以根据资料的性质分为定性 资料的判别分析和定量资料的判别分析。此处给出的分类主要是根据采用的判别准则分出几种常用方法。除最大 似然法外，其余几种均适用于连续性资料。
1）最大似然法：用于自变量均为分类变量的情况，该方法建立在独立事件概率乘法定理的基础上，根据训 练样品信息求得自变量各种组合情况下样品被封为任何一类的概率。当新样品进入是，则计算它被分到每一类中 去的条件概率（似然值），概率最大的那一类就是最终评定的归类。
基本思想
基本思想
根据判别中的组数，可以分为两组判别分析和多组判别分析； 根据判别函数的形式，可以分为线性判别和非线性判别； 根据判别式处理变量的方法不同，可以分为逐步判别、序贯判别等； 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。
《判别分析》课件
在金融领域的应用
信用评分
利用判别分析模型，通过借款人 的特征和历史表现，预测其未来 违约风险，为金融机构提供信贷
决策依据。
市场风险评估
判别分析用于评估金融市场风险 ，通过分析市场数据和变量，预 测市场走势，帮助投资者做出合
理决策。
投资组合优化
利用判别分析对投资组合进行优 化，通过评估不同资产的风险和 回报，为投资者提供最佳资产配
对判别分析的未来展望
改进算法
针对判别分析的假设严格问题，未来研究可以尝试改进算法，放宽 假设条件，使其更适用于实际数据。
结合其他技术
可以考虑将判别分析与其它机器学习算法相结合，如神经网络、支 持向量机等，以提高分类性能和泛化能力。
拓展应用领域
随着大数据时代的到来，判别分析在各个领域的应用越来越广泛，未 来可以进一步拓展其应用领域，解决更多实际问题。
在市场营销中，判别分析可用于市场 细分，根据消费者的购买行为、偏好 和需求等因素，将市场划分为不同的 细分市场，帮助企业制定更加精准的 市场策略。
广告投放优化
通过判别分析对广告投放效果进行评 估和优化，基于历史数据和实时监测 数据，分析不同广告渠道和创意的表 现，提高广告投放的效率和效果。
06 判别分析的案例分析
金融领域的判别分析案例
信用风险评估
利用判别分析对银行客户进行信用风险评估，根据客户的历 史表现和其他相关信息，预测其未来违约的可能性，帮助银 行制定更加精准的信贷政策。
股票市场预测
通过判别分析对股票市场走势进行预测，基于历史数据和市 场信息，构建预测模型，以指导投资者进行投资决策。
1. 单变量判别函数
基于单个特征的判别函数。
2. 多变量判别函数
判别分析理论部分
判别分析一、理论部分（一）判别分析概述判别分析产生于20世纪30年代，是利用已知类别的样本建立判别模型，为未知类别的样本判别的一种统计方法。
近年来，判别分析在自然科学、社会学及经济管理学科中都有广泛的应用。
1.什么是判别分析所谓的判别分析是根据观测到的某些指标对所研究的对象进行分类的一种多元统计分析方法。
判别分析在主要目的是识别一个个体所属类别的情况下有着广泛的应用。
潜在的应用包括预测产品的成功或失败，决定学生是否别录取，按职业兴趣对学生分组，确定某人信用风险的种类，预测一个公司是否成功。
这些都可以通过判别分析来实现。
2.判别分析的特点判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。
当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。
3.判别分析用用的领域判别分析的应用领域非常广泛，例如：（1）用户和非用户；（2）经常购买者和非经常购买者；（3）新用户、流失用户和忠实用户；（4）忠诚用户和非忠诚用户；（5）新产品早期使用者和后期使用者；（6）消费者心目中喜欢的品牌和不喜欢的品牌；（7）消费者对我们的品牌和竞争品牌的不同属性偏好；（8）偏好图；（9）市场细分；（10）新产品开发等；4.判别分析与聚类分析的比较判别分析和聚类分析是不同的，很多人不知道两者的区别，为更好阐明两者的区别在此做出比较：聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程。
（1）基本思想不同聚类分析的基本思想。
我们所研究的样品或指标( 变量) 之间存在程度不同的相似性( 亲疏关系) , 于是根据一批样品的多个观测指标, 具体找出一些能够度量样品或指标之间相似程度的统计量, 以这些统计量作为划分类型的依据。
把一些相似程度较大的样品( 或指标) 聚合为一类, 把另外一些相似程度较大的样品( 或指标) 又聚合为另一类; 关系密切的聚合到一个小的分类单位, 关系疏远的聚合到一个大的分类单位, 直到把所有的样品(或指标)聚合完毕。
判别分析精讲
判别分析判别分析是一种常用的统计分析方法，根据观察或测量到若干变量值，判别研究对象属于哪一类的方法。
进行判别分析必须已知观测对象的分类和若干表明观测对象特征的变量值。
判别分析就是要从中筛选出能提供较多信息的变量并建立判别函数，使得利用推导出的判别函数对观测量判别其所属类别时的错判率最小。
线性判别函数一般形式是1122...n n y a x a x a x =+++，y 为判别分数（判别值），n x 为反映研究对象特征的变量，n a 为各变量的判别系数。
典则判别分析：建立典则变量代替原始数据文件中指定的自变量。
典则变量是原始自变量的线性组合。
用少量的典则变量代替原始的多个变量可以比较方便地描述各类之间的关系。
实验：实验数据见：判别分析2010.sav .例1：一个城市的居民家庭，按其有无割草机可分为两组，有割草机的记为一组为1π，没有割草机的一组记为2π，割草机工厂欲判断一些家庭是否购买割草机。
从1π和2π分别随机抽取12个样品，调查两项指标：1x =家庭收入，2x =房前屋后土地面积。
用y 作为二元被解释变量，有割草机的家庭用1表示，没有割草机的家庭用0表示，12,x x 作为解释变量。
实验步骤:打开判别分析2010.sav ,之后选择判别分析。
选择变量，定义范围分组变量：必须是离散变量，设置分类变量的范围选择变量：选择一部分符合条件的观测量进行判别函数的推导，而且有一个变量的某个值可以作为这些观测量的标识。
例如：新设一个变量group，选择group=1，则只有group=1的观测量参与判别函数的推导。
一起输入自变量：判别分析过程使用所有的自变量进行判别分析，建立全模型。
使用步进式方法：筛选能对观测量的特性提供丰富的信息的自变量进入判别分析。
在“方法”栏中作相应选择Wilks’lambda：每步都是Wilk的lambda统计量最小的进入判别函数。
未解释方差：每步都是各类不可解释的方差和最小的变量进入判别函数。
医学统计学课件-第十八章 聚类分析
聚类分析（clustering analysis）一、聚类分析与判别分析将随机现象归类的统计学方法，在不知道应分多少类合适的情况下，试图借助数理统计的方法用已收集到的资料找出研究对象的适当归类方法。
已成为发掘海量基因信息的首选工具。
在已知分为若干个类的前提下，获得判别模型，并用来判定观察对象的归属。
判别分析聚类分析二者都是研究分类问题的多元统计分析方法二、聚类对象类型聚类分析属于探索性统计分析方法，按照分类目的可分为两大类。
例如测量了n个病例（样品）的m个变量（指标），可进行：（1）R型聚类又称指标聚类，是指将m个指标归类的方法，其目的是将指标降维从而选择有代表性的指标。
（2）Q型聚类又称样品聚类，是指将n个样品归类的方法，其目的是找出样品间的共性。
无论是R型聚类或是Q型聚类的关键是如何定义相似性，即如何把相似性数量化。
聚类的第一步需要给出两个指标或两个样品间相似性的度量——相似系数（similarity coefficient）的定义。
1．R 型（指标）聚类的相似系数X 1，X 2，…，X m 表示m 个变量，R 型聚类常用简单相关系数的绝对值定义变量间的相似系数：绝对值越大表明两变量间相似程度越高。
同样也可考虑用Spearman 秩相关系数定义非正态变量X i 与X j 间的相似系数。
当变量均为定性变量时，可用列联系数定义类间的相似系数。
22()()(19-1)()()i i j j ij i i j j X X X X r X X X X --=--∑∑∑将n 例（样品）看成是m 维空间的n 个点，用两点间的距离定义相似系数，距离越小表明两样品间相似程度越高。
2．Q 型（样品）聚类常用相似系数|| (19-4)ij i j d X X =-∑（2）绝对距离：绝对距离（Manhattan distance ）2() (19-3)ij i j d X X =-∑（1）欧氏距离: 欧氏距离（Euclidean distance ）2．Q 型（样品）聚类常用相似系数（3）Minkowski 距离：绝对距离是q=1时的Minkowski 距离；欧氏距离是q=2时的Minkowski 距离。
数学建模课件-判别分析
第二节 Bayes判别分析
(一).
Bayes准则
设有定义明确的g个总体π 1,π 2,…,π g, 分别为 X1,X2,…,Xp的多元正态分布。对于任何一个个体, 若已 知p个变量的观察值,要求判断该个体最可能属于哪一个 总体。 如果我们制订了一个判别分类规则, 难免会发生错 分现象。把实属第i类的个体错分到第j类的概率记为 P(j｜i),这种错分造成的损失记为C(j｜i)。 Bayes判别 准则就是平均损失最小的准则。按照这个准则去找一种 判别分类的规则,就是Bayes判别。
X1 X11A X21A „„ Xn11A X1A
„„ „„ „„ „„ „„ „„
Xm X1mA X2mA „„ Xn1mA XmA
编号 1 2 „„ n2 均值
X1 „ „„ „„ „„
Xm X1mB X2mB „„ Xn2mB XmB
令欲建立一个判别函数
Y（B） 7.0300 6.7616 6.8505 7.0413 7.2244 7.0880 6.7346 7.3152 7.2522
76.38
79.14
81.15
7.0331
判别分析步骤
1、确定判别指标（X1，X2和X3） 2、收集数据，得到训练样本 3、根据实测资料(训练样本)用判别分析方法可 建立判别函数 4、考核该判别函数是否有实用价值（回顾性 考核，前瞻性考核），其符合率达到要求则可 应用于实践。 5、实际应用未知类别样品的判别归类。
第二步 解此方程组，得C1 =0.007440、C2=0.032412、 C3=0.048055 故判别函数为 Y＝0.007440 X1+0.032412X2+0.048055 X3
判别分析-精选文档
训练样本的质量与数量至为重要。每一个 体所属类别必须用“金标准”予以确认; 解释 变量（简称为变量或指标）X1,X2,…, Xp必须 确实与分类有关; 个体的观察值必须准确;个 体的数目必须足够多。
2019年2月28日8时33分
厚德载物
自强不息
10
生物医学研究的统计方法
训练样本的数据内容与符号 ─────────────────────────────────── 解释变量 个体号 ─────────────────────── 类别变量(Y) X1 X2 … Xj … XP ─────────────────────────────────── 1 X11 X12 … X1j … X1P y1 2 X22 X22 … X2j … X2P y2 … … … … … … … … i Xi1 Xi2 … Xij … XiP y3 … … … … … … … … n Xn1 Xn2 … Xnj … XnP yP ────────────────────────────────────
前瞻性考核（组外考核）
得到总符合率，特异性，敏感性，假阳性率和假阴性 率。
2019年2月28日8时33分
厚德载物
自强不息
7
生物医学研究的统计方法
（5）实际应用 未知类别样品的判别归类。 如有某病人，用显微分光光度计对其细胞进行检测， 得到X1，X2和X3的值。将X1,X2,X3值，代入判别函数 Y=X1+10X2+10X3; 可得Y值，Y>100则判断为癌症，Y<100则判断为非癌症。
2019年2月28日8时33分
厚德载物
自强不息
2
生物医学研究的统计方法
（1）有无某种疾病 例：计算机用于胃癌普查，用于中风预报。 （2）疾病的鉴别诊断 例：计算机用于对肺癌，肺结核和肺炎进行鉴别诊断。 （3）患有某疾病中的哪一种或哪一型 例：鉴别诊断单纯性或绞窄性肠梗阻。 鉴别诊断阑尾炎中的卡他性，蜂窝织炎，
判别分析
P273
• 4、classify的设定
用于分类的先 验概率
选择计算时的 协方差矩阵 输出判别分析正确 或错误分组的个数 交叉验证
• 结果：
标准化的典型判别函数的系数
Fisher线性判别函数
关于不同判别函 数的作用
• 例：有一个样本，四个自变量的取值分别为 50、33、14，2，判定它到底归属于哪一类。 • 第一种：非标准化的辨别函数： • Step1： • D1=-2.526-0.063 x50-0.155 x33+0.196 x 14+0.299 x2=-7.499 • D2=-6.987+0.007 x50+0.218 x33-0.089 x 14+0.271 x2=-0.147 • Step2：领域图
逐步分析方法。当认为不是 所有自变量都能对观测量特 性提供信息时，选择该项， 因此需要判别贡献的大小再 进行选择。选中该单选按钮 时，“Method”按钮被激活， 可以进一步选择判别分析方 法。
• 3、statistic的设定
自变量的分组及平均数 与标准差 自变量的单因素方差分析 组间协方差矩阵的检验
判别分析
• §1. 基本原理 • §2. 基本步骤 • §3. 实例分析
§1. 基本原理
• 定义：判别分析先根据已知类别的事物的性质 （自变量），建立函数式（自变量的线性组合， 即判别函数），然后对未知类别的新事物进行 判断以将之归入已知的类别中。 • 判别分析是一种有效的对个案进行分类分析的 方法。和聚类分析不同的是，判别分析时，组 别的特征已知。 有学者在研究中提出，可以利 用判别分析来对聚类分析结果的准确性进行检 验。聚类
• 练习：iris.Sav
• 作业：4-26.sav
第十八章 判别分析
.63411.566
X3
.712 8.081
df1 1 1 1
df2 20 20 20
Sig. .231 .003 .010
单变量检验提示：
X2和x3在区别不同类别人群有统计学 意义。
27
检验建模数据变量的变异在类间 是否齐性？
协方差的Box‘s M检验
表3 Test Results
Box's M
s11,s12,s13 17.53,20.3,2.3 ss21,s22,s2320.3,38.2,5.8
s31,s32,s33 2.3,5.8,2.7
16
变量的合并方差和协方差
s11 (xn A1 A x 1A1)2 (xn B1 B x 1B1)2
用误判率评价:
p(A/ B) 判B为 类 A类 的的 例例 数数
p(B/ A)判A为 类 B类的的例例数数
总 误 判 率 误 判 A 为 类 B 类 B 类 A 的 类 例 的 数 例 数
21
表18-1资料回顾性判别效果评价
原分类
判别分类
A
B
合计
A
10212B来自2810
合计
12 10
22
对资料要求： 要求建立方程的观察对象分类（y）已经
明确（用金标准确定），收集建模对象（训 练样本）的m个变量（x）建立判别方程。
7
判别分析建模的方法
根据自变量（x）资料性质：
自变量（x）为计量数据： Fisher判别、Bayes判别（SPSS、SAS
统计软件可实现）。
自变量（x） 为定性数据： 最大似然判别法、Bayes公式判别（统计
软件不能自动实现）。
判别分析的原理及其操作
判别分析的原理及其操作1 判别分析的原理1．1 判别分析的涵义判别分析（Discriminant Analysis，简称DA）技术是由费舍（R．A．Fisher）于1936年提出的。
它是根据观察或测量到的若干变量值判断研究对象如何分类的方法。
具体地讲，就是已知一定数量案例的一个分组变量（grouping variable）和这些案例的一些特征变量，确定分组变量和特征变量之间的数量关系，建立判别函数（discriminant function），然后便可以利用这一数量关系对其他已知特征变量信息、但未知分组类型所属的案例进行判别分组。
沿用多元回归模型的称谓，在判别分析中称分组变量为因变量，而用以分组的其他特征变量称为判别变量（discriminant variable）或自变量。
判别分析技术曾经在许多领域得到成功的应用，例如医学实践中根据各种化验结果、疾病症状、体征判断患者患的是什么疾病；体育选材中根据运动员的体形、运动成绩、生理指标、心理素质指标、遗传因素判断是否选入运动队继续培养；还有动物、植物分类，儿童心理测验，地理区划的经济差异，决策行为预测等。
1．2 判别分析的假设条件判别分析的基本条件是：分组变量的水平必须大于或等于2，每组案例的规模必须至少在一个以上；各判别变量的测度水平必须在间距测度等级以上，即各判别变量的数据必须为等距或等比数据；各分组的案例在各判别变量的数值上能够体现差别。
判别分析对判别变量有三个基本假设。
其一是每一个判别变量不能是其他判别变量的线性组合。
否则将无法估计判别函数，或者虽然能够求解但参数估计的标准误很大，以致于参数估计统计性不显著。
其二是各组案例的协方差矩阵相等。
在此条件下，可以使用很简单的公式来计算判别函数和进行显著性检验。
其三是各判别变量之间具有多元正态分布，即每个变量对于所有其他变量的固定值有正态分布。
1．3 判别分析的过程1．3．1 对已知分组属性案例的处理此过程为判别分析的第一阶段，也是建立判别分析基本模型的阶段，即分析和解释各组指标特征之间的差异，并建立判别函数。
第18章：判别分析
第18章 判别分析判别分析，也就是根据观测数据对所研究的对象进行分类判别。
判别分析方法就是专门根据若干因素对预报对象进行分类的一种方法, 通过分析可以建立用于定性预报的数学模型。
例如，我们积累了某种病虫害各种发生状态的若干历史资料(样本)，希望从中总结出分类的规律性(即判别公式)，在以后的工作中遇到新的发生状态(样本)时，只要根据总结出来的判别公式判断它所属的类就行了。
在判别分析中，可从不同角度提出问题，故有不同的判别准则，常见如Fisher 判别和Bayes 判别。
第1节 两组判别1. 概述 在两组间进行判别分析的处理方法，基于统计上的费歇尔(Fisher)准则，即判别的结果应使两组间区别最大，使每组内的离散性最小。
在费歇尔准则下，确定线性判别函数y ＝c 1x 1＋c 2x 2＋…＋c p x p ，其中 c 1, c 2, …, c p 为待求判别函数的系数。
以A 和B 代表两组总体，两组中各有一批抽样数据，每个样本有p 个变量(p 个判别指标)。
A 组有n A 个样本，各判别指标(变量)的平均值为x 1(A), x 2(A), …, x p (A)。
B 组有n B 个样本，各判别指标(变量)的平均值为x 1(B),x 2(B), …, x p (B) 。
若以y c x k k k p ()()A A ==∑1 表示A 组样本的重心，以y c x k k k p()()B B ==∑1表示B 组样本的重心，则两组间的离差可用(()())y y A B -2来表示，A 组内部离散程度和B 组内部离散程度分别以(()())y y i i n A A -=∑211和(()())y y i i n B B -=∑212 来表示，其中y i (A)=c x k ik k p ()A =∑1，y c x i k ik k p()()B B ==∑1。
要使两组间离差最大，必须使()())y y (A B -2最大；要使各组内的离散程度最小，必须使()())y y i i n (A A -=∑211+(()))y y i i n B (B -=∑212达到最小。
判别分析课件
断
○○○○○●●●●
界
○○○●●●●
值
○○●●●
○●●●
X平面
X平面
判别分析的应用： 1、用于临床上疾病的诊断和鉴别诊断。 2、疾病发病的预测 3、病人预后的预测
判别分析的分类
1、按类别分：二类判别 多类判别
Fisher、Bayes
2、方法：Fisher判别分析(距离判别) Bayes判别分析(概率判别) 非参数判别分析
详细资料见：皮质醇.xls
原始数据
整理数据
分析方法
分析方法
分析方法
Wilks λ统计量最小化 相邻两组马氏距离最大化
组间不可解释方差和最小化
分析方法
分析方法
分析结果
判别函数式：
新病人的数据分别代入，哪个值 大就判归哪种类型。
Y1=0.222ACTH8+3.985转移+8.595FHIT+4.744Ki-67－20.014 Y2=0.080ACTH8+3.647转移+6.246FHIT+4.239Ki-67－8.848 Y3=0.019ACTH8+14.462转移+4.153FHIT+9.483Ki-67－11.968
常数项
回归系数
构造判别函数式：
p yj|x 1 e 1 j x 1 e 1 j 1 x
j=1，2，3，….
新病人回代，哪个值大判归哪类。
Y=0的概率：
P y 0 1 e 5 .1 7 2 .3 2F 84 H 1 1 .7IK 5 T 6 8 i 2 7 .0P 56 CNA
判别分析的根本原理：
Y平面
诊断界值
○○○○○○○● ○○○○○○● ○○○○○●●●● ○○○●●●● ○○●●● ○●●●
第18章判别分析PPT课件
X
(B) j
分
别
为
X
和
i
X
j
于
A
类和
B
类的观察值。
2． 判别规则 建立判别函数后， 按公式 （18-1） 逐例计算判别函数值 Zi ，进一步求 Zi 的两类均数 ZA、ZB与总均数Z ，按下式计算判别界值:
判别规则：
Zc
ZA
ZB 2
Zi Zc, Zi Zc, Zi Zc，
判为A 类 判为B 类 判为任意一类
第一节 Fisher判别
适用于指标为定量指标的两类判别 （或多类判别）
一、两类判别
1. Fisher判别的原理
已知A、B两类观察对象， A类有nA 例， B 类有nB 例，分别记录了X1, X2,, Xm 个
观察指标，称为判别指标或变量。Fisher 判 别法就是找出一个线性组合
Z C 1 X 1 C 2 X 2 C m X m ( 1 8 - 1 )
S 21C 1
S 22C 2
S m 1C 1 S m 2 C 2
S1mC m D1 S2mCm D2
SmmCm Dm
(18-3)
式中
Dj
X
(A ) j
， X ( B ) j
分 别 是 X
, ( A )
j
X
(B) j
A
类和
B
类第
j个
指 标 的 均 数 ( j 1,2, , m ) ；
讲述内容
第一节 Fisher判别 第二节 最大似然判别法 第三节 Bayes公式判别法 第四节 Bayes判别 第五节 逐步判别 第六节 判别分析中应注意的问题
▪ 目的：作出以多个判别指标判别个体分类的
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
概 述
对事物分类，以便给予不同的处理。 但事物的分类常需要多个指标，判别分析 是通过多变量对事物进行分类方法。 医学中的分类问题: 疾病的预测 预测病人的预后(好或差),提出早期治疗方法 ,降低严重后果。
3
例: 新生儿缺氧缺血性脑病(HIE)预 后（山东某医院,2004年） 判别指标:
生后1 分钟阿氏评分(X1) 、窒息复苏时 间(X2 ) 、惊厥持续天数(X3 ) 、急性期CT 改变(X4) 及治疗3 天后原始反射情况(X5).
z A z B 1.428 (1.722) zc 0.004 2 2
预测: 某病人测定了x1、x2、x3值，代 入方程z，计算的z＞-0.004，为A类。
19
例:表18-1 两类疾病 22例患者三项指标预测结果
类别 A A A
B B B
x1 23 -1 -10
9 2 17
x2 8 9 5
C1 0.07, C2 0.225, C3 0.318
z 0.07 x1 0.225x2 0.318x3
18
3.计算判别界值Zc
将各类每个个体的变量值代入判别方程， 得到zi，得到zA和zB的均数.
z 0.07 x1 0.225x2 0.318x3
z A 1.428, zB 1.722
判为A类 判为B类 判为任意一类
30
表4和表5反映建立判别方程提取信息量. 和有无统计意义
表4
Eigenvalues Function 1 Eigenvalue % of Variance .859a 100.0 Cumulative % 100.0 Canonical Correlation .680
自变量（x） 为定性数据： 最大似然判别法、Bayes公式判别（统计 软件不能自动实现）。
8
判别分析方法的基本步骤
1.建立判别函数(方程)
2.规定判别（分类）准则 判别新个体为某类 3.评价判别方程的效果
9
第一节 Fisher判别
一 、两类判别
1.
Fisher判别(典则判别 canonical discriminant)
典型判别函数
（canonical discriminant function)
Canonical Discriminant Function Coefficients Function 1 .040 -.127 .179 -.002
表6
X1 X2 X3 (Constant)
根据表6系 数建立判 别方程
表3
Box's M F
Tests null hypothesis of equal population covariance matrices.
本例p＞0.05,满足齐性条件
28
两总体方差不齐距离示意
z1
z2
29
建立判别规则和判别值（Zc）
z A zB zc 2
(18-5)
zi z c zi z c zi z c
16
变量的合并方差和协方差
( x A1 x A1 ) ( xB1 xB1 ) s11 nA 1 nB 1
2 2
( x A1 x A1 )( x A2 x A2 ) ( xB1 xB1 )( xB 2 xB 2 ) s12 nA 1 nB 1
类别 1.00 2.00 1.00 2.00
Total 12 10 100.0 100.0
a. 81.8% of original grouped cases correctly classified.
灵敏度
特异度
34
软件给出判别结果和判别值
35
目前判别分析效果评价方法
1.回顾性评价: 将原始数据带入判别方程得误判率评价. 2.前瞻性: 将原始数据分为0.85(训练样本)建立判 别方程和0.15(验证样本).计算误判率(要 求例数较多)。 3.误判率 总误判率低于0.2,认为判别函数可用.
第十八章 判别分析 (Discriminant Analysis）
分类学是人类认识世界的基础科学。判别 分析是研究事物分类的基本方法，广泛应用 于自然和社会科学各个领域。
1
判别分析内容
* 第一节 Fisher判别 第二节 最大似然判别法 第三节 Bayes公式判别法 *第四节 Bayes判别 *第五节 逐步判别 * 第六节 判别分析中应注意的问题 (补充:SPSS统计软件的操作和结果) *重点：判别分析概念、应用、结果解释、注意 的问题。
11
Fisher方差分析的思想
准则：寻找组间变异(类间均数)/ 组内 变异的比值最大化.
z A zB s s
2 A 2 B
英国统计学家Fisher R A 爵士(1890～1962)
z c1 x1 c2 x2 .... cm xm
12
通过解下列距阵得到判别系数(c)
S11C1 S12C2 ....S1mCm D1 S 21C1 S 22C2 ....S 2 mCm D2 ..... S m1C1 S m 2C2 ....S mmCm Dm
用已知类别(A或B)研究对象的x1, x2…… xm指 标,建立判别方程(z):
z c1 x1 c2 x2 .... cm xm
(18-1)
方程中系数c为判别系数,c1, c2…… cm，
10
Fisher判别的原理
Z
｜ Z A Z｜ B S A
冠心病人
编号 1 2 3 13 14 15 类别(y) A A A B B B x1 23 -1 -10 9 2 17 x2 8 9 5 -5 -1 -6 x3 0 -2 0 1 -1 -1
15
计算步骤:
1.计算各类均数和合并(A、B)的协方 差距阵(S)
s11, s12 , s13 175.3,20.3,2.3 s s21, s22 , s23 20.3,38.2,5.8 s31, s32, s33 2 . 3 , 5 . 8 , 2 . 7
Function 1 .523 -.782 .295
系数的绝 对值反映 重要性
33
评价判别效果
表8
Classification Resultsa Predicted Group Membership 1.00 2.00 10 2 2 8 83.3 16.7 20.0 80.0
Original
Count %
36
例：世界经济统计研究(1995年)人文指数 反映国家综合水平
国家 美国 日本 训练样本 瑞士 阿根廷 阿联酋 保加利亚 古巴 巴拉圭 格鲁吉亚 南非 中国 待判样本 罗马尼亚 希腊 哥伦比亚 类别 期望寿命 1.00 76.00 1.00 79.50 1.00 78.00 1.00 72.10 1.00 73.80 2.00 71.20 2.00 75.30 2.00 70.00 2.00 72.80 2.00 62.90 2.00 68.50 2.00 69.90 1.00 77.60 1.00 69.30 识字率 99.00 99.00 99.00 95.90 77.70 93.00 94.90 91.20 99.00 80.60 79.30 96.90 93.80 90.30 GDP 5374.00 5359.00 5372.00 5242.00 5370.00 4250.00 3412.00 3390.00 2300.00 3799.00 1950.00 2840.00 5233.00 5158.00 37
6
判别分析的特点
用途：通过数据建立判别方程,对研究事物进 行分类和预测。 对资料要求： 要求建立方程的观察对象分类（y）已经 明确（用金标准确定），收集建模对象（训 练样本）的m个变量（x）建立判别方程。
7
判别分析建模的方法
根据自变量（x）资料性质：
自变量（x）为计量数据： Fisher判别、Bayes判别（SPSS、SAS 统计软件可实现）。
类间 均数 差值 (18-3)
Sij为第i指标和第j个指标的合并协方差
z c1 x1 c2 x2 .... cm xm
13
2.建立判别规则和判别值（Zc）
z A zB zc 2
(18-5)
zi z c zi z c zi z c
判为A类 判为B类 判为任意一类
14
例:表18-1 两类疾病 22例患者三项指标观察结果
-5 -1 -6
x3 0 -2 0
1 -1 -1
z值 判别结果 0.19 A 2.73 A 1.83 A
-2.07 -0.05 -2.22 B A B
20
z＞-0.004，为A类
二、判别效果的评价
用误判率评价:
判为A类的例数 p( A / B) B类的例数
判为B类的例数 p( B / A) A类的例数
Wilks' Lambda .929 .634 .712
单变量检验提示： X2和x3在区别不同类别人群有统计学 意义。
27
检验建模数据变量的变异在类间 是否齐性？
协方差的Box‘s M检验
Test Results Approx. df1 df2 Sig. 10.859 1.508 6 2613.311 .172
24
25
讲义18-1实例分析 SPSS统计软件结果
变量判别能力的考察和统计描述
Group Statistics Mean -3.0000 4.0000 -1.0000 4.0000 -5.0000 1.0000 .1818 -.0909 -.0909 Std. Deviation 15.32674 5.27429 1.70561 10.12148 7.13364 1.56347 13.40446 7.57759 1.90010 Valid N (listwise) Unweighted Weighted 12 12.000 12 12.000 12 12.000 10 10.000 10 10.000 10 10.000 22 22.000 22 22.000 22 22.000 26