判别分析-四种方法
数据分析知识：数据分析中的判别分析方法
数据分析知识：数据分析中的判别分析方法判别分析（Discriminant Analysis）是一种经典的统计分析方法，常用于解决分类问题。
通过对已知分类的数据进行学习，再对未知数据进行分类。
判别分析方法的主要目标是确定一个或多个变量的线性组合，这个线性组合在不同类别中能够最大化差异，最小化类内差异。
这篇文章将介绍判别分析的基本概念、方法和应用，并对判别分析和其他分类方法进行比较。
一、判别分析的基本概念1.1判别分析的基本思想判别分析的基本思想是找到一个或多个线性组合，使得不同类别之间的差异最大化，同一类别内的差异最小化。
这个线性组合可以被用来将数据投影到一个低维空间，从而实现分类。
比如，对于二分类问题，找到一条直线将两类数据分开。
1.2判别分析的应用场景判别分析广泛应用于生物医学、社会科学、市场营销等领域。
比如，利用判别分析对患者进行分类，预测其疾病的风险；对消费者进行分类，预测其购买行为等。
1.3判别分析的假设判别分析方法通常有一些假设，比如多元正态性、同方差性和无相关性等。
如果这些假设不成立，可能会影响判别分析的结果。
二、判别分析的方法2.1线性判别分析（LDA）线性判别分析是判别分析中最常用的方法之一。
它通过找到一个或多个线性组合，使得不同类别之间的差异最大化，同一类别内的差异最小化。
在实际应用中，常常利用LDA来降维，然后使用简单的分类器进行分类。
2.2二次判别分析（QDA）二次判别分析是判别分析的一种扩展，它允许类别内的协方差不相等。
相比于LDA，QDA的分类边界更加灵活，但是通常需要更多的参数。
2.3特征抽取判别分析通常需要找到一个或多个变量的线性组合，这些变量通常被称为特征。
特征抽取是判别分析的一个重要步骤，它可以通过一些算法比如主成分分析（PCA）来实现。
特征抽取的目标是尽可能多地保留原始数据的信息，在降低维度的同时尽可能减少信息损失。
三、判别分析的应用3.1医学领域在医学领域，判别分析被广泛应用于疾病诊断、治疗方案选择等方面。
统计学中的判别分析
统计学中的判别分析判别分析是统计学中一种常见的分析方法，旨在通过将样本数据归类到一个或多个已知的类别中，来识别和描述不同类别之间的差异。
它在很多领域中都有广泛的应用，例如医学、市场调研、金融等。
本文将介绍判别分析的基本原理、常见的判别分析方法以及其在实际应用中的一些例子。
一、判别分析的原理判别分析的目标是构建一个判别函数，通过输入变量的值来判别或预测样本所属的类别。
它的核心思想是通过最大化类别间的差异和最小化类别内部的差异，来建立一个有效的分类模型。
判别分析的基本原理可以用以下步骤来描述：1. 收集样本数据，包括已知类别的样本和它们的属性值。
2. 对每个样本计算各个属性的平均值和方差。
3. 计算类别内部散布矩阵和类别间散布矩阵。
4. 根据散布矩阵计算特征值和特征向量。
5. 选择最具判别能力的特征值和特征向量作为判别函数的基础。
二、判别分析的方法判别分析有多种方法可以选择，常见的包括线性判别分析（Linear Discriminant Analysis，简称LDA）和二次判别分析（Quadratic Discriminant Analysis，简称QDA）。
1. 线性判别分析（LDA）线性判别分析假设每个类别的样本数据满足多元正态分布，并且各个类别的协方差矩阵相等。
它通过计算最佳投影方向，将多维属性值降低到一维或两维来实现分类。
LDA在分类问题中被广泛应用，并且在特征选择和降维方面也有一定的效果。
2. 二次判别分析（QDA）二次判别分析不同于LDA，它允许每个类别具有不同的协方差矩阵。
QDA通常适用于样本数据的协方差矩阵不相等或不满足多元正态分布的情况。
与LDA相比，QDA在处理非线性问题时可能更有优势。
三、判别分析的应用实例判别分析在多个领域中都有广泛的应用，下面列举了一些实际的例子。
1. 医学领域在医学中，判别分析可以帮助诊断疾病或判断病情。
例如，可以利用病人的临床数据（如血压、血糖等指标）进行判别分析，来预测是否患有某种疾病，或者判断疾病的严重程度。
判别分析简介
于是， max max 2、计算判别界值
求得 ai 后，代入判别函数式即得判别函数。 求判别界值 Y0 ：把类 1 、类 2 中各指标的均数分别代入判别函数式：
' Y1 a X 1 ' Y2 a X 2
然后以两均数的中点作为两类的界点：
Y0
Y1 Y2 2
3、建立判别标准
距离判别 线性判别 Fisher (属于确定性判别) 判别分析方法 非线性判别 典型判别 Bayes判别(属于概率性判别)
判别分析
(1) 1 n1 (1) X i X (1) n1 i 1
( 2)
X ( 2)
(1) ( 2) 1 X X ( (1) ( 2 ) ) , 2 2 1 ( S1 S2 ), n1 n2 2
其中Si ( X
数学建模培训课件
判别分析
邱国新
qiugx02@
Def :判别分析是在已知研究对象分成若干类型（或 组别）并已取得各种类型的一批已知样品观测 数据，在此基础上根据某些准则建立判别式， 然后对未知类型的样品进行分类．
判别分析和聚类分析往往联合起来使用，当 总体分类不清楚时，可先用聚类分析对原来的一批 样品进行分类，然后再用判别分析建立判别式以对 新样品进行判别． 按照判别准则的不同，判别方法又分为距离判别 法，Ｆisher判别法，Ｂayes判别法和逐步判别法．
(1)当 (1) ( 2 ) 时, D 2 ( X , G2 ) D 2 ( X , G1 ) 2[ X
1 (1) 令 ( ( 2 ) ), 2
(1) ( 2 )
2
] 1 ( (1) ( 2 ) )
W ( X ) ( X ) 1 ( (1) ( 2 ) )
G2总体
X 1( 2 ) (2) X2 (2) Xn 2
( 2) X 11 ( 2) X 21 ( 2) Xn 21 ( 2) X 12 ( 2) X 22 ( 2) Xn 22 ) X 1( 2 p ( 2) X2p ( 2) Xn 2p
1
15
where
n1
( 1) ( 2) d k xk xk ,
判别分析法
判别分析判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。
其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待定系数，并计算判别指标。
据此即可确定某一样本属于何类。
1：距离判别的判别准则和判别函数：设总体A 和B 的均值向量分别为1μ和2μ，协方差阵分别为1∑和2∑，今给一个样本x 要判断x 来自哪一个总体。
若协方差相同，即1212μμ∑∑∑≠==，计算x 到总体A 和B 的Mahalanobis 距离(,)d x A 和(,)d x B ，Mahalanobis 的计算有以下定义：定义5.1 设x 是从均值为μ，协方差为∑的总体A 中抽取的样本，则总体A 内两点x 与y 的Mahalanobis 距离（简称马氏距离）定义为：(,)d x y =定义样本x 与总体A 的Mahalanobis 距离为：(,)d x A =然后进行比较，若(,)(,)d x A d x B ≤，则判定x 属于A ;否则判定x 来自B 。
由此得到如下判别准则：,(,)(,),(,)(,)A d x A d x B x B d x A d x B ≤⎧∈⎨≥⎩令T 112()()()w x x μ∑μμ-=-- 称()w x 为两总体距离的判别函数，由此判别准则变为,()0,,()0.A w x x B w x ≥⎧∈⎨≤⎩在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替，设1(1)(1)(1)12,,,nx x x ⋅⋅⋅是来自总体A 的1n 个样本点，2(2)(2)(2)12,,,n x x x ⋅⋅⋅是来自总体B 的2n 个样本,则样本的均值和协方差为 11ˆ,1,2in ii i j j iux x i n ====∑2()()()()T1211121211ˆ=()()()22in i i i i j ji j x x x x S S n n n n ==∑---++-+-∑∑ 其中()()()()T 1()(),1,2in i i i i i j j j S x x x x i ==--=∑对于待测样本x ，其判别函数定义为T 1(1)(2)ˆˆˆˆ()()()wx x x x x ∑-=-- 其中(1)(2)ˆˆˆ2x x x +=其判别准则为ˆ,()0,ˆ,()0.A wx x B wx ≥⎧∈⎨≤⎩ 2：若协方差不同，即1212μμ∑∑≠≠，对于样本x ，在方差不同的情况下，判别函数为 T -1T -1222111ˆˆ()()()()()W x x x x x μ∑μμ∑μ=----- 在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替。
判别分析
判别分析判别分析是用以判别个体所属群体的一种统计方法。
最常用的判别方法：距离判别法、Bayes 判别法、Fisher 判别法。
1、距离判别法最为直观，其想法简单自然，就是计算新样品x 到各组的距离，然后将该样品判为离它距离最近的那一组。
定义：设组π的均值为μ，协方差矩阵为∑，x 是一个样品(样本)，称()()μμπ-∑'-=-x x x d 1),(为x 到总体π的马氏距离或统计距离。
判别准则：不妨假设有k 组，记为k ππ...1，，均值分别为k μμ...1，，协方差矩阵分别为k ∑∑...,1，，若),(min ),(212i ki l x d x d ππ≤≤=，则判断x 来自第l 组。
注1：若k ∑==∑...1，上述准则可以化简，如果不确定是否相等，可两种情况都试试，那种规则误判概率小选哪种。
注2：实际中k μμ...1，以及k ∑∑...,1，均未知，用估计量代替。
2、Bayes 判别法(1)最大后验概率准则设有k 个组k ππ...1，，且组i π的概率密度为()x f i ，样品x 来自组i π的先验概率为,,...,1,k i p i =且.11=∑=ki i p 利用Bayes 理论，x 属于i π的后验概率(即当样品x 已知时，它属于i π的先验概率)为()().,...,2,1,)(1k i x f p x f p x P k j j j i i i ==∑=π最大后验概率法是采用如下的判别规则：()x P x P x l ji l l πππ≤≤=∈1max )(,若. (2)最小平均误判代价准则()()()()∑∑≠=≤≤≠==∈ki j j j j k i j k l j j j l j i c x f p j l c x f p x 111m i n ,若π，其中)(j i c 表示将来自j π的x 判为i π的代价。
例：设有321,,πππ三个组，欲判别某样品0x 属于何组，已知()()().4.2,63.0,10.0,30.0,65.0,05.0030201321======x f x f x f p p p 计算：()()004.04.230.063.065.010.005.010.005.0)(1111=⨯+⨯+⨯⨯==∑=k j j j x f p x f p x P π ()361.02=x P π()635.03=x P π假定误判代价矩阵为95.4110063.065.020010.005.0:305.36504.230.01010.005.0:239.51604.230.02063.065.0:1=⨯⨯+⨯⨯==⨯⨯+⨯⨯==⨯⨯+⨯⨯=l l l 3、Fisher 判别基本思想：先对原始数据进行降维，然后对新数据使用距离判别法进行判别。
判别分析方法及其应用效果评估
判别分析方法及其应用效果评估判别分析方法是一种常用的统计分析方法，用于确定分类系统中哪些变量最能有效地区分不同的组别。
它基于一组预测变量（或称为自变量）的输入值，以及一组已知类别（或称为因变量）的输出值，通过构建分类模型来判断新样本属于哪个组别。
本文将介绍判别分析方法的基本原理、常见的判别分析方法及其应用效果评估。
## 一、判别分析方法的基本原理判别分析方法基于贝叶斯决策理论，旨在通过最小化错判率来实现最优分类。
假设有K个已知的类别，以及p个预测变量。
判别分析方法假设预测变量满足多元正态分布，并利用已知类别的样本数据估计每个类别的均值向量和协方差矩阵。
根据这些参数，可以建立判别函数来判断新样本的分类。
判别函数的形式根据具体的判别分析方法而定。
常见的判别分析方法有线性判别分析（LDA）、二次判别分析（QDA）和最近邻判别分析（KNN）等。
这些方法使用不同的数学模型和算法来构建判别函数，具有不同的优势和适用范围。
## 二、常见的判别分析方法及其特点### 1. 线性判别分析（LDA）线性判别分析是一种最常用的判别分析方法。
它假设各类别的协方差矩阵相等，即样本来自同一多元正态分布。
LDA通过计算类别间散布矩阵和类别内散布矩阵的比值来确定最优的判别函数。
LDA的优点是计算简单、效果稳定，并且不受样本数量和维度的限制。
然而，它对样本的分布假设要求较高，如果样本不满足多元正态分布，LDA可能会出现较大偏差。
### 2. 二次判别分析（QDA）二次判别分析是一种放宽了协方差矩阵相等假设的判别分析方法。
QDA假设每个类别的协方差矩阵各不相同，通过计算类别间散布矩阵和类别内散布矩阵的比值来确定最优的判别函数。
相比于LDA，QDA更加灵活，可以适应更加复杂的数据分布。
然而，由于需要估计更多的参数，QDA的计算复杂度较高，并且对样本数量和维度的要求较高。
### 3. 最近邻判别分析（KNN）最近邻判别分析是一种基于样本距离的判别分析方法。
判别分析方法
判别分析距离判别分析距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个跖离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。
设X=（s……以n）'和Y = O1，……,%）'是从期望为|1=（血,……川Q '和方差阵Y= （Ou）>0的总体G抽得的两个观测值，则称X与Y之间的马氏距离为:y mxmd2 =（X-Y）样本X与G,之间的马氏距离定义为X与类重心间的距离，即：9护=（乂一地）丫7（乂一&）i = 1,2・・.・・.,k附注：1、马氏距离与欧式距离的关联：为=1,马氏距离转换为欧式距离；2、马氏距离与欧式距离的差异：马氏距离不受计暈单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵E相同的p维正态总体，对给定的样本Y,判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。
故我们用马氏距离来给定判别规则，有:如/(y, J2(y, G2),<yeGp 如〃2(y, G2)<d2(y9 Gj待判，如=〃2(y,G2)沪(y,Gj=(y 2)' "(y 2)(y J' L(y J=y- 2y为一1角 + “；賞“2 -(y^1y-2y^1 + 冲?如) =2y 0一1 (" - 角)-("i + “2)尸(“i - “2)= 2[y —丫》-“2）2令"=1虽« = Z_1(//1-//2) = (a1,a2,-.-,a p yW(y) = (y - p)U = a f(y一p.)= a1(y1-/z1) + --- + a p(y p-/7p)= a'y _a'ji则前面的判别法则表示为y w Gp 如W (y) > 0,y e G2,如FT (y ) < 0o待判，如W(Y) = 0当忙“2和刀已知时, "1 2)是一个已知的P维向量,W (y)是y的线性函数，称为线性判别函数。
第5章判别分析
第5章判别分析判别分析(discriminantanalysis)是在已知样品分类的前提下，将给定的新样品按照某种分类准则判入某个类中，它是研究如何将个体“归类”的一种统计分析方法.这里的判别规则通常是以已有的数据资料或者现有的部分样品数据作为所谓的“训练样本”建立起来的，并用来对未知类别的新样品进行判别.这种统计方法在实际中很常用，例如医生在掌握了以往各种病症(如肺炎、肝炎、冠心病、糖尿病等)指标特点的情况下，根据一个新患者的各项检查指标来判断该病人有哪类病症；又如在天气预报中，利用已有的一段时期某地区每天气象的记录资料(阴晴雨、气温、风向、气压、湿度等),建立一种判别准则来判别(预报)明天或未来多天的天气状况；再如研究人员依照国家划分不同地区经济类型的数量标准，根据某个地区的GDP、人均收入、消费水平等相关指标判断该地区属于哪一种经济类型等.当然，我们要求判别规则在某种意义下是最优的，例如样品距所属类别的距离最短，或样品归属某个类别的概率最大，或错判平均损失最小等.判别分析与聚类分析的主要区别在于：作聚类分析时，人们事先并不知道所讨论的样品应该分成几类，完全根据样品数据的具体情况来确定；而作判别分析时，样品的分类事先已经明确，需要做的主要工作是利用训练样本建立判别准则，对新样品所属类别进行判定.判别分析的方法很多，本章主要介绍常用的三种，即距离判别、Fisher判别和Bayes判别，并介绍它们在R中的实现过程.5.1 距离判别5.1.1 距离距离是判别分析中的基本概念，距离判别法根据一个样品与各个类别距离的远近对该样品的所属类别进行判定.第4章中列举了六种距离，其中常用的是欧氏距离和马氏距离.设和是两个随机向量，有相同的协方差矩阵Σ,则α与y之间的马氏距离定义为：(5.1)特别地，当∑=I时，马氏距离就是通常的欧氏距离.在判别分析中，马氏距离更常用，这是因为欧氏距离对每一个样品同等对待，将样品x的各分量视作互不相关，而马氏距离考虑了样品数据之间的依存关系，从绝对和相对两个角度考察样品，消除了变量单位不一致的影响，更具合理性.这里以二维情形下一个简单的图形做直观的解释：如图5-1所示，设大椭圆和小椭圆分别表示两个总体G₁和G₂的置信度均为1-α的置信区域，尽管样品x到总体G₂的欧氏距离比到总体G₁的欧氏距离更短，但x却包含在总体G₁的置信椭圆内，同时位于总体G₂的置信椭圆外，说明若用马氏距离这种“标准化”距离来度量的话，样品x到总体G₁的距离更近，应该把样品x判入总体G₁.图5-1欧氏距离与马氏距离的选择示意图5.1.2 两个总体的距离判别设有两个总体G₁和G₂,其均值分别为μ₁和μ₂,有相同的协方差矩阵Σ,对于给定的一个样品x,要判断它属于哪一个总体.如果将样品x到两个总体G₁和G₂的距离d(x,G₁)和d(x,G₂)分别规定为x与μ(i=1,2)的马氏距离，那么,直观的方法i是分别计算样品x到两个总体G₁和G₂的马氏距离d(x,μ₁)和d(x,μ₂),再根据这两个距离的大小来判断x的归属：当d(x,μ₁)<d(x,μ₂)时，判x属于总体G₁;当d(x,μ₁)>d(x,μ₂)时，判α属于总体G₂;当d(x,μ₁)=d(x,μ₂)时，x可以属于总体G₁和G₂中的任何一个，通常把x判入总体G₁.因此判别准则可描述为：由于马氏距离与马氏距离的平方等价，为方便起见，以下考虑两个马氏距离的平方的差(5.2)令,并记(5.3)于是判别准则等价于这个判别准则取决于W(x)的值，通常称W(x)为判别函数，由于它是x的线性函数，又称其为线性判别函数，称a为判别系数.线性判别函数W(x)使用最方便，在实际中应用也最广泛.特别地，当p=1,G₁和G₂的分布分别为N(μ₁,o²)和N(μ₂,o²),μ₁,μ2,o²均为已知，且μ₁<μ₂时，则判别系数为,判别函数为.判别准则为：在实际应用中，总体的均值和协方差矩阵一般是未知的，可由样本均值和样本协方差矩阵分别进行估计.设是来自总体G₁的样本，是来自总体G₂的样本，μ₁和μ₂的一个无偏估计分别为：协方差矩阵Σ的一个联合无偏估计为：式中，此时，判别函数为，其中.这样，判别准则为：应该注意，当μi≠μz,Z₁≠Z₂时，我们仍可采用式(5.2)的变式作为判别函数，即(5.4)它是x的二次函数，相应的判别规则为：最后要强调的就是作距离判别时，μ₁和μ₂要有显著的差异才行，否则判别的误差较大，判别结果没有多大意义.【例5.1】已知某种昆虫的体长和翅长是表征性别的两个重要体形指标，根据以往观测值，雌虫的体型标准值为,雄虫的体型标准值,它们的共同的协方差矩阵为.现捕捉到这种昆虫一只，测得它的体长和翅长分别为7.2和5.6,即,试判断这只昆虫的性别.解：由已知条件，可由式(5.3)计算得所以可判断这只昆虫是一只雄虫.在R中可编写一个简单的程序计算W(x)(注意W(x)=[d²(x,μ₂)-d²(x,μ₁)]/2).>W2equal=function(x,mu1,mu2,S){(mahalanobis(x,mu2,S)-mahalanob is(x,mu1,S))/2}>mu1=c(6,5);mu2=c(8,6);S=matrix(c(9,2,2,4),nrow=2);x=c(7.2,5.6 )>W2equal(x,mu1,mu2,S)[1]-0.053125所以应判断这只昆虫是一只雄虫.若又捕捉到另一只同类昆虫，其体长和翅长数据为,则可继续计算如下：>x=c(6.3,4.9>W2equal(x,mu1,mu2,S)[1]0.225应将其判断为一只雌虫.当雌虫和雄虫的协方差矩阵不相同时，可由式(5.4)来计算W*(x),再根据计算结果作出判别.假定雌虫和雄虫总体数据对应的协方差矩阵分别为和那么可编写R程序如下：>W2unequal=function(x,mu1,mu2,S1,S2){mahalanobis(x,mu2,S2)-mah alanobis(x,mu1,S1)}>mu1=c(6,5);mu2=c(8,6);S1=matrix(c(9,2,2,4),nrow=2);S2=matrix( c(6,22,3),nrow=2)>x=c(7.2,5.6>W2unequal(x,mu1,mu2,S1,S2)[1]-0.07696429这里仍然用了最初那只昆虫的体长和翅长数据，结果仍然判断它是一只雄虫.两总体的距离判别还可使用自编程序“DDA2.R”,用法参见本章附录1.5.1.3 多个总体的距离判别设有k个总体G₁,G₂,…,Gk ,其均值和协方差矩阵分别是μ₁,μ₂,…,μg和Σ₁,Σ₂,…,Σk,而且Σ₁= Σ₂= … = Σk = Σ.对于一个新的样品x,要判断它来自哪个总体.该问题与两个总体的距离判别问题的解决思路一样，计算新样品x到每一个总体的距离，即式中，.故可以取线性判别函数为：相应的判别规则为：与二维情形类似，当μ₁,μ₂,…,μk和Σ均未知时，可以通过相应的样本均值和样本协方差矩阵来替代.另外，各总体的协方差矩阵Σ₁,Σ₂,…,Σk,不完全相同时也可以仿照二维情形讨论(参阅参考文献[10]).多总体的距离判别可使用本章附录所给出的R程序“DDAM.R”,使用方法可参见本章附录2后的说明.5.2 Fisher判别Fisher于1936年提出了该判别法，这是判别分析中奠基性的工作.该方法的主要思想是通过将多维数据投影到一维直线上，使得同一类别(总体)中的数据在该直线上尽量靠拢，不同类别(总体)的数据尽可能分开.从方差分析的角度来说，就是组内变差尽量小，组间变差尽量大.然后再利用前面的距离判别法来建立判别准则.Fisher判别法属于确定性判别法，有线性判别、非线性判别和典型判别等多种常用方法.以下主要介绍线性判别法.5.2.1两总体Fisher判别先考虑有两个总体G₁和G₂的情形，判别法的思想是将高维空间中的点投影到一维直线y上，使得由总体G₁和G₂产生的y尽可能分开，在此基础上再利用前面的距离判别法来建立判别准则.我们用一个简单的图形(见图5-2)来说明其原理.如图5-2所示，二维平面上有两类点，小圆点属于总体G₁,大圆点属于总体G₂,按照原来的横坐标x₁和纵坐标x₂,很难将它们区分开，但若把它们都投影到直线y上，则它们的投影点明显分为两组，同类的点聚集在一起，容易区分；又若把它们投影到与直线y垂直的直线上，则它们的投影点混杂在一起，难以分开.可见，投影直线的选取不一样，数据点的分类效果就大不相同，这提示我们要去寻找分类效果最好的投影直线y,使得在该投影直线上，同一类别的点的投影点尽量靠拢，不同类别的点的投影点尽量分开.显然，直线y是x₁和x₂的线性组合，即y=c₁x₁+c₂x₂.一般，在p维情况下，x的线性组合为：(5.5)图5-2投影直线选取示意图式中，a为p维实向量.设总体G₁和G₂的均值分别为μ₁和μ₂,它们有共同的协方差矩阵Σ,那么线性组合的均值为：(5.6)方差为：(5.7)显然，使得μ1y 与μ2y的距离越大的线性组合越好，所以考虑比值(5.8)现在的问题简化为：如何选取a,使得式(5.8)达到最大.定理5.1设x为p维随机向量，,当(c≠0为常数)时，式(5.8)达到最大.特别地，当c=1时，线性函数(5.9)称为Fisher线性判别函数(证明略).取(5.10)在μ₁≠μ₂的条件下，容易证明,于是可得Fisher判别准则如果记,则判别准则等价于需要指出的是：当总体的均值和协方差矩阵未知时，通常用样本均值和样本协方差矩阵来估计.设和,分别是来自总体G₁和G₂的样本，就可以分别用和估计μ₁和μ₂,用来估计Σ，这里.5.2.2多总体Fisher判别如果变量很多或有多个总体，通常要选择若干个投影，即若干个判别函数来进行判别.设有k个总体G₁,G ₂,…,Gx,它们有共同的协方差矩阵Σ,均值分别为μ₁,μ₂,…,μk,令(5.11)考虑p维随机向量x的线性组合,a为p维实向量，则均值和方差分别为：(5.12)注意到(5.13)考虑比值(5.14)问题等价于：如何选择a,使得式(5.14)达到最大.为了方便起见，设.定理5.2设λ₁,λ₂,…,λs(λ₁≥λ₂≥…≥λs>0)为Σ-¹G的s个非零特征值，s≤min(k-1,p),e₁,e₂,…,e为相应的特征向量且满足,那么当a₁=e₁s时，式(5.14)达到最大，称为第一判别函数，而a₂=e₂是在约束条件之下使得式(5.14)达到最大值的解，称为第二判别函数，如此下去，as =es是在约束条件之下使得式(5.14)达到最大值的解，称为第s个判别函数(证明略).当总体的均值和协方差矩阵未知时，通常用样本均值和样本协方差矩阵来估计，与两总体的Fisher判别方法类似，也可以建立多个总体的Fisher判别准则，但形式比较复杂，这里不再讨论.【例5.2】在R软件的内置档案中自带了著名的鸢尾花(iris)数据，该数据框有5列：Sepal.Length(花萼长度),Sepal.Width(花萼宽度),Petal.Length(花瓣长度),Petal.Width(花瓣宽度)和Species(品种).品种又分为setosa(刚毛鸢尾花),versicolor(变色鸢尾花)和virginica(弗吉尼亚鸢尾花).每个品种各有50行，即数据框共有150行.解：先读取iris数据，再用程序包MASS中的线性判别函数lda()作判别分析，R程序如下：>data(iris)>irisSepal.Length Sepal.Width Petal.LengthPetal.Width Species1 5.1 3.5 1.4 0.2setosa2 4.9 3.0 1.4 0.2setosa......50 5.0 3.3 1.4 0.2setosa51 7.0 3.2 4.7 1.4versicolor52 6.4 3.2 4.5 1.5versicolor......100 5.7 2.8 4.1 1.3 versicolor101 6.3 3.3 6.0 2.5 virginica102 5.8 2.7 5.1 1.9 virginica......150 5.9 3.0 5.1 1.8 virginica>attach(iris) #把数据变量的名字放入内存，这样能直接使用各列数据>library(MASS) #加载MASS程序包，这是必须的，否则找不到1da()函数>1d=lda(Species~Sepal.Length+Sepal.Width+Petal.Length+Petal.Wi dth)#也可以用命令iris.lda=lda(iris[,1:4],iris[,5]),注意第5列是品种，取作因变#量y>1dCall:lda(Species～Sepal.Length+Sepal.Width+Petal.Length+Petal.WidthPriorprobabilitiesofgroups:setosa versicolor virginica0.3333333 0.3333333 0.3333333Groupmeans:Sepal.Length Sepal.Width Petal.LengthPetal.Widthsetosa 5.006 3.428 1.4624.260Versicolor 5.936 2.770 4.2601.326Virginica 6.588 2.974 5.5522.026Coefficientsoflineardiscriminants:LD1 LD2Sepal.Length 0.8293776 0.02410215Sepal.Width 1.5344731 2.16452123Petal.Length -2.2012117 -0.93192121Petal.Width -2.8104603 2.83918785Proportionoftrace:LD1 LD20.9912 0.0088以上输出中包括lda()所用的公式、先验概率、各组均值向量、第一及第二线性判别函数的系数、两个判别式对区分各总体贡献的大小等.可以在R中使用help(lda)查看该函数的详细用法.需要指出的是，R中有内置函数predict(),可以对原始数据进行回判分类，从而可以将lda()的输出结果与原始数据真正的分类进行对比，考察误差的大小.R程序及结果如下：>Z=predict(ld)>newG=Z$class>cbind(Species,newG,Z$x) #Z$x给出了Z中两个判别函数相应的值Species new GLD1 LD21 1 1 8.0617998 0.3004206212 1 1 7.1286877 -0.786660426 ......70 2 2 -1.0904279 -1.62658349671 2 3 -3.7158961 1.04451442172 2 2 -0.9976104 -0.490530602 ......83 2 2 -0.8987038 -0.90494003484 2 3 -4.4984664 -0.88274991585 2 2 -2.9339780 0.027379106133 3 3 -6.8001500 0.580895175134 3 2 -3.8151597 -0.942985932 135 3 3 -5.1074897 -2.130589999 ......149 3 3 -5.8861454 2.345090513150 3 3 -4.6831543 0.332033811 这里Species是原始类别，newG是回判类别，LD1和LD2分别是第一和第二线性判别函数的值.我们还可以用table()函数来列表比较，R程序及结果如下：>tab=table(newG,Species)>tabSpeciesnewG setosa versicolor virginicasetosa 50 0 0Versicolor 0 48 1virginica 0 2 49由结果可以看出，对150个原始数据的预测中，只有3个错误，误差率为2%,其中有2朵versicolor鸢尾花(71号和84号)被误认为是virginica鸢尾花，有1朵virginica鸢尾花(134号)被误认为是versicolor鸢尾花.5.3 Bayes判别上面讲的几种判别分析方法计算简单，易于操作，比较实用.但是这些方法也有明显的不足之处.一是判别方法与总体各自出现的概率的大小无关；二是判别方法与错判之后所造成的损失无关.Bayes判别法就是为了解决这些问题而提出的一种判别方法，它假定对研究对象已经有了一定的认识，这种认识可以用先验概率来描述，当取得样本后，就可以利用样本来修正已有的先验概率分布，得到后验分布，再通过后验分布进行各种统计推断.Bayes判别法属于概率判别法，判别准则是以个体归属某类的概率最大或错判总平均损失最小为标准.5.3.1两总体的Bayes判别设有两个总体G₁和G₂,它们的概率密度函数分别为f₁(x)与f₂(x),其中x是一个p维随机向量，Ω为x的所有可能取值构成的样本空间，R₁为x的根据某种规则被判入总体G₁的取值全体的集合，那么R₂=Ω-R₁就为x的根据同样规则被判入总体G₂的取值全体的集合.设样本α来自总体G₁(形式记为x∈G₁),但被判入总体G₂的概率为：又记x来自总体G₂(形式记为x∈G₂),但被判入总体G₁的概率为：类似地，x来自总体G₁被判入G₁,来自总体G₂被判入G₂的概率可分别记为：又设总体G₁和G₂出现的先验概率(priorprobabilities)分别为p₁和pz,且p ₁+p₂=1,于是同理假设L(j|i)(i,j=1,2)表示x来自总体Gi而被误判入总体Gj引起的损失，显然有L(1|1)=L(2|2)=0,将上述误判概率与误判损失结合起来，可以定义所谓的平均误判损失(expected cost of misclassification,ECM)为：(5.15)一个合理的判别选择是极小化ECM.可以证明(见参考文献[10]):极小化ECM 所对应的样本空间2的划分为：(5.16)因此，可以将式(5.16)作为Bayes判别的判别准则.当两总体服从正态分布时，设,可分两种情形讨论.若Σ₁=Σ₂=Σ,则两总体的密度函数为：此时式(5.16)等价于(5.17)式中(5.18)(5.19)由此可见，对于两正态分布总体的Bayes判别，其判别式(5.17),(5.18)和(5.19)可以看成两总体距离判别的推广，当p₁=pz,L(1|2)=L(2|1)时，β=ln1=0,这正是距离判别，这里的W(x)也与两总体距离判别的W(x)完全一致，参见式(5.3).若Σ₁≠Σ₂,可仿照上面对式(5.16)作推广，参见参考文献[12].5.3.2多总体的Bayes判别从上面的讨论可知，Bayes判别的本质就是寻找一种适当的判别准则，使得平均误判损失ECM达到最小.在两总体情形下，由式(5.15)可知，若假设所有错判损失相同，即设L(2|1)=L(1|2)=C,那么要ECM尽量小，相当于要p₁P(1|1)+p₂P(2|2)尽量大，这有助于理解多总体Bayes判别所用的判别准则.设有k个总体G₁,G₂,…,Gx,其各自的分布密度函数为f(x),f2(x),…,fk(x),相应的先验概率分别为p₁,p₂,…,pk,并假设所有的错判损失相同，对待判样品x,相应的判别准则为：(5.20)以下只对G₁,G₂,…,Gk均为正态总体，即进行讨论.当k个总体的协方差矩阵都相同，即时，总体Gi 的密度函数为：计算函数在计算过程中，协方差矩阵Σ可用其估计式代替.当k个总体的协方差矩阵不全相同时，总体Gj的密度函数为：则相应计算函数在计算过程中，协方差矩阵Σj可用其估计式代替.判别准则式(5.20)等价于【例5.3】(数据文件为eg5.3)表5-1是某气象站预报有无春旱的数据资料，x₁和x₂是两个综合性预报因子.表中给出了有春旱的6个年份数据和无春旱的8个年份数据.它们的先验分布用各组数据出现的比例(6/14,8/14)来估计，并假设误判损失相等，试用Bayes判别法对数据进行分析.表5-1某气象站有无春旱的数据资料解：先在eg5.3中选取G,x1,x₂三列数据，然后复制，回到R命令窗口中输入如下命令后再确定，就可将复制的数据读入R.R程序及结果如下：>d5.3=read.table("clipboard",header=T)>attach(d5.3)>library(MASS)>1d=1da(G~x1+x2,prior=c(6,8)/14)>1dCall:lda(G～x1+x2,prior=c(6,8)/14)Prior probabilities of groups:1 20.4285714 0.5714286#若先验概率未知，可以先设为均匀分布，即prior=c(0.5,0.5) Groupmeans:x1 x21 25.31667 -2.4166672 22.02500 -1.187500Coefficients of linear discriminants:LD1x1 -0.6312826x2 1.0020661再用函数predict()对原始数据进行回判分类，并与lda()的输出结果进行对比，R程序及结果如下：>Z=predict(1d)>newG=Z$class>cbind(G,newG,Z$x)#Z$x为判别函数的值G newG LD11 1 1 -1.14755452 1 1 -1.10648313 1 1 -3.28592944 1 2 -0.22668045 1 1 -1.68965906 1 1 -3.89116217 2 2 1.85959468 2 2 1.4737896......13 2 2 1.358561514 2 2 1.7002528>tab=table(G,newG)>tabnewgG 1 21 5 12 0 8>sum(diag(prop.table(tab)))[1] 0.9285714程序输出说明，第一组样本中只有第4号样本被误判入第二组，第二组样本回判全部正确，回判符合率为92.857%.我们还可以用命令Z$post计算后验概率：>Z$post1 21 0.9386546174 6.134538e-022 0.9303445828 6.965542e-023 0.9999448424 5.515761e-05......13 0.0038092358 9.961908e-0114 0.0012325974 9.987674e-015.4案例分析与R实现案例5.1(数据文件为case5.1)表5-2中列出了1994年我国30个省、直辖市、自治区影响各地区经济增长差异的制度变量数据，分为两组.其中，x₁为经济增长率(%);x₂为非国有化水平(%);x₃为开放度(%);x₄为市场化程度(%).借助R 软件，分别用两总体的距离判别法、Fisher判别法和Bayes判别法进行判别分析，并对江苏、安徽和陕西三个待判地区作出判定.(注：样本号为28,29,30的待判样品的类别先暂定为2,待实际判别分析后再确定，这样做的好处是录入和处理数据较为方便.)表5-2 1994年我国30个省、直辖市、自治区影响各地经济增长差异的制度变量数据解：(1)距离判别法.要读入Excel数据，先在case5.1中选取数据区域D1:H31(注意：要连待判数据一起选),然后复制，回到R命令窗口中输入如下命令后再确定，就可将复制的数据读入R.然后把本章附录中两总体距离判别程序“DDA2.R”放到当前工作目录下，再载入R并执行，还可以用var(classG1)和var(classG2)分别计算两个训练样本的协方差矩阵，结果发现它们明显不相等.R程序及结果如下：>case5.1=read.table("clipboard",header=T) #将已复制到剪贴板中的数据读入R>attach(case5.1) #把数据变量名字放入内存>classG1=case5.1[1:11,2:5] #选取训练样本1>classG2=case5.1[12:27,2:5] #选取训练样本2>newdata=case5.1[28:30,2:5] #选取待测样本用于后面判定>source("DDA2.R") #载入自编程序DDA2.R>DDA2(classG1,classG2) #执行程序DDA2.R1 2 ... 8 9 10 11 12 13 (24)25 26 27blong 1 1 ... 1 1 2 1 2 2 (2)2 2 2回代判别的结果说明只有第10号样本“广西”被错判入第二组，判别符合率为26/27=96.3%.最后对江苏、安徽和陕西三个样本进行判定(样本号为28,29,30),数据已包含在newdata中，R程序为：>DDA2(classG1,classG2,newdata)#对待判样本newdata进行判定1 2 3blong 1 2 2输出结果第一行中的1,2,3分别表示江苏、安徽和陕西三个待测样本(样本号为28,29,30),判别结果是江苏被判入第一组，安徽和陕西均被判入第二组.(2)Fisher判别法也是先要读入数据，在case5.1中选取数据区域D1:H28(注意：这里不选待判数据，因为lda()函数要使用已有的各列数据作为变量来建立判别模型),然后复制，回到R命令窗口中输入如下命令后再确定，就可将复制的数据读入R.R 程序及结果如下：>case5.1=read.table("clipboard",header=T)>attach(case5.1)>library(MASS)>1d=1da(G~x1+x2+x3+x4)>ldCalllda(G～x1+x2+x3+x4)Prior probabilities of groups:1 20.4074074 0.5925926Groupmeans:x1 x2 x3 x41 15.73636 65.02818 25.149091 74.3502 11.56250 40.10625 9.228125 58.105Coefficients of linear discriminants:LD1x1 -0.06034498x2 -0.01661878x3 -0.02532111x4 -0.08078449以上输出结果中包括lda()所用的公式、先验概率、各组均值向量、第一线性判别函数的系数.再用predict()函数对原始数据进行回判分类，将lda()判别的输出结果与原始数据真正的分类进行对比.R程序及结果如下：>Z=predict(ld) #预测判定结果>nevG=Z$class #新分类>cbind(G,newG,Z$x) #合并原分类、新分类及判别函数值G newG LD11 1 1 -0.636598122 1 1 -0.85792242....9 1 1 -3.8115753710 1 2 0.1086677611 1 1 -0.65403492....26 2 2 2.2650082627 2 2 1.52288285>tab=table(G,newG) #原分类和新分类列表比较>tabnevGG 1 21 10 12 0 1>sum(diag(prop.table(tab))) #计算判别符合率[1] 0.962963可见，只有第一组中的第10号样品“广西”被错判入第二组，与距离判别法结果一致.还可以用命令sum(diag(prop.table(tab)))计算判别符合率.最后对三个待判样本进行判定.先要读入待判样本数据，在case5.1中选取待判样本数据区域D1:H31(注意：要连待判数据一起选),然后复制，回到R命令窗口中输入如下命令后再确定，将复制的数据读入R.在其基础上选取待判样本数据.R程序及结果如下：>case5.1=read.table("clipboard",header=T)>newdata=case5.1[28:30,2:5] #选取待判样本用于下面判别>predict(ld,newdata=newdata)$class[1] 1 2 2Levels: 1 2$posterior1 228 0.87303785 0.126962229 0.48273895 0.517261130 0.01957491 0.9804251$xLD128 -1.187448129 -0.348841830 1.2655298说明：由$class可以看出28号样本被判人第一组，29,30号样本被判入第二组，结果与距离判别法一致；$x给出了线性判别函数的值.(3)Bayes判别法Bayes判别法和Fisher判别法类似，不同的是在使用函数lda()时要输入先验概率.它们的先验概率用各组数据出现的比例(11/27,16/27)来估计(默认情形),并假设误判损失相等.同Fisher判别法的分析过程一样，先复制数据，读入R,具体操作及结果如下：>case5.1=read.table("clipboard",header=T)>attach(case5.1)>library(MASS)>1d=lda(G~x1+x2+x3+x4,prior=c(11/27,16/27))>ldCall:lda(G～x1+x2+x3+x4,prior=c(11/27,16/27))Prior probabilities of groups:1 20.4074074 0.5925926Groupmeans:x1 x2 x3 x41 15.73636 65.02818 25.149091 74.3502 11.56250 40.10625 9.228125 58.105Coefficients of linear discriminants:LD1x1 -0.06034498x2 -0.01661878x3 -0.02532111x4 -0.08078449>Z=predict(ld)>newG=Z$class>cbind(G,newG,Z$x)G newG LD11 1 1 -0.636598122 1 1 -0.85792242....9 1 1 -3.8115753710 1 2 0.1086677611 1 1 -0.65403492....26 2 2 2.2650082627 2 2 1.52288285>tab=table(G,newG)>tabnewGG 1 21 10 12 0 16>sum(diag(prop.table(tab))[1] 0.962963判别结果与距离判别法、Fisher判别法一致.另外，Bayes判别法对三个样本数据的判别过程和判定结果也与Fisher判别法相同.习题5.1在定理5.1的假设下，证明：当μ₁≠μ₂时，有μ₁y-μ₂>0及μ2y-μy<0成立.5.2(数据文件为ex5.2)根据经验，今天的湿温差x₁和气温差x₂是预报明天下雨或不下雨的两个重要因子，试就表5-3中的数据建立Fisher线性判别函数进行判别.又设今天测得x₁=8.1,x₂=2.0,问：应该预报明天是雨天还是晴天?表5-3 雨天和晴天的湿温差x₁和气温差x₂续前表5.3(数据文件为ex5.3)某企业生产的产品，其造型、性能和价位及所属级别如表5-4所示.试利用表中数据，使用Fisher判别法和Bayes判别法进行判别分析.表5-4 某企业产品的造型、性能、价位及级别等指标序号造型性能价位级别13342872286577337775614164379153446841617556827487851286562692944796021037542731188874531256733631338567631477288435.4(数据文件为ex5.4)在研究砂基液化问题中，选了七个因子.今从已液化和未液化的地层中分别抽了12个和23个样本，其中1类表示已液化类，2类表示未液化类.试用距离判别法对原来的35个样本进行回代分类并分析误判情况.表5-5 砂基液化原始分类数据编号类别x1 x2 x3 x4 x5 x6 x71 1 6.6 39 1.0 6.0 6 0.12 202 1 6.6 39 1.0 6.0 12 0.12 203 1 6.1 47 1.0 6.0 6 0.08 124 1 6.1 47 1.0 6.0 12 0.08 125 1 8.4 32 2.0 7.5 19 0.35 756 1 7.2 6 1.0 7.0 28 0.30 307 1 8.4 113 3.5 6.0 18 0.15 758 1 7.5 52 1.0 6.0 12 0.16 409 1 7.5 52 3.5 7.5 6 0.16 4010 1 8.3 113 0.0 7.5 35 0.12 180续前表编号类别T1 T2 Z3 Z4 T5 Z6 T711 1 7.8 172 1.0 3.5 14 0.21 4512 1 7.8 172 1.5 3.0 15 0.21 4513 2 8.4 32 1.0 5.0 4 0.35 7514 2 8.4 32 2.0 9.0 10 0.35 7515 2 8.4 32 2.5 4.0 10 0.35 7516 2 6.3 11 4.5 7.5 3 0.20 1517 2 7.0 8 4.5 4.5 9 0.25 3018 2 7.0 8 6.0 7.5 4 0.25 3019 2 7.0 8 1.5 6.0 1 0.25 3020 2 8.3 161 1.5 4.0 4 0.08 7021 2 8.3 161 0.5 2.5 1 0.08 7022 2 7.2 6 3.5 4.0 12 0.30 3023 2 7.2 6 1.0 3.0 3 0.30 3024 2 7.2 6 1.0 6.0 5 0.30 3025 2 5.5 6 2.5 3.0 7 0.18 1826 2 8.4 113 3.5 4.5 6 0.15 7527 2 8.4 113 3.5 4.5 8 0.15 7528 2 7.5 52 1.0 6.0 6 0.16 4029 2 7.5 52 1.0 7.5 8 0.16 4030 2 8.3 97 0.0 6.0 5 0.15 18031 2 8.3 97 2.5 6.0 5 0.15 18032 2 8.3 89 0.0 6.0 10 0.16 18033 2 8.3 56 1.5 6.0 13 0.25 18034 2 7.8 172 1.0 3.5 6 0.21 4535 2 7.8 283 1.0 4.5 6 0.18 455.5(数据文件为ex5.5)表5-6是某金融机构客户的个人资料.对一个金融机构来说，对客户信用度的了解至关重要，因为利用这些资料，可以挖掘出许多重要的信息，建立客户的信用度评价体系.所选8个指标：x₁为月收入；x₂为月生活费支出；x₃是虚拟变量，住房的所有权属于自己的为“1”,租用的为“0”;x₄为目前工作的年限；x₅为前一个工作的年限；x₆为目前住所的年限；x₇为前一个住所的年限；x₈为家庭赡养的人口数；G为信用度级别，信用度最高为“5”,信用度最低为“1”.试对表5-6中的数据进行Fisher判别分析；又若一位新客户的8个指标分别为(2500,1500,0,3,2,3,4,1),试对该客户的信用度进行评价.表 5-6某金融机构客户的个人信用度评价数据序号x1 x2 x3 x4 x5 x6 x7 x8 G1 1000 3000 0 0.1 0.3 0.1 0.3 4 12 3500 2500 0 0.5 0.5 0.5 2 1 13 1200 1000 0 0.5 0.5 1 0.5 3 14 800 800 0 0.1 15 1 3 1续前表序号x1 x2 x3 x4 x5 x6 x7 x8 G5 3000 2800 0 1 2 3 4 3 16 4500 3500 0 8 2 10 1 5 27 3000 2600 1 6 1 3 4 2 28 3000 1500 0 2 8 6 2 5 39 850 425 1 3 3 25 25 1 310 2200 1200 1 6 3 1 4 1 311 4000 1000 1 3 5 3 2 1 412 7000 3700 1 10 4 10 1 4 413 4500 1500 1 6 4 4 9 3 414 9000 2250 1 8 4 5 3 2 515 7500 3000 1 10 3 10 3 4 516 3000 1000 20 5 15 10 1 517 2500 700 10 5 15 5 3 55.6(数据文件为ex5.6)为了研究中小企业的破产模型，选定4个经济指标：x₁为总负债率(现金收益/总负债);x₂为收益性指标(纯收入/总财产);x₃为短期支付能力(流动资产/流动负债);x₄为生产效率性指标(流动资产/纯销售额).对17个破产企业(1类)和21个正常运行企业(2类)进行了调查，得如下资料(见表5-7).试对表5-7中的数据进行Bayes判别分析并对8个待判样品类别进行判定.表5-7 中小型企业破产模型经济指标续前表附录附录1(两总体G₁和G₂距离判别的R程序“DDA2.R”)DDA2<-function(TrnG1,TrnG2,TstG=NULL,var.equal=FALSE){if(is.null(TstG)==TRUE)TstG<-rbind(TrnG1,TrnG2)if(is.vector(TstG)==TRUE)TstG<-t(as.matrix(TstG))elseif(is.matrix(TstG)!=TRUE)TstG<-as.matrix(TstG)if(is.matrix(TrnG1)!=TRUE)TrnG1<-as.matrix(TrnG1)if(is.matrix(TrnG2)!=TRUE)TrnG2<-as.matrix(TrnG2);nx<-nrow(TstGblong<-matrix(rep(0,nx),nrow=1,byrow=TRUE,dimnames=list("blong ",1:nx))mu1<-colMeans(TrnG1);mu2<-colMeans(TrnG2)if(var.equal==TRUE||var.equal==T){S<-var(rbind(TrnG1,TrnG2))w<-mahalanobis(TstG,mu2,S)-mahalanobis(TstG,mu1,S)}else{S1<-var(TrnG1);S2<-var(TrnG2)w<-mahalanobis(TstG,mu2,S2)-mahalanobis(TstG,mu1,S1)}for(iin1:nx){if(w[i]>0)blong[i]<-1elseblong[i]<-2}blong在该程序中，输入变量TrnG1和TrnG2分别表示来自总体G₁和G₂的训练样本，其输入格式是数据框或矩阵(样本按行输入);输入变量TstG是待测样本，其输入格式是数据框、矩阵(样本按行输入)或向量(一个待测样本).如果不输入TstG(默认值),则待测样本为两个训练样本之和，即计算训练样本的回判情况.输入变量var.equal是逻辑变量，var.equal=TRUE表示两个总体的协方差矩阵相同，否则(默认值)为不同.函数的输出是由“1”和“2”构成的一维矩阵，“1”表示待测样本属于G₁类，“2”表示待测样本属于G₂类.当两总体样本协方差矩阵相同时，该程序的使用命令为：DDA2(classG1,classG2,var.equal=TRUE).当两总体样本协方差矩阵不相同时，该程序的使用命令为：DDA2(classG1,classG2),附录2(多总体距离判别的R程序“DDAM.R”)DDAM<-function(TrnX,TrnG,TstX=NULL,var.equal=FALSE){if(is.factor(TrnG)==FALSE){mx<-nrow(TrnX);mg<-nrow(TrnG)TrnX<-rbind(Trnx,TrnG)TrnG<-factor(rep(1:2,c(mx,mg)))}if(is.null(TstX)==TRUE)TstX<-TrnXif(is.vector(TstX)==TRUE)TstX<-t(as.matrix(TstX))elseif(is.matrix(TstX)!=TRUE)TstX<-as.matrix(TstX)if(is.matrix(TrnX)!=TRUE)TrnX<-as.matrix(TrnX)nx<-nrow(TstX)blong<-matrix(rep(0,nx),nrow=1,dimnames=list("blong",1:nx))g<-length(levels(TrnG))mu<-matrix(0,nrow=g,ncol=ncol(Trnx))for(iin1:g)mu[i,]<-colMeans(TrnX[TrnG==i,])D<-matrix(0,nrow=g,ncol=nx)if(var.equal==TRUE|var.equal==T){for(iin1:g)D[i,]<-mahalanobis(Tstx,mu[i,],var(TrnX))}else{for(iin1:g)D[i,]<-mahalanobis(Tstx,mu[i,],var(Trnx[TrnG==i,]))}。
判别分析方法汇总
判别分析方法汇总判别分析（Discriminant Analysis）是一种常用的统计分析方法，用于解决分类问题。
它是一种监督学习的方法，通过构建一个或多个线性或非线性函数来将待分类样本划分到已知类别的情况下。
判别分析方法广泛应用于模式识别、图像处理、数据挖掘、医学诊断等领域。
判别分析方法可以分为线性判别分析（Linear Discriminant Analysis, LDA）和非线性判别分析（Nonlinear Discriminant Analysis, NDA）两大类。
下面我们将介绍一些常见的判别分析方法。
1. 线性判别分析（LDA）：LDA是判别分析方法中最常见的一种。
LDA假设每个类别的样本来自于多元正态分布，通过计算两个类别之间的Fisher判别值，构建一个线性函数，将待分类样本进行分类。
LDA的优点是计算简单、可解释性强，但它的缺点是对于非线性问题无法处理。
2. 二次判别分析（Quadratic Discriminant Analysis, QDA）：QDA是LDA的一种扩展，它通过假设每个类别的样本来自于多元正态分布，但允许不同类别之间的协方差矩阵是不一样的。
这样，QDA可以处理协方差矩阵不同的情况，相比于LDA更加灵活，但计算复杂度较高。
3. 朴素贝叶斯分类器（Naive Bayes Classifier）：朴素贝叶斯分类器是一种基于贝叶斯定理的分类方法。
它假设每个类别的样本属性之间是相互独立的，通过计算后验概率，选择具有最大概率的类别作为待分类样本的类别。
朴素贝叶斯分类器计算简单、速度快，但它对于属性之间有依赖关系的问题效果较差。
4. 支持向量机（Support Vector Machine, SVM）：SVM是一种常用的判别分析方法，通过构建一个超平面，将不同类别的样本进行分类。
SVM的优点是能够处理非线性问题，且能够得到全局最优解。
但SVM计算复杂度较高，对于数据量较大的情况会有一定的挑战。
判别分析四种方法
判别分析四种方法判别分析(Discriminant Analysis)是一种用于分类问题的统计方法, 它通过分析已知分类的样本数据，构造出一个判别函数，然后将未知类别的样本数据带入判别函数进行分类。
判别分析可以用于研究变量之间的关系以及确定分类模型等方面。
在判别分析中，有四种主要的方法，包括线性判别分析(Linear Discriminant Analysis, LDA)、二次判别分析(Quadratic Discriminant Analysis, QDA)、多重判别分析(Multiple Discriminant Analysis, MDA)和正则化判别分析(Regularized Discriminant Analysis, RDA)。
1.线性判别分析(LDA):线性判别分析是最常用的判别分析方法之一、它假设每个类别的样本数据都服从多元正态分布，并且各个类别具有相同的协方差矩阵。
基于这些假设，LDA通过计算类别间离散度矩阵(Sb)和类别内离散度矩阵(Sw)，然后求解广义瑞利商的最大化问题，得到最佳的线性判别函数。
线性判别分析适用于样本类别数量较少或样本维度较高的情况。
2.二次判别分析(QDA):二次判别分析是基于类别的样本数据服从多元正态分布的假设构建的。
与LDA不同的是，QDA没有假设各个类别具有相同的协方差矩阵。
相反，QDA为每个类别计算一个特定的协方差矩阵，并将其带入到判别函数中进行分类。
由于QDA考虑了类内协方差矩阵的差异，因此在一些情况下可以提供比LDA更好的分类效果。
3.多重判别分析(MDA):4.正则化判别分析(RDA):正则化判别分析是近年来提出的一种改进的判别分析方法。
与LDA和QDA不同的是，RDA通过添加正则化项来解决维度灾难问题，以及对输入数据中的噪声进行抑制，从而提高分类的准确性。
正则化项的引入使得RDA可以在高维数据集上进行有效的特征选择，并获得更鲁棒的判别结果。
第六章 判别分析
y = ∑cj xj
j =1
对于Ａ类样品 yＡi = ∑ c j x Aij
j =1
p
对于B类样品 y Bi = ∑ c j xBij
j =1
p
1 yA = nA 1 yB = nB
1 ∑ y Ai = n i =1 A 1 ∑ yBi = n i =1 B
nB
nA
∑∑c x
i =1 j =1 nB p j
第六章
判别分析
一、判别分析的概念
• • 引出 （１） 某勘探区已知有三层煤，已经分别取得 了这三层煤的若干个煤样（每个煤样是哪一层煤已 知），对这些煤样进行化验，取得了每个煤样的若干 项化验数据（称为属性或变量），现钻孔发现了煤， 但不知此煤是这三层煤中的哪一层，如何鉴别之。这 就是判别分析要解决的问题。 （２）一般的做法是，分别取已知为何层煤的煤样 若干，并取得每个煤层的若干项化验数据（变量）， 建立用以判别未知煤样的关于此若干个变量的判别函 数。同样对未知煤样化验，取得同样项的化验数据， 利用判别方程，就可以判别出未知煤样属于些三层煤 中的哪一层。
nB nA 2 ( y Aij − y Aj ) + ∑ ( y Bij − y Bj ) 2 ∑ i =1 s jj = i =1 nA nB
2
( n A + n B − 2)
2
s jk j≠k
( y Aij − y Aj )( y Aik − y Ak ) + ∑ ( y Bij − y Bj )( y Bik − y Bk ) ∑ i =1 = i =1
经过整理得
c1 s11 + c 2 s12 + L + c p s1 p = bd1 c1 s 21 + c 2 s 22 + L + c p s 2 p = bd 2 LLLLLL c1 s p1 + c 2 s p 2 + L + c p s pp = bd p
[原创]判别分析三种方法
![[原创]判别分析三种方法](https://img.taocdn.com/s3/m/dd93678e50e79b89680203d8ce2f0066f53364ac.png)
作业一：为研究1991年中国城镇居民月平均收入状况，按标准化欧氏平方距离、离差平方和聚类方法将30个省、市、自治区．分为两种类型。
试建立判别函数，判定广东、西藏分别属于哪个收入类型。
判别指标及原始数据见表9-4。
1991年30个省、市、自治区城镇居民月平均收人数据表单位：元／人x1：人均生活费收入 x6：人均各种奖金、超额工资(国有+集体)x2：人均国有经济单位职工工资 x7：人均各种津贴(国有+集体)x3：人均来源于国有经济单位标准工资 x8：人均从工作单位得到的其他收入x4：人均集体所有制工资收入 x9：个体劳动者收入x5：人均集体所有制职工标准工资一、距离判别法解：变量个数p＝9，两类总体各有11个样品，即n1＝n2＝11 ，有2个待判样品，假定两总体协差阵相等。
由spss可计算出：协方差和平均值知道了均值和协方差可利用matlab计算线性判别函数W（x）的判别系数a和判别常数。
程序如下：v=[1.000,0.217,0.299,0.045,-0.054,0.688,0.212,0.121,-0.245;.217,1,.102,-.234,-.211,. 136,-.052,.116,.154;.299,.102,1,-.296,-.062,.091,-.017,-.607,-.034;.045,-.234,-.296,1,. 762,-.172,-.297,.103,-.554;-.054,-.211,-.062,.762,1,-.156,-.342,.022,-.654;.688,.136,.0 91,-.172,-.156,1,.235,.384,-.098;.212,-.052,-.017,-.297,-.342,.235,1,-.040,.424;.121,.1 16,-.607,.103,.022,.384,-.040,1,-.071;-.245,.154,-.034,-.554,-.654,-.098,.424,-.071,1];>>m1=[139.2664;93.0918;53.9882;11.2073;6.7645;17.9345;17,8327;11.0018;1.6736];m 2=[107.3099;67.8873;47.7536;9.0827;5.3673;11.2775;13.6102;6.5773;1.3845];>> m=(m1+m2)/2;>> arfa=inv(v)*(m1-m2);二、Fisher判别方法1、操作步骤：1）录入数据，选择菜单项Analyze→Classify→Discriminate，打开Discriminate Analysis对话框，如图2-1。
41判别分析
，
三、判别分析的实质
我们知道，判别分析就是希望利用已经测得的变量数据，找 出一种判别函数，使得这一函数具有某种最优性质，能把属 于不同类别的样本点尽可能地区别开来。为了更清楚的认识 判别分析的实质，以便能灵活的应用判别分析方法解决实际 问题，我们有必要了解“划分”这样概念。
设R1，R2，…，Rk是p维空间R p的k个子集，如果它们互不 相交，且它们的和集为R p，则称R1，R2， …，Rk为R p的一 个划分。
设有两个正态总体，已知：
1
10 15
2
20 25
18 12 1 12 32
20 7
2 7
5
试用距离判别法判断：样品： 应归属于哪一类？
X
20 20
，
解：比较样品X到两总体的马氏距离的大小：
d
2 m
(
X
,
G
)
(X
) 1( X
)
dm2
(
X
,
G1
)
20 20
10 15
程度的思路原则。 常用的有：距离准则、Fisher准则、贝叶斯准则。
判别函数：基于一定的判别准则计算出的用于衡
量新样品与各已知组别接近程度的描述指标，即判 别函数。
（二）判别分析的种类
按照判别组数划分有: 两组判别分析和多组判别分析；
按照区分不同总体的所用数学模型来分有: 线性判别分析和非线性判别分析；
32 12
12
18
20 20
10 15
1 432
10,
5
32 12
12 10 1
18
5
432
=5.67
dm2
(
X
学术研究中的判别分析技术
学术研究中的判别分析技术一、引言判别分析是一种重要的统计学方法，主要用于识别不同类别的样本，并对样本进行分类。
在学术研究中，判别分析技术被广泛应用于各种领域，如生物医学、心理学、社会学、经济学等。
本文将介绍判别分析的基本原理、应用范围、分类方法以及其在学术研究中的应用案例。
二、判别分析的基本原理判别分析是根据样本的特征，将样本划分为不同的类别。
判别分析的目标是建立一种模型，使得该模型能够根据样本的特征，对样本的类别进行准确的预测。
常用的判别分析方法包括线性判别分析、非线性判别分析、支持向量机等。
三、判别分析的应用范围判别分析在学术研究中具有广泛的应用范围。
它可以应用于各种领域，如生物医学、心理学、社会学、经济学等。
在生物医学领域，判别分析可以用于疾病分类、基因组学研究等；在心理学领域，它可以用于个性特征的分类；在社会学领域，它可以用于种族、社会阶层等的分类；在经济学领域，它可以用于市场细分、风险评估等。
四、判别分析的分类方法判别分析有多种分类方法，根据不同的特征可以分为线性判别分析和非线性判别分析。
线性判别分析是一种基于线性模型的判别分析方法，它适用于特征之间存在线性关系的情况。
非线性判别分析则适用于特征之间存在非线性关系的情况，常用的方法包括支持向量机、神经网络等。
此外，根据应用场景的不同，判别分析还可以分为一对一批判别分析、多个样本批判别分析和时间序列判别分析等。
五、判别分析在学术研究中的应用案例本文将介绍两个判别分析在学术研究中应用的案例。
第一个案例是用于疾病分类的线性判别分析。
在一项生物医学研究中，研究者收集了大量病人的临床数据，包括血压、血糖、血脂等指标。
通过对这些数据进行线性判别分析，研究者成功地将病人分为高血压和正常两组，并且模型的准确率达到了85%以上。
这个案例说明，判别分析可以有效地应用于生物医学领域，为疾病的诊断和治疗提供支持。
第二个案例是用于市场细分的非线性判别分析。
在一家互联网公司的市场营销中，研究者收集了不同用户群体的网络行为数据，包括浏览网页、社交互动、购买行为等。
多元统计学中的判别分析方法
多元统计学中的判别分析方法在统计学中，判别分析是一种常用的多元数据分析方法，用于将数据集划分为不同的类别或群组。
它通过对多个变量进行分析，以确定哪些变量在分类中起到重要的作用。
判别分析方法在许多领域都有广泛的应用，包括医学、社会科学、生物学等。
判别分析的基本思想是通过寻找最佳的线性组合，将不同类别的样本在多维空间中分开。
这个线性组合被称为判别函数，它能够最大程度地区分不同类别的样本。
判别函数的构建可以通过多种方法实现，其中最常用的方法包括线性判别分析（LDA）和二次判别分析（QDA）。
线性判别分析是判别分析中最简单和最常用的方法之一。
它假设不同类别的样本具有相同的协方差矩阵，且每个类别的样本在多维空间中服从多元正态分布。
线性判别分析通过计算类别之间的协方差矩阵和均值向量，以及总体的协方差矩阵和均值向量，来构建判别函数。
这个判别函数可以将样本点映射到一条直线上，使得不同类别的样本点在直线上的投影尽可能分开。
二次判别分析是线性判别分析的一种扩展形式。
它假设不同类别的样本具有不同的协方差矩阵，即每个类别的样本在多维空间中服从不同的多元正态分布。
二次判别分析通过计算每个类别的协方差矩阵和均值向量，以及总体的协方差矩阵和均值向量，来构建判别函数。
这个判别函数可以将样本点映射到一个二次曲线上，使得不同类别的样本点在曲线上的投影尽可能分开。
判别分析方法的应用非常广泛。
在医学领域，判别分析可以用于诊断疾病和预测疾病的发展趋势。
例如，通过对患者的多个生物指标进行判别分析，可以将患者分为不同的疾病类别，从而为医生提供更准确的诊断依据。
在社会科学领域，判别分析可以用于研究人群的特征和行为。
例如，通过对人们的收入、教育水平和职业等多个变量进行判别分析，可以将人群分为不同的社会经济阶层，从而为社会政策的制定提供参考。
在生物学领域，判别分析可以用于分类和鉴别生物物种。
例如，通过对不同物种的形态特征进行判别分析，可以将不同物种的样本点在多维空间中分开，从而实现物种的分类和鉴别。
数据分析知识：数据分析中的判别分析方法
数据分析知识：数据分析中的判别分析方法判别分析是一种统计分析方法，用于确定一个或多个自变量对于分类变量的影响程度。
它主要用于识别和定量分析不同群体之间的差异，从而帮助人们做出正确的判断和决策。
判别分析方法在许多不同领域都有着广泛的应用，包括市场营销、医学、社会科学等。
在进行判别分析之前，首先需要明确分类变量和自变量的关系。
分类变量是研究对象的属性，例如不同的产品类型、疾病种类、用户群体等；自变量则是用来解释分类变量的因素，可包括多种属性或指标。
判别分析的目标是通过自变量来识别分类变量的不同群体，并且量化它们的差异程度。
判别分析的基本原理是利用自变量对不同分类变量进行分类和区分。
在进行判别分析时，需要建立一个判别函数，用来预测或计算分类变量的概率。
这个判别函数可以是线性的，也可以是非线性的，具体的形式取决于研究对象和数据特点。
判别函数的建立需要借助统计模型和算法，例如线性判别分析（LDA）、逻辑回归、支持向量机等。
这些方法都是在不同的数学理论和假设基础上发展起来的，具有各自的适用场景和特点。
在实际应用中，判别分析可以帮助人们识别和解释分类变量的差异。
举个例子，假如我们想要研究不同用户群体对于某个产品的偏好程度，我们可以收集用户的属性信息（如年龄、性别、收入等）作为自变量，产品的满意度（比如评分或者购买意愿）作为分类变量。
通过判别分析，我们可以分析出不同群体之间的偏好差异，找出对产品偏好影响最大的因素，从而为产品营销和推广提供科学依据。
在医学领域，判别分析也有着重要的应用价值。
例如，我们可以利用病人的临床指标（如血压、血糖、血脂等）作为自变量，疾病的种类（如高血压、糖尿病、心血管疾病等）作为分类变量，通过判别分析来识别不同疾病之间的特征和差异，帮助医生进行疾病诊断和治疗。
在社会科学领域，判别分析也常常用于对不同人群的心理特征和行为模式进行分类和分析。
比如，通过收集人们的性格特征、消费行为、社交习惯等自变量，可以对他们进行分类并识别出不同群体之间的差异，从而更好地理解和预测人的行为和决策。
判别分析方法概述及应用条件
判别分析方法概述及应用条件判别分析方法是一种用于模式识别和分类问题的统计学方法。
它通过对不同类别样本之间的差异进行量化，以达到对未知样本进行分类的目的。
本文将对判别分析方法的概念和常用的应用条件进行概述。
一、判别分析方法概述判别分析方法是一种有监督学习的方法，其核心思想是通过找到最佳的分离超平面或者决策面，将不同类别的样本在特征空间中进行分割。
判别分析方法主要有两种常用的形式：线性判别分析（LDA）和二次判别分析（QDA）。
线性判别分析是一种基于线性代数的判别分析方法。
它假设不同类别的样本在高维特征空间中服从多元正态分布，并且这些分布的协方差相等。
在此基础上，通过最大化不同类别之间的“类间方差”和最小化各类别内部的“类内方差”，以找到一个最佳的分离超平面来进行分类。
二次判别分析则是在线性判别分析的基础上放宽了特征空间协方差相等的假设。
在二次判别分析中，各类别的样本在特征空间中服从多元正态分布，但协方差不再相等。
通过计算类别间散度矩阵和类别内散度矩阵的比值，再进行特征空间的求解，以实现分类。
判别分析方法的优点在于能够充分利用样本的类别信息，具有较好的分类效果。
同时，判别分析方法也可以用于降维处理，将高维数据转化为低维数据，提高计算效率。
二、判别分析方法的应用条件判别分析方法的应用条件主要包括以下几个方面：1. 独立性假设：判别分析方法假设不同特征之间是相互独立的，即特征之间没有相关性。
因此，在应用判别分析方法之前，需要对数据进行预处理，检验各特征之间是否满足独立性假设。
2. 正态分布假设：判别分析方法通常要求样本在特征空间中服从正态分布。
如果样本不满足正态分布假设，就需要进行合适的数据转换或者选择其他合适的分类方法。
3. 方差齐性假设：在线性判别分析中，要求不同类别样本的协方差矩阵相等。
如果协方差矩阵不相等，就需要进行方差齐性检验，并采取适当的处理方法。
4. 样本均衡性：为了保证判别分析方法的有效性，不同类别的样本数量应该是相对平衡的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第六章 判别分析§6.1 什么是判别分析判别分析是判别样品所属类型的一种统计方法，其应用之广可与回归分析媲美。
在生产、科研和日常生活中经常需要根据观测到的数据资料，对所研究的对象进行分类。
例如在经济学中，根据人均国民收入、人均工农业产值、人均消费水平等多种指标来判定一个国家的经济发展程度所属类型；在市场预测中，根据以往调查所得的种种指标，判别下季度产品是畅销、平常或滞销；在地质勘探中，根据岩石标本的多种特性来判别地层的地质年代，由采样分析出的多种成份来判别此地是有矿或无矿，是铜矿或铁矿等；在油田开发中，根据钻井的电测或化验数据，判别是否遇到油层、水层、干层或油水混合层；在农林害虫预报中，根据以往的虫情、多种气象因子来判别一个月后的虫情是大发生、中发生或正常； 在体育运动中，判别某游泳运动员的“苗子”是适合练蛙泳、仰泳、还是自由泳等；在医疗诊断中，根据某人多种体验指标（如体温、血压、白血球等）来判别此人是有病还是无病。
总之，在实际问题中需要判别的问题几乎到处可见。
判别分析与聚类分析不同。
判别分析是在已知研究对象分成若干类型（或组别）并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。
对于聚类分析来说，一批给定样品要划分的类型事先并不知道，正需要通过聚类分析来给以确定类型的。
正因为如此，判别分析和聚类分析往往联合起来使用，例如判别分析是要求先知道各类总体情况才能判断新样品的归类，当总体分类不清楚时，可先用聚类分析对原来的一批样品进行分类，然后再用判别分析建立判别式以对新样品进行判别。
判别分析内容很丰富，方法很多。
判别分析按判别的组数来区分，有两组判别分析和多组判别分析；按区分不同总体的所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。
判别分析可以从不同角度提出的问题，因此有不同的判别准则，如马氏距离最小准则、Fisher 准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。
本章仅介绍四种常用的判别方法即距离判别法、Fisher 判别法、Bayes 判别法和逐步判别法。
§6.2 距离判别法基本思想：首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i 类的重心距离最近，就认为它来自第i 类。
距离判别法，对各类（或总体）的分布，并无特定的要求。
1 两个总体的距离判别法设有两个总体（或称两类）G 1、G 2，从第一个总体中抽取n 1个样品，从第二个总体中抽取n 2个样品，每个样品测量p 个指标如下页表。
今任取一个样品，实测指标值为),,(1'=p x x X ，问X 应判归为哪一类？首先计算X 到G 1、G 2总体的距离，分别记为),(1G X D 和),(2G X D ，按距离最近准则判别归类，则可写成：⎪⎩⎪⎨⎧=>∈<∈),(),( ,),(),(,),(),(,21212211G X D G X D G X D G X D G X G X D G X D G X 当待判当当 G 1总体： G 2总体：记2,1,),,()()(1)(='=i x x Xi p i i如果距离定义采用欧氏距离，则可计算出1(,)D X G ==2(,)D X G ==然后比较),(1G X D 和),(2G X D 大小，按距离最近准则判别归类。
由于马氏距离在多元统计分析中经常用到，这里针对马氏距离对上述准则做较详细的讨论。
设)1(μ、)2(μ，)1(∑、)2(∑分别为G 1、G 2的均值向量和协方差矩阵。
如果距离定义采用马氏距离即2,1)()()(),()(1)()(2=-∑'-=-i X X G X D i i i i μμ这时判别准则可分以下两种情况给出： （1）当∑=∑=∑)2()1(时考察),(22G X D 及),(12G X D 的差，就有：)2(1)2()2(1112222),(),(μμμ-'--∑+∑'-∑'=-X X X X G X D G X D]2[)1(1)1()1(11μμμ-'--∑+∑'-∑'-X X X)()()(2)2()1(1)2()1()2()1(1μμμμμμ-∑'+--∑'=--X)()(212)2()1(1)2()1(μμμμ-∑'⎥⎦⎤⎢⎣⎡+-=-X 令)(21)2()1(μμμ+=)()()()2()1(1μμμ-∑'-=-X X W则判别准则可写成：⎪⎩⎪⎨⎧==<<∈>>∈),(),(D 0)(,),(),(D 0)(,),(),(D 0)(,12221222212221G X D G X X W G X D G X X W G X G X D G X X W G X 即当待判即当即当 当)2()1(,,μμ∑已知时，令),,()(1)2()1(1'∆-∑=-p a a a μμ则⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡--=-'='-=p p p x x a a X a a X X W μμμμ ),,()()()(111)()(111p p p x a x a μμ-++-=显然，W (X )是p x x ,,1 的线性函数，称W (X )为线性判别函数，a 为判别系数。
当)2()1(,,μμ∑未知时，可通过样本来估计。
设)()(2)(1,,,i ni i iX X X 来自G i 的样本，i =1,2。
∑===11)1()1(1)1(1ˆn i i X X n μ ∑===21)2()2(2)2(1ˆn i i XX n μ)(21ˆ2121S S n n +-+=∑其中 ∑='--=in t i i t i i t i X X X XS 1)()()()())(()(21)2()1(X X X +=线性判别函数为：)(ˆ)()()2()1(1X X X X X W -∑'-=- 当p =1时，若两个总体的分布分别为),(21σμN 和),(22σμN ，判别函数)(1)2()(21221μμσμμ-⎪⎭⎫ ⎝⎛+-=X X W ，不妨设21μμ<，这时W(X)的符号取决于μ>X 或μ<X 。
当μ<X 时，判1G X ∈；当μ>X 时，判2G X ∈。
我们看到用距离判别所得到的准则是颇为合理的。
但从下图又可以看出，用这个判别法有时也会得出错判。
如X 来自G 1，但却落入D 2，被判为属G 2，错判的概率为图中阴影的面积，记为)1/2(P ，类似有)2/1(P ，显然)1/2(P =)2/1(P =⎪⎭⎫⎝⎛-Φ-σμμ2121。
当两总体靠得很近（即|21μμ-|小），则无论用何种办法，错判概率都很大，这时作判别分析是没有意义的。
因此只有当两个总体的均值有显著差异时，作判别分析才有意义。
（2）当)2()1(∑≠∑时按距离最近准则，类似地有：⎪⎩⎪⎨⎧=>∈<∈),(),( ,),(),(,),(),(,21212211G X D G X D G X D G X D G X G X D G X D G X 当待判当当 仍然用),(),()(1222G X D G X D X W -=)()()()2(1)2()2(μμ-∑'-=-X X )()()()1(1)1()1(μμ-∑'---X X作为判别函数，它是X 的二次函数。
2 多个总体的距离判别法类似两个总体的讨论推广到多个总体。
设有k 个总体G 1, …, G k ，它们的均值和协方差阵分别为k i i i ,,1,,)()( =∑μ，从每个总体G i 中抽取n i 个样品，i =1,…,k ，每个样品测p 个指标。
今任取一个样品，实测指标值为),,(1'=p x x X ，问X 应判归为哪一类？G 1总体： … G k 总体：记向量k i x x x X p i ,,1 ),,,(21)( ='=（1）当∑=∑-=∑)()1(k 时此时k ,1,i )()(),()(1)(2 =-∑'-=-i i i X X G X D μμ判别函数为：)],(),([21)(22i j ij G X D G X D X W -=()k ,1,j i, )(21)()(1)()( =-∑'⎥⎦⎤⎢⎣⎡+-=-j i j i X μμμμ相应的判别准则为：⎪⎩⎪⎨⎧=≠>∈0)(W ,,0)(W ,ij ij X ij X G X i 若有某一个待判对一切当 当)1()1(,,μμ ，∑未知时可用其估计量代替，设从G i 中抽取的样本为k i X X i n i i,,1,,,)()(1=，则)(ˆi μ，∑ˆ的估计分别为 ∑====in a i aii i k i Xn X1)()()(,,11ˆ μ∑=-=∑ki iSkn 11ˆ其中 ∑='--=++=in a i i a i i ai i X X X XS n n n 1)()()()(1))((, 为G i 的样本离差阵。
（2）当)()1(,,k ∑∑ 不相等时此时判别函数为：)(][)()()(1)()(j j j ji X V X X W μμ-'-=-)(][)()(1)()(i i i X V X μμ-'---相应的判别准则为：⎪⎩⎪⎨⎧=≠>∈0)(W ,,0)(W ,ij ij X ij X G X i 若某一个待判对一切当 当),,1(,)()(k i i i =∑μ未知时，可用)()(,i i ∑μ的估计量代替，即)()(ˆi i X =μk i S n ii i ,,111ˆ)( =-=∑例1 人文发展指数是联合国开发计划署于1990年5月发表的第一份《人类发展报告》中公布的。
该报告建议，目前对人文发展的衡量应当以人生的三大要素为重点，衡量人生三大要素的指示指标分别要用出生时的预期寿命、成人识字率和实际人均GDP ，将以上三个指示指标的数值合成为一个复合指数，即为人文发展指数。
资料来源：UNDP 《人类发展报告》1995年。
今从1995年世界各国人文发展指数的排序中，选取高发展水平、中等发展水平的国家各五个作为两组样品，另选四个国家作为待判样品作距离判别分析。
数据选自《世界经济统计研究》1996年第1期本例中变量个数p =3，两类总体各有5个样品，即521==n n ，有4个待判样品，假定两总体协差阵相等。