误差分析课件数据判别分析

离是
D ij [X (iX j)TS 1(X iX j)1 2 ]
而两个总体G1和G2,其均值向量分别为和1 ，
G1和2 G2的协方差距阵相等，皆为 ，则总S体
G1和G2间的马氏距离是
D （ G 1 ,G 2 ） [1 (2 ) T S 1 (1 2 )1 2]
18
马氏距离的性质
1 D（x，y） 0;两点重合0时为 2 D （ x， y）D ＝ (y,x) 3 D （ x ， z ） D ( x ,y ) D ( y ,z )
38
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
发展概况
1.早期方法（统计方法、回归方法等） 2.RMR分类
3.马氏距离判别分析法
39
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
马氏距离判别分析法
40
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
2
x k m k ( )
k 1
12
类内距离
同一个类内任意样品之间距离之和的平均值
13
类与类之间的距离
最短距离法、最长距离法、重心法、平均距 离法
14
数据判别的方法——模版匹配
把未知样品和一个标准模版相比，看它们是 否相同或者相似。
两类别 多类别
15
两类别
有两个标准样品模版为A和B，其特征向量 分别为X和Y，任何一个待识别的样品为M, 可以用距离判别来判断它属于A或者B,如果 M和A的距离近则属于A，否则属于B。这就 是最小距离判别法。
Xi
xi 2 ... xin
xi1 ,
xi 2
,...,xin
T
B:
x j1
X j
xj2 ...
x j1, x j2 ,...,x jn T
x jn
9
样品间的距离计算公式
10
样品与类之间的距离
W为代表某类样品的集合，其中有n个样品， x为待测样品。
11
样品与类的距离的计算方法
^*
pr
n12 n21 n1n2
30
误判率的交叉确认估计法
误判率的交叉估计确认估计是每次剔除训练 样本中的一个样品，利用其余容量为 n1+n2-1的训练样本建立相应的判别准则， 再用所建立的判别准则对剔除的那个样品作 判别。对训练样本中的每个样品作上述分析， 以其误判的比例作为误判概率的估计。
31
W W 21((xx)) aa2 T 1 Txx＋ ＋ bb21,,其 其a a中 中 2 1 1 1 1 2,,b b12 1 21 21 T 2 T 1112
则 D 2 ( x ,G 1 ) － D 2 ( x ,G 2 ) 2 [ W 1 ( x ) W 2 ( x )]
16
多类别
多种类别，每类有N个样品，计算待测样品 到各类中心的马氏距离，比较各距离，取最 小的距离值，则待测样品就属于该类。
17
马氏距离
在判别分析中最常用到马氏距离，此方法考
虑到了欧式分布中没有考虑到的总体分布的
分散性信息。
设x，y是来自均值向量为 、协方差矩阵 S
的总体G的两个样品，则x，y之间的马氏距
发展概况
RMR分类：
R1：岩石抗压强度 R2：岩石质量指标 R3：节理间距 R4：节理状态 R5：地下水状态
49
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
发展概况
RMR分类：
50
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
发展概况
RMR分类的不足：
实用性窄，使用起来有局限性，对采集 数据依赖较大。
19
马氏距离判别的合理性
设G1为正态总体
Np(1,)
G2为正态总体
Np(2,)
它们的概率密度为：
fi(x)(2)1 2 p 1 2ex1 2 p (x {i)T 1(xi}
20
马氏距离判别的合理性
两个总体的协方差矩阵相等，对于新产品X， 要判别X属于哪个总体，根据统计学似然比 准则，很自然应将X判归在该样品观测处其 概率密度较大的那个总体。
x x G G 1 2,,若 若 W W 1 1((x x)) W W 2 2((x x))
26
多个总体的距离判别
N个总体均值向量和协方差矩阵已知，计算 待测样品X到各总体的马氏距离，比较这N 个距离，判断X属于其马氏距离最小的总体， 如果最小距离在不止一个总体达到，则可将 X判给具有最小距离总体的任何一个。
数据分布形式和变量 之间的关系是难以准 确获知的
37
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
发展趋势
1. 单因素定性分级 多因素定性分级
多因素定量综合模式
2. 由于应用和分析侧重点不同，相应地采用不同的评价指
标和分级标准
3. 采用静态和动态等多种评价方法从不同侧面进行岩体质
量的综合评价 4. 岩体质量评价与岩体稳定性分析的有机结合
24
具体讨论两个总体协方差矩阵相等或不等 的情况
这样，距离判别准则化为
xx G G12,,若 若W W11((xx))W W22((xx))
其中W1和W2都是线性判别函数，在实际问 题中，通常以来自总体的训练样本的均值和 协方差来估计线性判别函数。
25
具体讨论两个总体协方差矩阵相等或不等 的情况
27
判别准则的评价
1 误判率回代估计法 2 误判率的交叉确认估计法
28
误判率回代估计法
设G1和G2为两个总体，容量分别为n1、 n2，以全体训练样本作为n1＋n2个新样品， 逐个代入已建立的判别准则中判别其归属。
29
误判率回代估计法
其中n12是将属于G1的样品误判为属于G2 的个数，n21是将属于G2的样品误判为属 于G1的个数，总的误判个数是n12＋n21， 而总体n1＋n2，误判率回代估计为
42
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
岩体质量等级判定的距离判别分析模型
2.距离判别分析模型的建立
距离判别分析模型示意图
43
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
岩体质量等级判定的距离判别分析模型
2.距离判别分析模型的建立
44
数据判别实例分析
1 计算待测样品和类中每个样品之间的距离 后求平均值。
D 2X , N 1iN 1(X ,X i( )) N 1iN 1k n 1x k x i( k )2
2 计算类的中心点，以类中所有的样品特征 的平均值作为类的中心，然后计算待测样品 到中心点的距离。
D 2 ( X , ) D 2 ( X ,M )n
33
其他分类判别准则
基于概率统计的贝叶斯分类准则 判别函数分类设计（线性、非线性、支持向
量机……） 神经网络分类 决策树分类 粗糙集分类
34
数据判别分析
第二部分 实例分析
——距离判别分析法在岩体质量等级分类中的应用
主讲人：吴佳欢
35
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
研究意义
工程岩体质量反映了岩体结构固有的物理力 学特性，为工程稳定分析、岩体的合理利用以 及正确选择各类岩体力学参数等提供了可分析
——距离判别分析法在岩体质量等级分类中的应用
对象特征
在岩石力学与工程系统中，许多情况下由于系统具有
1.复杂性 2.模糊性 3.高度非线性
2 待测样品与样品库中不同类别的中心或重 心作相似性测度，找出最接近类的中心，以 该类作为待测样品的类别。
6
距离算法
样品与样品之间的距离 样品与类之间的距离 类内距离 类与类之间的距离
7
样品间距离示意图
同类内样品间的距离 不同类内样品间的距离
8
样品与样品之间的距离
A:
xi1
——距离判别分析法在岩体质量等级分类中的应用
岩体质量等级判定的距离判别分析模型
3.判别结果的检验
45
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
岩体质量等级判定的距离判别分析模型
4.结论
采用距离判别分析法能够解决传统分类方法中考虑的因素不 够、实用性窄以及使用起来有局限性等缺陷。该模型在判别分类 中具有较强的判别能力，为解决岩体质量等级判定和分类提供了 一条新的途径。
即有下列判别准则：
x
G1
,
若
x
G
2
,
若
f1 (x)
f2 (x) f1 (x)
f 2( x )
1 1
21
马氏距离判别的合理性
而 f1(x)/f2(x)1的充分必要条件是：
( x 1 ) T 1 ( x 1 ) ( x 2 ) T 1 ( x 2 )
即，D (x,G 1)D (x,G 2) （马氏距离）因此，当两 个总体G1和G2为正态总体且其协方差矩阵 相等时，采用马氏距离判别准则和似然比准 则时一致的。
误判率的交叉确认估计法－步骤
从总体G1的容量为n1的训练样本开始，依 次剔除其中一个样品，用剩余的容量为n1－ 1的训练样本和总体G2的容量为n2的训练 样本建立相应的判别函数。
用建立的判别函数对剔除的那个样品作判别 重复以上步骤，直到G1的训练样本中的n1
的样品依次被剔除，记录其误判的样品个数 对G2重复以上步骤，确定误判率。
22
具体讨论两个总体协方差矩阵相等或不等 的情况
1当两个总体协方差矩阵相等时，考虑样品 X到两总体的马氏平方距离的差：
D2(x,G1)－ D2(x,G2)
＝ (x1)T1(x1)(x2)T1(x2) ＝ 21T1x1T1122 T1x2 T12
23
具体讨论两个总体协方差矩阵相等或不等 的情况
记
4
相似性测度
判断样品之间的相似性常采用近邻准则，就 是把待分类样品与标准模版进行比较，看和 哪个模版匹配程度更好，从而确定待测样品 的分类。
计算模式相似性测度有欧式距离、马氏距离、 夹角余弦距离、Tanimoto测度等多种距离 算法。
5
近邻准测分类的两种计算方法
1 通过与样品库所有样品特征分别作相似性 测度，找出最接近的样品，取该样品所属类 别作为待测样品的类别。
32
两种误判率确认方法的比较
误判率的交叉确认估计法，所得到的估计称 为误判率的交叉确认估计，此方法较回代法 更合理，但计算量较大。
误判率的回代估计法作出的误判率是建立判 别函数的数据反过来用作评价准则的数据得 到，因此由此得出的估计往往比真实误判率 小，当训练样本较大的时候，此法可以作为 真实误判率的一种近似估计。
2 当两个总体协方差矩阵不等的时候
W W 21 ((xx))aa2 T1 T xx＋ ＋ bb 21,,其 其aa 中 2 中 1 2 1 1 1 1 2,,b b12 1 21 21T2 T 12 1 112
D 2 ( x ,G 1 ) － D 2 ( x ,G 2 ) 2 [ W 1 ( x ) W 2 ( x )]
数据判别分析 第一部分：原理介绍
1
判别分析概念及应用
概念 应用
2
判别分析概念
在自然科学与社会科学等众多领域中,研究 对象往往用某种方式已划分为若干类型,当 得到一个新的样品,要确定该样品属于已知 类型的哪一类,这类问题就属于判别分析.
3
判别分析的应用
在工业生产中判断产品的等级; 在经济发展中判断一个国家经济发展程度; 医学中根据化验结果判断病人的疾病类型等.
马氏距离判别分析法
= =
注释：S
41
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
岩体质量等级判定的距离判别分析模型
1.判别参数的确定
岩体质量等级的影响因素
（1）岩石性质 （2）岩体结构 （3）储存环境
以单轴抗压强度（X1） 岩体声波纵波速度(X2) 体积节理数(X3) 节理面粗糙度系数(X4) 节理面风化变异系数(X5) 透水性系数(X6)
46
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
47
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
发展概况
早期方法的不足：
这些方法需要已知数据分布形式和对变量之间关 系的假定，分级效果的好坏很大程度上取决于对模型的 认识，人为因素很大。
返回
48
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
返回
51
数据判别实例分析
——距离判别分析法在岩体质量等级分类中的应用
马氏距离判别分析法
返回
52