判别分析

4、计算矩阵Q-1 B的前m个特征向量 5、组成线性变换a，并计算各样本平均向量在
m维空间中的点 6、判断
例2：为研究某地区人口死亡状况，已按 某种方法将15个已知样本单位分为三组， 选择判别变量为2个：55岁组死亡概率 q55和80岁组死亡概率q80。建立判别函 数，判定另外4个待判样本属于何组。数 据见 spssex/ex602
某种方法将p维空间划分为互不相交的q个区域， 每个区域对应着一个类，对于给定的新样本点， 必然要落入其中某个类中。
对于满足类内样本点接近、类间样本点疏远的 性质，可以通过统计量来表现。
类间离差平方和 类内离差平方和
比值越大说明类与类间差异越大，分类效果越 好
二、两个类别的判别 步骤： 1、计算两类(A,B)各自的均值 2、计算类内离差平方和与类间离差平方和 3、求出判别函数 4、计算待判样本的三个值y, y(a) , y(b) 5、判断
y 1.035x1 4.117x2 1.544x3 2.008x5
三、三个类别情形的判别 1、三条线都有通过所有点的重心 2、三条线相交组成一个三角形
第三节 以曲线划分的判别法
一、判别原理 马氏距离：
1
dij (M ) [(xi x j )s1(xi x j )]2 判别函数：
二、判别的准则 1、一维判别 对于待判样本，计算 y ax 和 y(k) ax(k) 若 ax ax(k) ax ax(l) ，则x属于第k
组
2、多维判别 多维判别函数建立后，把p维空间的点转
换成m维空间的点
d 2 (x, k) ( y y(k))( y y(k)) (x x(k))aa(x x(k))
第四节 费歇尔判别法
费歇尔判别方法是历史上最早提出的判 别方法之一，也叫线性判别法
费歇尔判别的思想是通过将多维数据投 影到某个方向上，投影的原则是将类与 类之间尽可能的分开，然后再选择合适 的判别准则，将待判的样本进行分类判 别。
一、判别原理
设有q个总体G1,G2,…,Gq,每类中含有样本 数分别为n1,n2,…,nq
p p
j
V (n g)
Wij*
xik xi x jk x j
i1 j 1
nk 1
P—模型中的变量数，g—分类数，nk—第k组 样本大小，Wij*—组间协方差矩阵的逆矩阵
V—两组均值之差
组间的F检验
F
n 1 pn1n2 pn 2n1 n2
D
2
每步都使任何两类间的最小的F值最大 的变量进入判别函数
Wilk’s λ最小法
U统计量
λ=组内平方和/总平方和，每一步都是统 计量最小的进入判别函数
容许度=1-Ri2 (Ri2为偏相关系数）
F引
1
p 1
p
p1 p
n
g p g 1
F剔
1
p
1
p
p1 p
ng g 1
p
Rao’V最大法
每步都是使RaoV统计量产生最大增量的变量进 入判别函数
步判别、序贯判别。 4、按判别准则来分，有费歇尔判别准则、
贝叶斯判别准则
判别分析是根据观察或测量到若干变量 值，判断研究对象如何分类的方法。实 际上是根据表明事物特点的变量值和它 们所属的类求出判别函数，根据判别函 数对未知所属类别的事物进行分类的一 种分析方法。
第二节 以直线划分的判别法
一、判别的基本思想 把观测到的n个样本看作p维空间的n个点，以
判别分析的基本步骤：
1、选择自变量及组变量 2、计算各组单变量的描述统计量 3、推导判别系数，给出标准化或未标准化的
典则判别系数，并对函数显著性进行检验 4、建立Fisher线性判别函数 5、进行判别分组 6、进行样本回判分析，计算错分率 7、输出结果
第五节 逐步判别分析
一、逐步判别原理 逐步判别分析从模型没有变量开始，每
Ba (a)Q(k)a
Q(k)1 Ba (a)a
(Q1B (a)I )a 0
QB (a)
ax(k)
1 q
ax
(k
)
2
aBa
q
q
QW (a) QW (k) (Y (k) Y (k))(Y (k) Y (k))
k 1
k 1
q
aQ(k)a k 1
λ(a) 是Q-1 B的特征根，a是Q-1 B的特征向量
判别分析
第一节 判别分析方法 第二节 以直线划分的判别法 第三节 以曲线划分的判别法 第四节 费歇尔判别法 第五节 逐步判别法
第一节 判别分析方法
分类： 1、按判别的组数来分，有两组判别分析
和多组判别分析 2、按区分不同总体所用的数学模型来分，
有线性判别和非线性判别 3、按判别对所处理的变量方法不同有逐
一步都对模型进行检验，把模型外对模 型的判别力贡献最大的变量加到模型中， 同时考虑已经在模型中但又不符合留在 模型中条件的变量从模型中剔除。
一个变量能否进入模型主要取决于协方 差分析的F检验的显著性水平
F统计量的构造：
w11 w12 w1p
t11 t12 t1p
QW
w21
w22
d 2 (x, k) d 2 (x,l) 则x属于第k组
三、判别的步骤 1、由各组样本资料，计算各组样本均值
x(k)
2、计算离差矩阵B B nk (x(k) x)(x(k) x)
3、计算各组样本离差平方和Q
q
Q Q(k) ( X (k) X (k))( X (k) X (k)) k 1
SPSS
Discriminant过程根据已知的观测量分类 和表明观测量特征推导出的判别函数， 并把各观测量的变量值回代到判别函数， 根据判别函数对观测量所属类别进行判 别。对比原始数据的分类和按判别函数 所羊的分类，给出错分概率。
功能
给出各类观测量的单变量的描述统计量。 给出费歇尔判别函数的系数或标准化及未标准
例4：为研究某地区人口死亡状况，已按 某种方法将15个已知样本点分为三组， 选择判别变量为6个：0岁组死亡概率q0,1 岁组死亡概率q1,10岁组死亡概率q10,55 岁组死亡概率 q55, 80岁死亡概率q80,平 均预期寿命e0。试用逐步判别法建立判 别函数，判定另外4个待判样本点属于何 组。数据见 spssex/ex604
d2(x,k) zz (x x(k))sk1(x x(k))
判别原则： 二、马氏距离导出的二次曲线判别
例3.研究某年全国各地区农民家庭收支的 分布规律，根据抽样调查资料进行分类， 共抽取28个省、市、自治区的六个指标 数据。先采用聚类分析，将28个省、市、 自治区分为三组，其中北京、上海、广 州3个城市属于孤立样本单位，未归属于 已分的三组中，现采用曲线判别法来判 定北京、上海、广州归属于哪个组。原 始数据见spssex/ex603
先建立判别临界值y0,在两总体先验概率相等的假设下，一般
常取
y0
n1 y( A) n2 y(B) n1n2
如果 y(A) y(B) ，则判定准则为： y>y0,x属于A组； y<y0,x 属 于B组
如果 A组
y( A)
y(B)
，则判定准则为：y>y0,x属于B组；y<y0,
x属于
例1：为研究某地区育龄妇女的生育状况， 根据生育峰值年龄，一胎生育率，二胎 生育率、多胎生育率及总和生育率5项指 标，将12个已知样本点分为两组，根据 已知样本建立判别函数，并判定另外3个 待判个体属于何组。数据见spssex/ex601
假定所建立的判别函数为
y a1x1 a2 x2 ap xp ax
其中 a (a1, a2, ,ap ) x (x1, x2 , , xp ) a表示p维空间的一个方向,如果按这个方
向做一条直线，ax 表示向量x在这条直 线上投影坐标
将各组样本均值投影到某条直线上，得 到各组样本均值在该直线的投影坐标， 投影坐标值距离越远越容易判断待判样 本属于哪个组。
化的典则判别函数的系数。 给出类内相关矩阵，类内、类间协方差矩阵和
总协方差矩阵。 给出按判别函数判别的各观测量所属类别。 带有错分率的判别分析小结。 生成表明各类分布的区域图和散点图。
建立判别函数的方法
全模型法： 把用户指定的变量全部放入判别函数中，
不管变量对判别函数是否起作用，作用 的大小如何。 逐步选择法：
b
a
费歇尔方法就是要找一由p变量组成的线性函
数，使得各组内点的函数值尽可能接近，而不 同组间的函数值尽可能远
(a) QB (a)
Qw (a)
(a)
0a a j
QB (a) (a)QW (a)
QB (a) a j
(a)QW a j
(a)
(a) a j
QW
(a)
(a)
QW (a) a j
(a) QW (a) a j
Ckj x j
j已入选变量
其中Ckj (n q) wi(jl ) xi (k )
1
Ck 0
2
Ckj x j (k )
j已入选变量
qk
nk n
nk
q
nk
k 1
判别原则：对每个待判样本x，分别计算
各类判别函数值，比较值的大小，x属于
值最大组。
二、选择变量方法 1、Wilk’s λ最小法 2、Rao’V最大法 3、马氏距离最大法 4、F统计量最大法 5、剩余离差平方和最小法
w2
p
QT
t21
t22
t2
p
wp1
wp2
wpp
t p1
tp2
t
pp
QWL L 1,2,...,p QTL
F引
L L1
1
n
L q 1
q
F (q
1,
n
Biblioteka Baidu
L
q)
F剔
L L1
1
n
(L q
1) 1
q
根据筛选后得到的变量，建立贝叶斯判 别函数进行判别分析：
yk ln qk Ck 0