多元统计分析判别分析详解演示文稿
合集下载
多元统计分析课件第六章-判别分析例题与操作过程可修改文字
.
(一) 操作步骤 1. 在SPSS窗口中选择Analyze→Classify→Discriminate，调 出判别分析主界面，将左边的变量列表中的“group”变量选 入分组变量中，将—变量选入自变量中，并选择Enter independents together单选按钮，即使用所有自变量进行判 别分析。
1
5
50.06 23.03 2.83 23.74 112.52 63.3
1
6
33.24 6.24 1.18 22.9 160.01 65.4
2
7
32.22 4.22 1.06 20.7 124.7 68.7
2
8
41.15 10.08 2.32 32.84 172.06 65.85
2
9
53.04 25.74 4.06 34.87 152.03 63.5
由此表可知，两个Fisher判别函数分别为：
y1 74.99 1.861X1 1.656X 2 0.877 X3 0.798X 4 0.098X 5 1.579X 6 y2 29.482 0.867X1 1.155X 2 0.356X 3 0.089X 4 0.054X 5 0.69 X 6
判别分析例题
例1：设有两个正态总体 G1 和 G2 ，已知：
(1)
ห้องสมุดไป่ตู้
10 15
(2)
20 25
18 12 1=12 32
20 7
2
=
7
5
试用距离判别法判断：样品：
X
20 20
，应归属于哪一类
判别分析例题 解：比较X到两个总体的马氏距离的大小
所以X属于正态总体 G1
例2：
《多元统计分析》课件
数据预处理和清洗
1
数据清洗
解决缺失值、异常值和重复数据问题。
2
标准化处理
对数据进行标准化、归一化和正态化处理。
3
变量选择
学习如何选择影响结果的重要变量。
描述性统计分析
1 中心趋势分析
运用平均值、中位数和众数等指标揭示数据的集中情况。
2 离散程度分析
探索数据的离散程度，如标准差和方差。
3 分布形态分析
识别数据分布的形态，如正态分布和偏态分布。
相关分析
线性相关
学习如何评估变量之间的 线性关系。
非线性相关
探索变量之间的非线性关 系，如曲线和曲面拟合。
相关系数
了解相关系数的计算方法 及其解释。
统计显著性检验
1
假设检验
学习如何根据样本数据推断总体参数。
2
置信区间
了解如何估计总体参数的范围。
3
显著性水平
确定显著性水平及其对推断的影响。
回归分析
线性回归
构建线性回归模型来预测因变量。
回归诊断
评估回归模型用。
多元方差分析
单因素设计
比较多个组之间的差异。
多重比较
确定组之间的具体差异。
二因素设计
考虑两个自变量对因变量的 影响。
《多元统计分析》PPT课件
探索多元统计分析的定义、概念和应用。从数据预处理到分析模型选择，帮 助解决实际问题。了解多元统计软件和未来发展方向。
数据结构和类型
结构
探索多元数据的各种结 构，包括矩阵、向量和 表格。
类型
了解多元数据的分类， 如连续型、离散型、定 类型和定序型。
示例
使用实际案例来展示多 元数据的结构和类型。
厦门大学应用多元统计分析第4判别分析-PPT文档资料
2
X
μ1
2
μ2
Σ 1 (μ1
μ2
)
2(X μ)α 2α(X μ)
其
中
μ
1 2
(μ1
μ2Βιβλιοθήκη )是两个
总
体
均
值
的
平
均
值
，
α Σ1 (μ1 μ 2 ) ，记 W (X) α(X μ)
（4.5）
则判别规则（4.4）式可表示为
X X
(4.3)
这里应该注意到，当 Σ I （单位矩阵）时，即为欧氏距离
的情形。
二、距离判别的思想及方法
1、两个总体的距离判别问题 问题：设有协方差矩阵∑相等的两个总体G1和G2，其均值
分别是1和 2，对于一个新的样品X，要判断它来自哪个总
体。
一般的想法是计算新样品X到两个总体的马氏距离D2（X， G1）和D2（X，G2），并按照如下的判别规则进行判断
把这类问题用数学语言来表达，可以叙述如下：设有n个样 本，对每个样本测得p项指标（变量）的数据，已知每个样 本属于k个类别（或总体）G1，G2， …，Gk中的某一类，且 它们的分布函数分别为F1(x)，F2(x)， …，Fk(x)。我们希望 利用这些数据，找出一种判别函数，使得这一函数具有某种
X
G1,
X G2,
如果 如果
D2 (X,G1) D2 (X,G2 ) D2 (X,G1) D2 (X,G2 )
（4.4）
这个判别规则的等价描述为：求新样品X到G1的距离与到G2 的距离之差，如果其值为正，X属于G2；否则X属于G1。
《应用多元统计分析》第04章-判别分析
量。通过反复迭代，最终构建最优的判别函数。
04
判别分析的实例与演示
数据来源与预处理
数据来源
判别分析所使用的数据通常来源于实际研究或调查，这些数据可能涉及到多个 变量和观测样本。
数据预处理
在应用判别分析之前，需要对数据进行预处理，包括数据清洗、缺失值处理、 异常值检测与处理、数据标准化等步骤，以确保数据的质量和可靠性。
2. 建立判别模型
选择合适的变量，并进行数据清理和预处 理，包括缺失值处理、异常值检测与处理 等。
选择合适的判别分析方法，如线性判别分析 （LDA）或二次判别分析（QDA），并利用 已知分类的数据来估计判别函数。
3. 模型评估
4. 应用模型
使用诸如混淆矩阵、准确率、召回率等指 标来评估模型的性能，并可能进行交叉验 证。
目的
通过建立判别函数，使得不同类别之 间的差异尽可能大，而同一类别内的 差异尽可能小。
判别分析与聚类分析的区别
01
判别分析基于已知分类数据， 目标是建立预测分类的规则； 而聚类分析则是将未知分类的 数据进行归类。
02
判别分析要求对各变量之间的 相关性进行建模，而聚类分析 则更注重数据之间的距离或相 似性。
总结词
两总体判别分析是一种基本的判别分析方法，用于根据已知分类的数据集构建判别函数，从而对新数据进行分类。
详细描述
两总体判别分析通常用于解决二分类问题，其基本思想是通过选择一组特征变量，使得不同类别的样本在这组变 量上的均值差异最大，同时使同类样本之间的离散度最小。判别函数通常采用线性或非线性形式，通过最小化分 类错误率来构建。
对特征选择敏感
判别分析的特征选择可能对结果 影响较大，如果选择不合适的特 征，可能会导致分类效果不佳。
04
判别分析的实例与演示
数据来源与预处理
数据来源
判别分析所使用的数据通常来源于实际研究或调查，这些数据可能涉及到多个 变量和观测样本。
数据预处理
在应用判别分析之前，需要对数据进行预处理，包括数据清洗、缺失值处理、 异常值检测与处理、数据标准化等步骤，以确保数据的质量和可靠性。
2. 建立判别模型
选择合适的变量，并进行数据清理和预处 理，包括缺失值处理、异常值检测与处理 等。
选择合适的判别分析方法，如线性判别分析 （LDA）或二次判别分析（QDA），并利用 已知分类的数据来估计判别函数。
3. 模型评估
4. 应用模型
使用诸如混淆矩阵、准确率、召回率等指 标来评估模型的性能，并可能进行交叉验 证。
目的
通过建立判别函数，使得不同类别之 间的差异尽可能大，而同一类别内的 差异尽可能小。
判别分析与聚类分析的区别
01
判别分析基于已知分类数据， 目标是建立预测分类的规则； 而聚类分析则是将未知分类的 数据进行归类。
02
判别分析要求对各变量之间的 相关性进行建模，而聚类分析 则更注重数据之间的距离或相 似性。
总结词
两总体判别分析是一种基本的判别分析方法，用于根据已知分类的数据集构建判别函数，从而对新数据进行分类。
详细描述
两总体判别分析通常用于解决二分类问题，其基本思想是通过选择一组特征变量，使得不同类别的样本在这组变 量上的均值差异最大，同时使同类样本之间的离散度最小。判别函数通常采用线性或非线性形式，通过最小化分 类错误率来构建。
对特征选择敏感
判别分析的特征选择可能对结果 影响较大，如果选择不合适的特 征，可能会导致分类效果不佳。
《多元统计分析讲义》第四章判别分析
**
**
目录 上页 下页 返回 结束
§4.6 判别分析方法步骤及框 图 研究者首先应该关注被解释变量。被解释变量的组数可以是
两个或更多，但这些组必须具有相互排斥性和完全性。被解 释变量有时确实是定性的变量。然而也有一些情况，即使被 解释变量不是真的定性变量，判别分析也是适用的。我们可 能有一个被解释变量是顺序或者间隔尺度的变量，而要作为 定性变量使用。这种情况下我们可以创建一个定性变量。
*
*
目录 上页 下页 返回 结束
§4.1 判别分析的基本理
论
判别分析的假设之一，是每一个判别变量（解释变量）不 能是其他判别变量的线性组合。即不存在多重共线性问题。 判别分析的假设之二，是各组变量的协方差矩阵相等。判 别分析最简单和最常用的形式是采用线性判别函数，它们 是判别变量的简单线性组合。在各组协方差矩阵相等的假 设条件下，可以使用很简单的公式来计算判别函数和进行 显著性检验。 判别分析的假设之三，是各判别变量之间具有多元正态分 布，即每个变量对于所有其他变量的固定值有正态分布。 在这种条件下可以精确计算显著性检验值和分组归属的概 率。当违背该假设时，计算的概率将非常不准确。
**
目录 上页 下页 返回 结束
§4.3 Bayes判别
**
XXX
**
目录 上页 下页 返回 结束
§4.4 Fisher判别
**
**
目录 上页 下页 返回 结束
§4.4 Fisher判别
**
**
目录 上页 下页 返回 结束
§4.4 Fisher判别
**
**
目录 上页 下页 返回 结束
§4.4 Fisher判别
**
**
多元统计分析PPt-第一节
7
《多元统计》
考核方法
考核方法
1.出勤率及课堂表现，占10％；
2.课程论文(实验)，占40％；
3. 期末考试，占50％。
8
第一章
§1.1 引 言
绪
论
在实际问题中，很多随机现象涉及到 的变量不止一个，而经常是多个变量，而 且这些变量间又存在一定的联系。我们常 常需要处理多个变量的观测数据。例如考 察学生的学习情况时，就需了解学生在几 个主要科目的考试成绩。 下表给出从中学某年级随机抽取的12 名学生中5门主要课程期末考试成绩。
19
第一章
§1分析的的发展历史
二十世纪50年代中期,随着电子计算机的出 现和发展,使得多元统计分析在地质、气象、医 学、社会学等方面得到广泛的应用.60年代通过 应用和实践又完善和发展了理论,由于新理论、 新方法的不断出现又促使它的应用范围更加扩 大.多元统计的方法在我国至70年代初期才受到 各个领域的极大关注,近30多年来我国在多元统 计方法的理论研究和应用上也取得了很多显著 成绩,有些研究工作已达到国际水平,并已形成 一支科技队伍,活跃在各条战线上.
11
第一章
§1.1
绪
论
引言--多元分析的研究 对象和内容
由于大量实际问题都涉及到多个变量，这 些变量又是随机变化，如学生的学习成绩随着 被抽取学生的不同成绩也有变化（我们往往需 要依据它们来推断全年级的学习情况）。所以 要讨论多维随机向量的统计规律性。
多元统计分析就是讨论多维随机向 量的理论和统计方法的总称。
17
第一章
§1.1
绪
论
引言--多元分析的研究 对象和内容
４.多元数据的统计推断
参数估计和假设检验问题.特别是多元正态分 布的均值向量和协差阵的估计和假设检验等问 题。
《多元统计》
考核方法
考核方法
1.出勤率及课堂表现，占10％；
2.课程论文(实验)，占40％；
3. 期末考试，占50％。
8
第一章
§1.1 引 言
绪
论
在实际问题中，很多随机现象涉及到 的变量不止一个，而经常是多个变量，而 且这些变量间又存在一定的联系。我们常 常需要处理多个变量的观测数据。例如考 察学生的学习情况时，就需了解学生在几 个主要科目的考试成绩。 下表给出从中学某年级随机抽取的12 名学生中5门主要课程期末考试成绩。
19
第一章
§1分析的的发展历史
二十世纪50年代中期,随着电子计算机的出 现和发展,使得多元统计分析在地质、气象、医 学、社会学等方面得到广泛的应用.60年代通过 应用和实践又完善和发展了理论,由于新理论、 新方法的不断出现又促使它的应用范围更加扩 大.多元统计的方法在我国至70年代初期才受到 各个领域的极大关注,近30多年来我国在多元统 计方法的理论研究和应用上也取得了很多显著 成绩,有些研究工作已达到国际水平,并已形成 一支科技队伍,活跃在各条战线上.
11
第一章
§1.1
绪
论
引言--多元分析的研究 对象和内容
由于大量实际问题都涉及到多个变量，这 些变量又是随机变化，如学生的学习成绩随着 被抽取学生的不同成绩也有变化（我们往往需 要依据它们来推断全年级的学习情况）。所以 要讨论多维随机向量的统计规律性。
多元统计分析就是讨论多维随机向 量的理论和统计方法的总称。
17
第一章
§1.1
绪
论
引言--多元分析的研究 对象和内容
４.多元数据的统计推断
参数估计和假设检验问题.特别是多元正态分 布的均值向量和协差阵的估计和假设检验等问 题。
实验报告-判别分析(多元统计)精选全文完整版
可编辑修改精选全文完整版实验报告5判别分析（设计性实验）(Discriminant analysis)实验原理：判别分析是判别样品所属类型的一种统计方法。
判别分析是在已知研究对象分成若干类型（或组别）并已取得各种类型的一批已知样品的观测数目，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。
本实验要求学生应用距离判别准则（即，对任给的一次观测，若它与第i类的重心距离最近，就认为它来自第i类），对两总体和多总体情形下分别进行判别分析。
实验中需注意协方差矩阵相等时，选取线性判别函数；协方差矩阵不相等时，应选取二次判别函数。
实验题目一：为了检测潜在的血友病A携带者，下表中给出了两组数据：(t11a8)其中x1＝log10（AHF activity），x2＝log10（AHF antigen）。
下表给出了五个新的观测，试对这些观测判别归类；(t11b8)实验要求：（1）分别检验两组数据是否大致满足二元正态性；（2）分别计算两组数据的协方差矩阵，是否可以认为两者近似相等？（3）对训练样本和新观测合并作散点图，不同的类用不同颜色标识；（4）用lda函数做判别分析，即在协方差矩阵相等的情形下作判别分析；（5）用qda函数做判别分析，即在协方差矩阵不相等的情形下作判别分析；（6）比较方法（4）和方法（5）的误判率。
实验题目二：某商学研究生院的招生官员利用指标――大学期间平均成绩GPA和研究生管理能力考试GMAT的成绩，将申请者分为三类：接受，不接受，待定。
下表中给出了三类申请者的GPA与GMAT成绩：(t11a6)GPA （x1）GMAT（x2）接受GPA（x1）GMAT（x2）不接受GPA（x1）GMAT（x2）待定2.96 596 1 2.54 446 2 2.86 494 33.14 473 1 2.43 425 2 2.85 496 3 3.22 482 1 2.2 474 2 3.14 419 3 3.29 527 1 2.36 531 2 3.28 371 3 3.69 505 1 2.57 542 2 2.89 447 3 3.46 693 1 2.35 406 2 3.15 313 3 3.03 626 1 2.51 412 2 3.5 402 3 3.19 663 1 2.51 458 2 2.89 485 3 3.63 447 1 2.36 399 2 2.8 444 33.59 588 1 2.36 482 2 3.13 416 33.3 563 1 2.66 420 2 3.01 471 33.4 553 1 2.68 414 2 2.79 490 33.5 572 1 2.48 533 2 2.89 431 33.78 591 1 2.46 509 2 2.91 446 33.44 692 1 2.63 504 2 2.75 546 33.48 528 1 2.44 336 2 2.73 467 33.47 552 1 2.13 408 2 3.12 463 33.35 520 1 2.41 469 2 3.08 440 33.39 543 1 2.55 538 2 3.03 419 33.28 523 1 2.31 505 2 3 509 33.21 530 1 2.41 489 2 3.03 438 33.58 564 1 2.19 411 2 3.05 399 33.33 565 1 2.35 321 2 2.85 483 33.4 431 1 2.6 394 2 3.01 453 33.38 605 1 2.55 528 2 3.03 414 33.26 664 1 2.72 399 2 3.04 446 33.6 609 1 2.85 381 23.37 559 1 2.9 384 23.8 521 13.76 646 13.24 467 1实验要求：（1）对上表中的数据作散点图，不同的类用不同的颜色标识；（2）用lda函数做判别分析，即在协方差矩阵相等的情形下作判别分析；（3）用qda函数做判别分析，即在协方差矩阵不相等的情形下作判别分析；（4）比较方法（2）和方法（3）的误判率；（5）现有一新申请者的GPA为3.21，GMAT成绩为497。
多元统计分析及应用文稿演示
现欲X 进行频数分析，在对话框左侧的变量列表中选X，单 击按钮使之进入[Variable(s)]列表框，并选择[Display Frequency Tables]显示频数分布表。
3.可单击[Format...]按钮弹出[Frequencies：Format]子对话框
根据数值大小按升 序从小到大作频数 分布
100.0
Valid Percent 3.3 3.3 3.3 6.7 3.3 3.3 3.3 3.3 3.3 6.7 3.3 10.0 13.3 6.7 3.3 3.3 6.7 3.3 3.3 3.3 3.3
100.0
Cumulative Percent
3.3 6.7 10.0 16.7 20.0 23.3 26.7 30.0 33.3 40.0 43.3 53.3 66.7 73.3 76.7 80.0 86.7 90.0 93.3 96.7 100.0
询问调查
观察实验
访邮电电座个 观
实
问寄话脑谈别
调调调辅
深
查查查助会访
察
验
访问调查
1. 调查者与被调查者通过面对面 地交谈而获得资料
2. 有标准式访问和非标准式访问 标准式访问通常按事先设计 好的问卷进行 非标准式访问事先一般不制 作问卷
邮寄调查
1. 也称邮寄问卷调查 2. 是一种标准化调查 3. 调查者与被调查者没有直接的语言交流，信息的传递
输出结果
频数（率）分布表
Valid
84
85
88
91
94
95
96
97
99
101
103
105
106
107
109
110
111
多元统计分析——判别分析共88页PPT
期望μ= (1, 2, , m )和 方差阵Σ= ijm m0
的总体G抽得的两个观测值，则称 d 2 ( x ,y ) ( x y ) 1 ( x y )
为X与Y之间的Mahalanobis距离
样本X和Gi类之间的马氏距离定义为X与Gi类 重心间的距离：
d 2 ( x , G i ) ( x i ) 1 ( x i )i 1 , 2 , , k
多元统计分析——判别分析
•
6、黄金时代是在我们的前面，而不在 我们的 后面。
•
7、心急吃不了热汤圆。
•
8、你可以很有个性，但某些时候请收 敛。
•
9、只为成功找方法，不为失败找借口 (蹩脚 的工人 总是说 工具不 好)。
•
10、只要下定决心克服恐惧，便几乎 能克服 任何恐 惧。因 为，请 记住， 除了在 脑海中 ，恐惧 无处藏 身。-- 戴尔． 卡耐基 。
它产生于20世纪30年代。近年来，在自然科 学、社会学及经济管理学科中都有广泛的应用。 判别分析的特点是根据已掌握的、历史上每个类 别的若干样本的数据信息，总结出客观事物分类 的规律性，建立判别公式和判别准则。然后，当 遇到新的样本点时，只要根据总结出来的判别公 式和判别准则，就能判别该样本点所属的类别。
（二）两个总体距离判别法
1、方差相等
先考虑两个总体的情况，设有两个协差阵相同 的p维正态总体，对给定的样本Y，判别一个样本Y到 底是来自哪一个总体，一个最直观的想法是计算Y到 两个总体的距离。故我们用马氏距离来指定判别规 则，有：
yG1，如d2y，G1d2y，G2， yG2，如d2y，G2d2y，G1
.69479 .80234 .70620 .83420 .35312 .32019 .34442 .09012
的总体G抽得的两个观测值，则称 d 2 ( x ,y ) ( x y ) 1 ( x y )
为X与Y之间的Mahalanobis距离
样本X和Gi类之间的马氏距离定义为X与Gi类 重心间的距离：
d 2 ( x , G i ) ( x i ) 1 ( x i )i 1 , 2 , , k
多元统计分析——判别分析
•
6、黄金时代是在我们的前面，而不在 我们的 后面。
•
7、心急吃不了热汤圆。
•
8、你可以很有个性，但某些时候请收 敛。
•
9、只为成功找方法，不为失败找借口 (蹩脚 的工人 总是说 工具不 好)。
•
10、只要下定决心克服恐惧，便几乎 能克服 任何恐 惧。因 为，请 记住， 除了在 脑海中 ，恐惧 无处藏 身。-- 戴尔． 卡耐基 。
它产生于20世纪30年代。近年来，在自然科 学、社会学及经济管理学科中都有广泛的应用。 判别分析的特点是根据已掌握的、历史上每个类 别的若干样本的数据信息，总结出客观事物分类 的规律性，建立判别公式和判别准则。然后，当 遇到新的样本点时，只要根据总结出来的判别公 式和判别准则，就能判别该样本点所属的类别。
（二）两个总体距离判别法
1、方差相等
先考虑两个总体的情况，设有两个协差阵相同 的p维正态总体，对给定的样本Y，判别一个样本Y到 底是来自哪一个总体，一个最直观的想法是计算Y到 两个总体的距离。故我们用马氏距离来指定判别规 则，有：
yG1，如d2y，G1d2y，G2， yG2，如d2y，G2d2y，G1
.69479 .80234 .70620 .83420 .35312 .32019 .34442 .09012
多元统计分析聚类分析,判别分析,对应分析 ppt课件
总计 .135 .934 .999 .045
第三部分是对列联表行与列个状态有关信息 的概括（概述行点只截取了部分数据）。其 中，质量部分分别指列联表中行与列的边缘 概率。维中的得分是各维度的分值，指行列 各状态在二维图中的坐标值。如语文坐标为 （-0.00，-0.143）。惯量是每一行（列）与 其重心的加权距离的平方，可以看出 I=J=0.01,即行剖面的总惯量等与列剖面的 总惯量。贡献部分是指行（列）的每一状态 对每一维度（公共因子）特征值的贡献及每 一维度对行（列）各个状态的特征值等贡献。 如第一维度中，外语对应的数值最大，为 0.975，说明外语这一状态对第一维度的贡 献最大。
多元统计分析聚类分析,判别分析,对应分析
操作步骤
（1）打开SPSS文件，在表格下方有两个选项，分别是数据试图和变量视 图，点击变量视图选项，在前三行分别输入“学号”、“科目”、“成 绩”，其中学号与科目的值项需要做如下设置：在弹出的值标签对话框 里，在值这一项里输入“1”，标签输入“1”，再点击“添加”按钮， 依次添加到40为止，在科目的值标签对话框内，在值这一项中输入“1”， 标签输入“语文”，点击“添加”按钮，再依次添加“2”对应标签为 “数学”，“3”对应标签为“外语”，“4”对应标签为“体育”，综 上分别完成对1号至40号学号以及4项科目进行数字的赋值。 然后点击数据视图进行数据输入，数据输入按照成绩单输入，如：第一 行第一列输入“1”，第二列输入“1”，第三列输入“82”，第二行第 一列输入“2”，第二列输入“1”，第三列输入“81”，以此类推，共
2 -.143 -.427 .065 -.013
概述列点a
惯量 .002 .003 .005 .000 .010
点对维惯量
1
多元统计分析第7讲（判别分析）
6
一、马氏（Mahalanobis）距离
定义6.1.1(马氏距离)设总体G为m维总体，均值
向量为µ ，协差阵为Σ，则样品X与总体G的马
氏距离定义为：
d 2 ( X ,G) = ( X − µ)′Σ −1 ( X − µ)
当m = 1时，d 2 ( x,G) = ( x − µ)2 σ2
7
二、两总体的距离判别
判别规则为
⎪⎧ X ∈ G 1 ⎨
⎪⎩ X ∈ G 2
如X ∈ D1 如X ∈ D2
判别方法的最终结果就是得到Rm的一个 划分.
16
特别，当m=1时，
W
(x)
=
(x
−
µ1
+ 2
µ2
1
)σ 2
(µ1
−
µ2
)
=
a( x
−
µ)
其中 µ
=
µ1
+ 2
µ2 ，a
=
µ1 − µ2 σ2
不妨设µ1 > µ2 ,则a为正数，所以判别规则 为
20
பைடு நூலகம் 21
22
2. 当总体协差阵不相等 (Σ1 ≠ Σ 2 )时：
d 2 ( X ,G1 )
=
(X
−
X
(1)
)′
S
−1 1
(
X
−
X
(1) )
d 2(X ,G2 )
=
(X
−
X
(
2
)
)′
S
−1 2
(
X
−
X
(2) )
W ( X ) = d 2 ( X ,G2 ) − d 2 ( X ,G1 )
一、马氏（Mahalanobis）距离
定义6.1.1(马氏距离)设总体G为m维总体，均值
向量为µ ，协差阵为Σ，则样品X与总体G的马
氏距离定义为：
d 2 ( X ,G) = ( X − µ)′Σ −1 ( X − µ)
当m = 1时，d 2 ( x,G) = ( x − µ)2 σ2
7
二、两总体的距离判别
判别规则为
⎪⎧ X ∈ G 1 ⎨
⎪⎩ X ∈ G 2
如X ∈ D1 如X ∈ D2
判别方法的最终结果就是得到Rm的一个 划分.
16
特别，当m=1时，
W
(x)
=
(x
−
µ1
+ 2
µ2
1
)σ 2
(µ1
−
µ2
)
=
a( x
−
µ)
其中 µ
=
µ1
+ 2
µ2 ，a
=
µ1 − µ2 σ2
不妨设µ1 > µ2 ,则a为正数，所以判别规则 为
20
பைடு நூலகம் 21
22
2. 当总体协差阵不相等 (Σ1 ≠ Σ 2 )时：
d 2 ( X ,G1 )
=
(X
−
X
(1)
)′
S
−1 1
(
X
−
X
(1) )
d 2(X ,G2 )
=
(X
−
X
(
2
)
)′
S
−1 2
(
X
−
X
(2) )
W ( X ) = d 2 ( X ,G2 ) − d 2 ( X ,G1 )
应用多元统计分析之判别分析63页PPT
我们国家的法律中只有某种 神灵， 而不是 殚精竭 虑将神 灵揉进 宪法， 总体上 来说， 法律就 会更好 。—— 马克·吐 温 37、纲纪废弃之日，便是暴政兴起之 时。— —威·皮 物特
38、若是没有公众舆论的支持，法律 是丝毫 没有力 量的。 ——菲 力普斯 39、一个判例造出另一个判例，它们 迅速累 聚，进 而变成 法律。 ——朱 尼厄斯
40、人类法律，事物有规律，这是不 容忽视 的。— —爱献 生
31、只有永远躺在泥坑里的人，才不会再掉进坑里。——黑格尔 32、希望的灯一旦熄灭，生活刹那间变成了一片黑暗。——普列姆昌德 33、希望是人生的乳母。——科策布 34、形成天才的决定因素应该是勤奋。——郭沫若 35、学到很多东西的诀窍，就是一下子不要学很多。——洛克
38、若是没有公众舆论的支持，法律 是丝毫 没有力 量的。 ——菲 力普斯 39、一个判例造出另一个判例，它们 迅速累 聚，进 而变成 法律。 ——朱 尼厄斯
40、人类法律，事物有规律，这是不 容忽视 的。— —爱献 生
31、只有永远躺在泥坑里的人，才不会再掉进坑里。——黑格尔 32、希望的灯一旦熄灭，生活刹那间变成了一片黑暗。——普列姆昌德 33、希望是人生的乳母。——科策布 34、形成天才的决定因素应该是勤奋。——郭沫若 35、学到很多东西的诀窍，就是一下子不要学很多。——洛克
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
多元统计分析判别分析详解演 示文稿
优选多元统计分析判别分析
1．问题引入
首先，我们来考虑一下2000年“网易杯” 全国大学生数学建模竞赛的A题是关于“DNA 序列分类”的问题
人类基因组中的DNA全序列是由4个碱 基A，T，C，G按一定顺序排成的长约30亿 的序列，毫无疑问，这是一本记录着人类 自身生老病死及遗传进化的全部信息的 “天书”。但是，除了这四种碱基外，人 们对它所包含的内容知之甚少，如何破译 这部“天书”是二十一世纪最重要的任务 之一。在这个目标中，研究DNA全序列具 有什么结构，由这4个字符排成的看似随机 的序列中隐藏着什么规律，又是解读这部 天书的基础，是生物信息学
于哪个总体（类）。
对于上面的数学问题，可以用很多成熟 的方法来解决，例如：
（1）BP神经网络；
（2）聚类分析；
（3）判别分析；等等。
如何选取方法是建模过程中需要解决的另外一个 问题：BP神经网络是人工神经网络的一种，它通过对 训练样本的学习，提取样本的隐含信息，进而对新样 本的类别进行预测。BP神经网络可以用以解决上面的 DNA序列分类问题，但是，如何提取特征、如何提高 网络的训练效率、如何提高网络的容错能力、如何建 立网络结构是能否成功解决DNA序列分类问题的关键 所在；聚类分析和判别分析都是多元统计分析中的经 典方法，都可以用来将对象（或观测值）分成不同的 集合或类别，但是，聚类分析更侧重于“探索”对象 （或观测值）的自然分组方式，而判别分析则侧重于 将未知类别的对象（或观测值）“归结”（或者说， 分配）到已知类别中。显然，判别分析更适合用来解 决上面的DNA序列分类问题。
分
3.费希尔（Fisher）判别
析
方
4.判别分析模型的 显著性检验
法
3.1 距离判别
距离判别的基本思想：样品 X
离哪个总体的距离最近，就判断 X
属于这哪里个的总“体距。离”是通常意义下的
距离（欧几里得距离：在 m 维欧几里
得空间
与Y (y1, y2
R ,,
中，两点X (x1, x2 ,, xm )T ym )T 的欧几里得距离，也就
用序号（按从小到大的顺序）标明它们的类别 （无法分类的不写入）：
A类
； B类
。
问题二：请对 182个自然DNA序 列 （/mcm 00/problems.htm）进行分类。 它们都较长。用你的分类方法对
它们进行分类，并给出分类结果。
看了这道题，我们应当从何 处入手呢，我们应该怎样进行分 析呢……
2．思路点拨
根据 所给 的20 个已
细读全题
问题的 本质
对未知事物进行分类
知类
别的
DNA 序列 所提
对另外20个未标明类别 的DNA序列进行分类
供的
信息
对182个自然DNA
序列进行分类
如果将每一个DNA序列都看作样本，那
么该问题就进一步提炼成一个纯粹的数学
问题：设有两个总体（类） 和G1
，
其 对给分G定布2 的特新征品（来自各个，总我体们的需样要本X判）断已其知属，
要引入新的距离概念——这就是下面给
出的马氏距离。
定义1（马氏距离）：设总体 G 为 m
维总体 （ m 个因素或指标），其均
值 示向转量 置为 ），协 方 (差1,阵2为,,
， 的则马样氏品距离定X 义 (为x1, x2 ,,
（m )这T 里 T 表
xm
)到T (总 ij体) mGm
d 2 (X ,G) (X )T 1(X )
显然不是，因为从概率的角度来看，
总体 的样G2本比较分散，而总体 的G样1
本则非常集中，因此 处的A样品属于总
体 的概G2 率明显大于属于总体 的G概1 率，
G2
也就是说， 处的样A品属于总体 的“可G2
能性”明显大于属于总体 的“G1可能
性”！这也说明了用欧几里得距离来度
量样品到总体距离的局限性。因此，需
d是2(X通,Y)常 (我X1 们Y1)所2 说(X 2的Y距2)2 离为 (X
m
Ym
)
2
）吗？
带着这个疑问，我们来考虑这样
一个问题 ：
设有两个正态总体 G1 , G2 ， X ~ N (1 , 2 ) 和 Y ~ N (2 ,6 2 ) ，
现在有一个新的样品位于 A 处（参见图1）
d2
d1
图1
d 的样品从属图于中总不体难看G1出呢：？2 d1 ，是否 A 处
作为研究DNA序列的结构的尝试，试对以下序列 进行分类：
问题一：下面有20个已知类别的人工制造的序列 （见附件1），其中序列标号1—10 为A类，11-20 为B类。请从中提取特征，构造分类方法，并用这 些已知类别的序列，衡量你的方法是否足够好。 然后用你认为满意的方法，对另外20个未标明类 别的人工序列（标号21—40）进行分类，把结果
一般来说，根据判别规则的不同，可以得到不 同的判别方法 ，例如，距离判别、贝叶斯 （Bayes）判别、费希尔（Fisher）判别、逐步 判别、序贯判别等。这里，我们简单介绍三个 常用的判别方法：距离判别、贝叶斯（Bayes） 判别和费希尔（Fisher）判别。
判 1.距离判别
别 2.贝叶斯（Bayes）判别
（Bioinformatics）最重要的课题之一。
虽然人类对这部“天书”知之甚少，但也 发现了DNA序列中的一些规律性和结构。 例如，在全序列中有一些是用于编码蛋白 质的序列片段，即由这4个字符组成的64种 不同的3字符串，其中大多数用于编码构成 蛋白质的20种氨基酸。又例如，在不用于 编码蛋白质的序列片段中，A和T的含量特 别多些，于是以某些碱基特别丰富作为特 征去研究DNA序列的结构也取得了一些结 果。此外，利用统计的方法还发现序列的 某些片段之间具有相关性，等等。这些发 现让人们相信，DNA序列中存在着局部的 和全局性的结构，充分发掘序列的结构对 理解DNA全序列是十分有意义的。
3．判别分析方法
判别分析是用于判样品所属类别的一种 多元统计分析方法。判别分析问题都可以这样
描述：设有 k个m 维的总体G1,G2, ,Gk，其分布
特征已知（如已知分布函数分别为 F1(x), F2(x), , Fk (x) 或者已知来自各个总体的样本），对给定的一
个新样品 X ，我们需要判断其属于哪个总体。
优选多元统计分析判别分析
1．问题引入
首先，我们来考虑一下2000年“网易杯” 全国大学生数学建模竞赛的A题是关于“DNA 序列分类”的问题
人类基因组中的DNA全序列是由4个碱 基A，T，C，G按一定顺序排成的长约30亿 的序列，毫无疑问，这是一本记录着人类 自身生老病死及遗传进化的全部信息的 “天书”。但是，除了这四种碱基外，人 们对它所包含的内容知之甚少，如何破译 这部“天书”是二十一世纪最重要的任务 之一。在这个目标中，研究DNA全序列具 有什么结构，由这4个字符排成的看似随机 的序列中隐藏着什么规律，又是解读这部 天书的基础，是生物信息学
于哪个总体（类）。
对于上面的数学问题，可以用很多成熟 的方法来解决，例如：
（1）BP神经网络；
（2）聚类分析；
（3）判别分析；等等。
如何选取方法是建模过程中需要解决的另外一个 问题：BP神经网络是人工神经网络的一种，它通过对 训练样本的学习，提取样本的隐含信息，进而对新样 本的类别进行预测。BP神经网络可以用以解决上面的 DNA序列分类问题，但是，如何提取特征、如何提高 网络的训练效率、如何提高网络的容错能力、如何建 立网络结构是能否成功解决DNA序列分类问题的关键 所在；聚类分析和判别分析都是多元统计分析中的经 典方法，都可以用来将对象（或观测值）分成不同的 集合或类别，但是，聚类分析更侧重于“探索”对象 （或观测值）的自然分组方式，而判别分析则侧重于 将未知类别的对象（或观测值）“归结”（或者说， 分配）到已知类别中。显然，判别分析更适合用来解 决上面的DNA序列分类问题。
分
3.费希尔（Fisher）判别
析
方
4.判别分析模型的 显著性检验
法
3.1 距离判别
距离判别的基本思想：样品 X
离哪个总体的距离最近，就判断 X
属于这哪里个的总“体距。离”是通常意义下的
距离（欧几里得距离：在 m 维欧几里
得空间
与Y (y1, y2
R ,,
中，两点X (x1, x2 ,, xm )T ym )T 的欧几里得距离，也就
用序号（按从小到大的顺序）标明它们的类别 （无法分类的不写入）：
A类
； B类
。
问题二：请对 182个自然DNA序 列 （/mcm 00/problems.htm）进行分类。 它们都较长。用你的分类方法对
它们进行分类，并给出分类结果。
看了这道题，我们应当从何 处入手呢，我们应该怎样进行分 析呢……
2．思路点拨
根据 所给 的20 个已
细读全题
问题的 本质
对未知事物进行分类
知类
别的
DNA 序列 所提
对另外20个未标明类别 的DNA序列进行分类
供的
信息
对182个自然DNA
序列进行分类
如果将每一个DNA序列都看作样本，那
么该问题就进一步提炼成一个纯粹的数学
问题：设有两个总体（类） 和G1
，
其 对给分G定布2 的特新征品（来自各个，总我体们的需样要本X判）断已其知属，
要引入新的距离概念——这就是下面给
出的马氏距离。
定义1（马氏距离）：设总体 G 为 m
维总体 （ m 个因素或指标），其均
值 示向转量 置为 ），协 方 (差1,阵2为,,
， 的则马样氏品距离定X 义 (为x1, x2 ,,
（m )这T 里 T 表
xm
)到T (总 ij体) mGm
d 2 (X ,G) (X )T 1(X )
显然不是，因为从概率的角度来看，
总体 的样G2本比较分散，而总体 的G样1
本则非常集中，因此 处的A样品属于总
体 的概G2 率明显大于属于总体 的G概1 率，
G2
也就是说， 处的样A品属于总体 的“可G2
能性”明显大于属于总体 的“G1可能
性”！这也说明了用欧几里得距离来度
量样品到总体距离的局限性。因此，需
d是2(X通,Y)常 (我X1 们Y1)所2 说(X 2的Y距2)2 离为 (X
m
Ym
)
2
）吗？
带着这个疑问，我们来考虑这样
一个问题 ：
设有两个正态总体 G1 , G2 ， X ~ N (1 , 2 ) 和 Y ~ N (2 ,6 2 ) ，
现在有一个新的样品位于 A 处（参见图1）
d2
d1
图1
d 的样品从属图于中总不体难看G1出呢：？2 d1 ，是否 A 处
作为研究DNA序列的结构的尝试，试对以下序列 进行分类：
问题一：下面有20个已知类别的人工制造的序列 （见附件1），其中序列标号1—10 为A类，11-20 为B类。请从中提取特征，构造分类方法，并用这 些已知类别的序列，衡量你的方法是否足够好。 然后用你认为满意的方法，对另外20个未标明类 别的人工序列（标号21—40）进行分类，把结果
一般来说，根据判别规则的不同，可以得到不 同的判别方法 ，例如，距离判别、贝叶斯 （Bayes）判别、费希尔（Fisher）判别、逐步 判别、序贯判别等。这里，我们简单介绍三个 常用的判别方法：距离判别、贝叶斯（Bayes） 判别和费希尔（Fisher）判别。
判 1.距离判别
别 2.贝叶斯（Bayes）判别
（Bioinformatics）最重要的课题之一。
虽然人类对这部“天书”知之甚少，但也 发现了DNA序列中的一些规律性和结构。 例如，在全序列中有一些是用于编码蛋白 质的序列片段，即由这4个字符组成的64种 不同的3字符串，其中大多数用于编码构成 蛋白质的20种氨基酸。又例如，在不用于 编码蛋白质的序列片段中，A和T的含量特 别多些，于是以某些碱基特别丰富作为特 征去研究DNA序列的结构也取得了一些结 果。此外，利用统计的方法还发现序列的 某些片段之间具有相关性，等等。这些发 现让人们相信，DNA序列中存在着局部的 和全局性的结构，充分发掘序列的结构对 理解DNA全序列是十分有意义的。
3．判别分析方法
判别分析是用于判样品所属类别的一种 多元统计分析方法。判别分析问题都可以这样
描述：设有 k个m 维的总体G1,G2, ,Gk，其分布
特征已知（如已知分布函数分别为 F1(x), F2(x), , Fk (x) 或者已知来自各个总体的样本），对给定的一
个新样品 X ，我们需要判断其属于哪个总体。