判别分析ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6
1.2 判别分析法的概念
判别分析(Discriminatory Analysis)产生于20世纪 产生于20 判别分析(Discriminatory Analysis)产生于20世纪 30年代 是一种统计方法，其是利用已知类别 年代， 30年代，是一种统计方法，其是利用已知类别 建立判别模型 的样本建立判别模型， 的样本建立判别模型，以判别未知类别的样本 。
1.4 判别分析法的SPSS实现 判别分析法的SPSS实现 SPSS
使用spss软件 使用spss软件 spss
我们应用spss软件来建立判别分析模型， 其过程为：对于分为k组的研究对象，可建立k-1 个典型判别函数(原始自变量的线性组合)和k个 fisher线性判别函数，然后将各样本的自变量回 代到判别函数中，计算其判别分数或者属于各组 的概率，根据数值的大小判别样本所属组别， 对比样本的原始组别给出错分率。
谢谢！
欧氏距离
在二维和三维空间中的欧氏距离的就是两点 二维和三维空间中的欧氏距离的就是两点 空间中的欧氏距离的就是 之间的距离。 之间的距离。
马氏距离
表示数据的协方差距离。 表示数据的协方差距离。它是一种有效的计 协方差距离 算两个未知样本集的相似度的方法。与欧式距离 算两个未知样本集的相似度的方法。 不同的是它考虑到各种特性之间的联系 。
在自然科学和社会科学的各个领域经常遇到需 要对某个个体属于哪一类进行判断。 要对某个个体属于哪一类进行判断。如动物学家对动
物如何分类的研究和某个动物属于哪一类、 物如何分类的研究和某个动物属于哪一类、目、纲的判 断。
近年来，判别分析在自然科学、 近年来，判别分析在自然科学、社会学及经济 自然科学 管理学科中都有广泛的应用 中都有广泛的应用。 管理学科中都有广泛的应用。
7
1.2 判别分析法的概念
是根据已掌握的、 判别分析的特点是根据已掌握的、历史上每个类别 的若干样本的数据信息 总结出客观事物分类的规 数据信息， 的若干样本的数据信息，总结出客观事物分类的规 律性，建立判别公式和判别准则 当遇到新的样本 判别公式和判别准则。 律性，建立判别公式和判别准则。当遇到新的样本 只要根据总结出来的判别公式和判别准则， 点时，只要根据总结出来的判别公式和判别准则， 就能判别该样本点所属的类别。 就能判别该样本点所属的类别。 是根据已掌握的１ 判别分析的任务是根据已掌握的１批分类明确的样 品,建立较好的判别函数 使产生错判的事例最少,进 建立较好的判别函数,使产生错判的事例最少 进 建立较好的判别函数 使产生错判的事例最少 而对给定的1个新样品 判断它来自哪个总体。 个新样品,判断它来自哪个总体 而对给定的 个新样品 判断它来自哪个总体。
贝叶斯判别：在考虑先验概率的前提下， 贝叶斯判别：在考虑先验概率的前提下，利用贝叶斯 先验概率的前提下 构造一个判别函数， 公式，按照一定准则构造一个判别函数 公式，按照一定准则构造一个判别函数，分别计算该 样品落入各个子域的概率， 样品落入各个子域的概率，所有概率中最大的一类就 被认为是该样品所属的类别。 被认为是该样品所属的类别。
BOOTSTRAP验证
对原始数据进行有放回的抽取， 对原始数据进行有放回的抽取，即每个观察单位 有放回的抽取 每次被抽到的概率相等, 所得样本称为bootstrap 每次被抽到的概率相等, 为1/n, 所得样本称为bootstrap 样本。从该样本可以得到一个判别分析结果， 样本。从该样本可以得到一个判别分析结果，重复抽 取这样的样本若干次， 取这样的样本若干次，可以建立起来一系列判别函数 相应的每个系数都有一系列取值。 ，相应的每个系数都有一系列取值。
5
引言-----与聚类法的异同 1.1 引言---与聚类法的异同
比如说有两群人，一群是韩国人，另一群是日本人。 比如说有两群人，一群是韩国人，另一群是日本人。现 在新来了以为某甲，我们想问：某甲是韩国人， 在新来了以为某甲，我们想问：某甲是韩国人，还是日本 回答这样的问题，算是判别分析。 人？回答这样的问题，算是判别分析。如果我们有一大群 人混在一起，这里面包括了日本、韩国、泰国， 人混在一起，这里面包括了日本、韩国、泰国，马来西亚 、……，如果我们想将他们一一分辨出来，这就是集群分 ，如果我们想将他们一一分辨出来， 析法。 析法。 在比如说，有一些昆虫的性别很难看出， 在比如说，有一些昆虫的性别很难看出，只有通过解剖 才能够判别； 才能够判别；但是雄性和雌性昆虫在若干体表度量上有些 综合的差异。 综合的差异。于是统计学家就根据已知雌雄的昆虫体表度 这些用作度量的变量亦称为预测变量） 量（这些用作度量的变量亦称为预测变量）得到一个标准 并且利用这个标准来判别其他未知性别的昆虫。 ，并且利用这个标准来判别其他未知性别的昆虫。 这样的判别虽然不能保证百分之百准确， 这样的判别虽然不能保证百分之百准确，但至少大部 分判别都是对的，而且用不着杀死昆虫来进行判别了。 分判别都是对的，而且用不着杀死昆虫来进行判别了。
判别分析法
1
Contents
1
判别分析法的简介
2
案例分析
2
1 判别分析法的简介
1.1 引言 与聚类法的异同 引言---与聚类法的异同 1.2 判别分析法的概念 1.3 判别分析法的分类及概要 1.4 判别分析法的 判别分析法的SPSS实现 实现 1.5 准确度效果评价
3
引言-----与聚类法的异同 1.1 引言---与聚类法的异同
4
引言-----与聚类法的异同 1.1 引言---与聚类法的异同
同点》 不同点》
别分析和聚类分析主要不同点就是： 判别分析和聚类分析主要不同点就是： 在聚类分析中一般人们事先并不知道或一定要 在聚类分析中一般人们事先并不知道或一定要 不知道 明确应该分成几类 完全根据数据来确定。 分成几类， 明确应该分成几类，完全根据数据来确定。 而在判别分析中，至少有一个已经明确知道类 而在判别分析中，至少有一个已经明确知道类 训练样本”， 别的“训练样本 ，利用这个数据，就可以建立判别 训练样本 利用这个数据，就可以建立判别 准则， 准则，并通过预测变量来为未知类别的观测值进行 判别了。 判别了。
ຫໍສະໝຸດ Baidu12
具体实现方法，见word文档
13
1.5 准确度效果评价
自身验证 外部数据验证 样本二分法 交互验证 BOOTSTRAP验证 BOOTSTRAP验证
交互验证
在建立判别函数时依次去掉一例， 在建立判别函数时依次去掉一例，然后用建立起 依次去掉一例 判别函数对该例进行判别 来的判别函数对该例进行判别， 来的判别函数对该例进行判别，用该方法可以非常有 效地避免强影响点的干扰。 效地避免强影响点的干扰。
8
1.3 判别分析法的分类及概要
按判别的组数：两组 两组判别分析和多组 多组判别分析 两组 多组 按所含变量个数，可以分为一元判别分析 多 一元判别分析和多 一元判别分析 元判别分析 按资料：定性 定性资料的判别方法，定量 定量资料的分 定性 定量 析方法。 采用不同的判别准则，又有距离 费歇（ 距离、费歇 距离 费歇（ fisher） 贝叶斯（BAYES） fisher）、贝叶斯（BAYES）、等判别方法。
就是用概率来描述人们事先 事先对所研究的对象的认识的 先验概率,就是用概率来描述人们事先对所研究的对象的认识的 就是根据具体资料、先验概率、 后验概率，就是根据具体资料、先验概率、特定的判别规则所 计算出来的概率。它是对先验概率修正后的结果。 计算出来的概率。它是对先验概率修正后的结果。
程度； 程度；
9
1.3 判别分析法的分类及概要
距离判别：由训练样本得出每个分类的中心（中心）坐标， 距离判别：由训练样本得出每个分类的中心（中心）坐标， 然后对新样品求出他们离各个类别中心的距离的远近， 然后对新样品求出他们离各个类别中心的距离的远近，从 而归入离的最近的分类。马氏距离，欧氏距离。 而归入离的最近的分类。马氏距离，欧氏距离 费歇尔判别：典则判别。基本思想是投影，即将原来在 维 费歇尔判别：典则判别。基本思想是投影，即将原来在R维 投影 空间的自变量组合投影到维度较低的D维空间去，然后在D 空间的自变量组合投影到维度较低的 维空间去，然后在 维空间去 维空间中在进行分类。投影原则是使每一类内 离差尽可 每一类内的 维空间中在进行分类。投影原则是使每一类内的离差尽可 不同类间投影的离差尽可能大。 投影的离差 能小，不同类间投影的离差尽可能大。
相同点》 相同点》
分类学是人类认识世界的基础科学。 分类学是人类认识世界的基础科学。 聚类分析是根据事物本身的特性研究个体分类的 聚类分析是根据事物本身的特性研究个体分类的 本身的特性 方法。判别分析是根据表明事物特点的变量值和 方法。判别分析是根据表明事物特点的变量值和它 变量值 们所属的类，求出判别函数。 们所属的类，求出判别函数。根据判别函数对未知 所属类别的事物进行分类的一种分析方法。 所属类别的事物进行分类的一种分析方法。
1.2 判别分析法的概念
判别分析(Discriminatory Analysis)产生于20世纪 产生于20 判别分析(Discriminatory Analysis)产生于20世纪 30年代 是一种统计方法，其是利用已知类别 年代， 30年代，是一种统计方法，其是利用已知类别 建立判别模型 的样本建立判别模型， 的样本建立判别模型，以判别未知类别的样本 。
1.4 判别分析法的SPSS实现 判别分析法的SPSS实现 SPSS
使用spss软件 使用spss软件 spss
我们应用spss软件来建立判别分析模型， 其过程为：对于分为k组的研究对象，可建立k-1 个典型判别函数(原始自变量的线性组合)和k个 fisher线性判别函数，然后将各样本的自变量回 代到判别函数中，计算其判别分数或者属于各组 的概率，根据数值的大小判别样本所属组别， 对比样本的原始组别给出错分率。
谢谢！
欧氏距离
在二维和三维空间中的欧氏距离的就是两点 二维和三维空间中的欧氏距离的就是两点 空间中的欧氏距离的就是 之间的距离。 之间的距离。
马氏距离
表示数据的协方差距离。 表示数据的协方差距离。它是一种有效的计 协方差距离 算两个未知样本集的相似度的方法。与欧式距离 算两个未知样本集的相似度的方法。 不同的是它考虑到各种特性之间的联系 。
在自然科学和社会科学的各个领域经常遇到需 要对某个个体属于哪一类进行判断。 要对某个个体属于哪一类进行判断。如动物学家对动
物如何分类的研究和某个动物属于哪一类、 物如何分类的研究和某个动物属于哪一类、目、纲的判 断。
近年来，判别分析在自然科学、 近年来，判别分析在自然科学、社会学及经济 自然科学 管理学科中都有广泛的应用 中都有广泛的应用。 管理学科中都有广泛的应用。
7
1.2 判别分析法的概念
是根据已掌握的、 判别分析的特点是根据已掌握的、历史上每个类别 的若干样本的数据信息 总结出客观事物分类的规 数据信息， 的若干样本的数据信息，总结出客观事物分类的规 律性，建立判别公式和判别准则 当遇到新的样本 判别公式和判别准则。 律性，建立判别公式和判别准则。当遇到新的样本 只要根据总结出来的判别公式和判别准则， 点时，只要根据总结出来的判别公式和判别准则， 就能判别该样本点所属的类别。 就能判别该样本点所属的类别。 是根据已掌握的１ 判别分析的任务是根据已掌握的１批分类明确的样 品,建立较好的判别函数 使产生错判的事例最少,进 建立较好的判别函数,使产生错判的事例最少 进 建立较好的判别函数 使产生错判的事例最少 而对给定的1个新样品 判断它来自哪个总体。 个新样品,判断它来自哪个总体 而对给定的 个新样品 判断它来自哪个总体。
贝叶斯判别：在考虑先验概率的前提下， 贝叶斯判别：在考虑先验概率的前提下，利用贝叶斯 先验概率的前提下 构造一个判别函数， 公式，按照一定准则构造一个判别函数 公式，按照一定准则构造一个判别函数，分别计算该 样品落入各个子域的概率， 样品落入各个子域的概率，所有概率中最大的一类就 被认为是该样品所属的类别。 被认为是该样品所属的类别。
BOOTSTRAP验证
对原始数据进行有放回的抽取， 对原始数据进行有放回的抽取，即每个观察单位 有放回的抽取 每次被抽到的概率相等, 所得样本称为bootstrap 每次被抽到的概率相等, 为1/n, 所得样本称为bootstrap 样本。从该样本可以得到一个判别分析结果， 样本。从该样本可以得到一个判别分析结果，重复抽 取这样的样本若干次， 取这样的样本若干次，可以建立起来一系列判别函数 相应的每个系数都有一系列取值。 ，相应的每个系数都有一系列取值。
5
引言-----与聚类法的异同 1.1 引言---与聚类法的异同
比如说有两群人，一群是韩国人，另一群是日本人。 比如说有两群人，一群是韩国人，另一群是日本人。现 在新来了以为某甲，我们想问：某甲是韩国人， 在新来了以为某甲，我们想问：某甲是韩国人，还是日本 回答这样的问题，算是判别分析。 人？回答这样的问题，算是判别分析。如果我们有一大群 人混在一起，这里面包括了日本、韩国、泰国， 人混在一起，这里面包括了日本、韩国、泰国，马来西亚 、……，如果我们想将他们一一分辨出来，这就是集群分 ，如果我们想将他们一一分辨出来， 析法。 析法。 在比如说，有一些昆虫的性别很难看出， 在比如说，有一些昆虫的性别很难看出，只有通过解剖 才能够判别； 才能够判别；但是雄性和雌性昆虫在若干体表度量上有些 综合的差异。 综合的差异。于是统计学家就根据已知雌雄的昆虫体表度 这些用作度量的变量亦称为预测变量） 量（这些用作度量的变量亦称为预测变量）得到一个标准 并且利用这个标准来判别其他未知性别的昆虫。 ，并且利用这个标准来判别其他未知性别的昆虫。 这样的判别虽然不能保证百分之百准确， 这样的判别虽然不能保证百分之百准确，但至少大部 分判别都是对的，而且用不着杀死昆虫来进行判别了。 分判别都是对的，而且用不着杀死昆虫来进行判别了。
判别分析法
1
Contents
1
判别分析法的简介
2
案例分析
2
1 判别分析法的简介
1.1 引言 与聚类法的异同 引言---与聚类法的异同 1.2 判别分析法的概念 1.3 判别分析法的分类及概要 1.4 判别分析法的 判别分析法的SPSS实现 实现 1.5 准确度效果评价
3
引言-----与聚类法的异同 1.1 引言---与聚类法的异同
4
引言-----与聚类法的异同 1.1 引言---与聚类法的异同
同点》 不同点》
别分析和聚类分析主要不同点就是： 判别分析和聚类分析主要不同点就是： 在聚类分析中一般人们事先并不知道或一定要 在聚类分析中一般人们事先并不知道或一定要 不知道 明确应该分成几类 完全根据数据来确定。 分成几类， 明确应该分成几类，完全根据数据来确定。 而在判别分析中，至少有一个已经明确知道类 而在判别分析中，至少有一个已经明确知道类 训练样本”， 别的“训练样本 ，利用这个数据，就可以建立判别 训练样本 利用这个数据，就可以建立判别 准则， 准则，并通过预测变量来为未知类别的观测值进行 判别了。 判别了。
ຫໍສະໝຸດ Baidu12
具体实现方法，见word文档
13
1.5 准确度效果评价
自身验证 外部数据验证 样本二分法 交互验证 BOOTSTRAP验证 BOOTSTRAP验证
交互验证
在建立判别函数时依次去掉一例， 在建立判别函数时依次去掉一例，然后用建立起 依次去掉一例 判别函数对该例进行判别 来的判别函数对该例进行判别， 来的判别函数对该例进行判别，用该方法可以非常有 效地避免强影响点的干扰。 效地避免强影响点的干扰。
8
1.3 判别分析法的分类及概要
按判别的组数：两组 两组判别分析和多组 多组判别分析 两组 多组 按所含变量个数，可以分为一元判别分析 多 一元判别分析和多 一元判别分析 元判别分析 按资料：定性 定性资料的判别方法，定量 定量资料的分 定性 定量 析方法。 采用不同的判别准则，又有距离 费歇（ 距离、费歇 距离 费歇（ fisher） 贝叶斯（BAYES） fisher）、贝叶斯（BAYES）、等判别方法。
就是用概率来描述人们事先 事先对所研究的对象的认识的 先验概率,就是用概率来描述人们事先对所研究的对象的认识的 就是根据具体资料、先验概率、 后验概率，就是根据具体资料、先验概率、特定的判别规则所 计算出来的概率。它是对先验概率修正后的结果。 计算出来的概率。它是对先验概率修正后的结果。
程度； 程度；
9
1.3 判别分析法的分类及概要
距离判别：由训练样本得出每个分类的中心（中心）坐标， 距离判别：由训练样本得出每个分类的中心（中心）坐标， 然后对新样品求出他们离各个类别中心的距离的远近， 然后对新样品求出他们离各个类别中心的距离的远近，从 而归入离的最近的分类。马氏距离，欧氏距离。 而归入离的最近的分类。马氏距离，欧氏距离 费歇尔判别：典则判别。基本思想是投影，即将原来在 维 费歇尔判别：典则判别。基本思想是投影，即将原来在R维 投影 空间的自变量组合投影到维度较低的D维空间去，然后在D 空间的自变量组合投影到维度较低的 维空间去，然后在 维空间去 维空间中在进行分类。投影原则是使每一类内 离差尽可 每一类内的 维空间中在进行分类。投影原则是使每一类内的离差尽可 不同类间投影的离差尽可能大。 投影的离差 能小，不同类间投影的离差尽可能大。
相同点》 相同点》
分类学是人类认识世界的基础科学。 分类学是人类认识世界的基础科学。 聚类分析是根据事物本身的特性研究个体分类的 聚类分析是根据事物本身的特性研究个体分类的 本身的特性 方法。判别分析是根据表明事物特点的变量值和 方法。判别分析是根据表明事物特点的变量值和它 变量值 们所属的类，求出判别函数。 们所属的类，求出判别函数。根据判别函数对未知 所属类别的事物进行分类的一种分析方法。 所属类别的事物进行分类的一种分析方法。