加权Fisher线性判别法在非平衡医学数据集中的应用
Fisher判别分析及其应用
Fisher判别分析及其应用田兵【期刊名称】《渭南师范学院学报》【年(卷),期】2014(000)023【摘要】判别分析法是根据所研究个体的观测值来构建一个综合标准用来推断个体属于已知种类中哪一类的方法。
Fisher判别分析法是一种非常重要而且应用极为广泛的判别分析法。
文章介绍了Fisher判别分析法的数学思想，详细阐述了在两个总体和多个总体情况下它的判别函数以及判别准则。
之后通过举例说明了Fisher判别分析法在解决实际问题中的具体应用。
%The method of discriminant analysis is a method that builds comprehensive standard according to individual observed value in order to distinguish individual belonging to a certain category.Fisher discriminant analysis is a very important and widely used method.The paper introduces the mathematics thought of Fisher discriminant analysis method, discriminant function and crite-rion.Then its application of specific problems is elucidated.【总页数】5页(P8-11,24)【作者】田兵【作者单位】包头师范学院《阴山学刊》编辑部，内蒙古包头014030【正文语种】中文【中图分类】O212.4【相关文献】1.荧光光谱法结合Fisher判别分析在西洋参鉴别中的应用 [J], 陈家伟;胡翠英;马骥2.Fisher判别分析法r在垦利M区块煤层识别中的应用 [J], 杨锋3.改进的正交边界Fisher判别分析及在人脸识别中的应用 [J], 盛诗曼4.Fisher判别分析法在渤中凹陷储层流体解释评价中的应用 [J], 马金鑫; 牛成民; 姬建飞; 袁胜斌5.Fisher判别分析在1型及2型糖尿病分类中的应用 [J], 司马明珠; 李全忠; 王延年因版权原因，仅展示原文概要，查看原文内容请购买。
Fisher判别法的研究及应用中期报告
Fisher判别法的研究及应用中期报告
一、研究背景
Fisher判别法是一种在统计学中常用的线性分类方法，它使用一组线性条件对样本进行分类。
本研究的目的是深入研究Fisher判别法的原理和方法，并应用它在实际问题中进行分类。
二、研究内容
1. Fisher判别法的基本原理和实现方法
Fisher判别法是一种通过寻找投影方向，使得两个类的距离尽可能大而类内距离尽可能小的线性分类方法。
在实现上，需要对数据进行标准化、计算均值和协方差矩阵、求解特征值和特征向量，以确定投影方向。
2. Fisher判别法的优点和缺点
Fisher判别法在分类问题中具有以下优点：
（1）能够处理高维数据；
（2）分类效果较好，尤其在两类样本分布较相似时更为有效；
（3）易于实现。
但是，Fisher判别法也存在以下缺点：
（1）对于不符合正态分布的数据较为敏感；
（2）过拟合或欠拟合问题较为严重；
（3）当类别数目很多时，计算量较大。
3. 实际应用案例
本研究选取了手写数字数据集作为实际应用案例，使用Fisher判别法对数字进行分类。
通过实验结果，发现Fisher判别法在数字分类问题中具有较好的效果，并能对不同数字进行有效分类。
三、未来研究方向
1. 进一步研究Fisher判别法的理论基础和表现能力；
2. 探索Fisher判别法在多类别分类问题中的应用；
3. 将Fisher判别法与其他分类方法进行比较和融合，提高分类准确率。
判别分析报告中Fisher判别法的应用
1 绪论1.1课题背景随着社会经济不断发展，科学技术的不断进步，人们已经进入了信息时代，要在大量的信息中获得有科学价值的结果，从而统计方法越来越成为人们必不可少的工具和手段。
多元统计分析是近年来发展迅速的统计分析方法之一，应用于自然科学和社会各个领域，成为探索多元世界强有力的工具。
判别分析是统计分析中的典型代表，判别分析的主要目的是识别一个个体所属类别的情况下有着广泛的应用。
潜在的应用包括预测一个公司是否成功；决定一个学生是否录取；在医疗诊断中，根据病人的多种检查指标判断此病人是否有某种疾病等等。
它是在已知观测对象的分类结果和若干表明观测对象特征的变量值的情况下，建立一定的判别准则，使得利用判别准则对新的观测对象的类别进行判断时，出错的概率很小。
而Fisher判别方法是多元统计分析中判别分析方法的常用方法之一，能在各领域得到应用。
通常用来判别某观测量是属于哪种类型。
在方法的具体实现上，采用国广泛使用的统计软件SPSS（Statistical Product and Service Solutions）,它也是美国SPSS公司在20世纪80年代初开发的国际上最流行的视窗统计软件包之一1.2 Fisher判别法的概述根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。
Fisher 判别法是判别分析中的一种，其思想是投影，Fisher判别的基本思路就是投影，针对P维空间中的某点x=(x1，x2，x3，…，xp)寻找一个能使它降为一维数值的线性函数y(x)：()j j xy=x∑C然后应用这个线性函数把P维空间中的已知类别总体以及求知类别归属的样本都变换为一维数据，再根据其间的亲疏程度把未知归属的样本点判定其归属。
这个线性函数应该能够在把P维空间中的所有点转化为一维数值之后，既能最大限度地缩小同类中各个样本点之间的差异，又能最大限度地扩大不同类别中各个样本点之间的差异，这样才可能获得较高的判别效率。
多元统计分析课程设计--Fisher判别法的应用---spss分析
组别
高收入
次高收入
城镇居民家庭总收入
.025
.021
工资性收入
-.018
-.015
经营性收入
.014
.009
财产性收入
-.064
-.050
转移性收入
-.009
-.009
(常量)
-105.381
-55.554
Fisher的线性判别式函数
表2-2
由分析结果表2-2可知高收入组的Fisher线性判别函数为：
函数
1
城镇居民家庭总收入
2.940
工资性收入
-1.892
经营性收入
.943
财产性收入
-1.322
转移性收入
-.112
表2-1
得到分析结果如下：
如表2-1所示可知只有一个判别函数：
D1=2.94*城镇居民家庭总收入-1.892*工资性收入+0.943*经营性收入-1.322*财产性收入-1.112*转移性收入
本文利用Fisher判别法，将沿海11省市作为先验组得到Fisher判别函数
（其中 分别代表城镇居民家庭总收入、工资性收入、经营性收入、财产性收入、转移性收入）
然后将剩余未分组省市代入判别函数，与先验组的临界值比较进行分组。分组结果显示高收入组（北京、上海、天津、广东、浙江）都在沿海省市，内陆省市则都属于次高收入组，这与我国东部沿海地区省市的城镇居民家庭收入较中西部高的国情吻合。
图2-3
步骤三选择“组别”变量使之添加到group ariable框中。这时group ariable框下的define range按钮变为可用，单击，弹出discriminant analyze：difine对话框如图2-4所示，并在minium中输入1，在maximum中输入2.
判别分析公式Fisher线性判别二次判别
判别分析公式Fisher线性判别二次判别判别分析是一种常用的数据分析方法，用于根据已知的类别信息，将样本数据划分到不同的类别中。
Fisher线性判别和二次判别是两种常见的判别分析方法，在实际应用中具有广泛的应用价值。
一、Fisher线性判别Fisher线性判别是一种基于线性变换的判别分析方法，该方法通过寻找一个合适的投影方向，将样本数据投影到一条直线上，在保持类别间离散度最大和类别内离散度最小的原则下实现判别。
其判别函数的计算公式如下：Fisher(x) = W^T * x其中，Fisher(x)表示Fisher判别函数，W表示投影方向的权重向量，x表示样本数据。
具体来说，Fisher线性判别的步骤如下：1. 计算类别内离散度矩阵Sw和类别间离散度矩阵Sb；2. 计算Fisher准则函数J(W)，即J(W) = W^T * Sb * W / (W^T * Sw * W)；3. 求解Fisher准则函数的最大值对应的投影方向W；4. 将样本数据投影到求得的最优投影方向上。
二、二次判别二次判别是基于高斯分布的判别分析方法，将样本数据当作高斯分布的观测值，通过估计每个类别的均值向量和协方差矩阵，计算样本数据属于每个类别的概率，并根据概率大小进行判别。
二次判别的判别函数的计算公式如下：Quadratic(x) = log(P(Ck)) - 0.5 * (x - μk)^T * Σk^-1 * (x - μk)其中，Quadratic(x)表示二次判别函数，P(Ck)表示类别Ck的先验概率，x表示样本数据，μk表示类别Ck的均值向量，Σk表示类别Ck的协方差矩阵。
具体来说，二次判别的步骤如下：1. 估计每个类别的均值向量μk和协方差矩阵Σk；2. 计算每个类别的先验概率P(Ck)；3. 计算判别函数Quadratic(x)；4. 将样本数据划分到概率最大的类别中。
判别分析公式Fisher线性判别和二次判别是常见的判别分析方法，它们通过对样本数据的投影或概率计算，实现对样本数据的判别。
fisher判别函数
Fisher判别函数，也称为线性判别函数（Linear Discriminant Function），是一种经典的模式识别方法。
它通过将样本投影到一维或低维空间，将不同类别的样本尽可能地区分开来。
一、算法原理：Fisher判别函数基于以下两个假设：1.假设每个类别的样本都服从高斯分布；2.假设不同类别的样本具有相同的协方差矩阵。
Fisher判别函数的目标是找到一个投影方向，使得同一类别的样本在该方向上的投影尽可能紧密，而不同类别的样本在该方向上的投影尽可能分开。
算法步骤如下：(1)计算类内散度矩阵（Within-class Scatter Matrix）Sw，表示每个类别内样本之间的差异。
Sw = Σi=1 to N (Xi - Mi)(Xi - Mi)ᵀ，其中Xi 表示属于类别i 的样本集合，Mi 表示类别i 的样本均值。
(2)计算类间散度矩阵（Between-class Scatter Matrix）Sb，表示不同类别之间样本之间的差异。
Sb = Σi=1 to C Ni(Mi - M)(Mi - M)ᵀ，其中 C 表示类别总数，Ni 表示类别i 中的样本数量，M 表示所有样本的均值。
(3)计算总散度矩阵（Total Scatter Matrix）St，表示所有样本之间的差异。
St =Σi=1 to N (Xi - M)(Xi - M)ᵀ(4)计算投影方向向量w，使得投影后的样本能够最大程度地分开不同类别。
w= arg max(w) (wᵀSb w) / (wᵀSw w)，其中w 表示投影方向向量。
(5)根据选择的投影方向向量w，对样本进行投影。
y = wᵀx，其中y 表示投影后的样本，x 表示原始样本。
(6)通过设置一个阈值或使用其他分类算法（如感知机、支持向量机等），将投影后的样本进行分类。
二、优点和局限性：Fisher判别函数具有以下优点：•考虑了类别内和类别间的差异，能够在低维空间中有效地区分不同类别的样本。
非平衡数据集Fisher线性判别模型
非 平 衡 数 据 集 Ｆｓ ｅ ｉ ｒ线 性 判 别 模 型 ｈ
谢 纪 刚 ， 正 定 裘
（ 北京交通大学 计算机与信息技术学院 ， 北京 １０ ４ ） ０ ０ ４
摘
要 ： 平衡数 据是 指 两类 问题 中正类样 本与 负类样 本 个数 不相 等 ， 至相 比 悬殊 ． 非 甚 非平 衡 数据
ｏ ｅ ｅｆｒ ｎｅｏ ｉ ｅ ｎ ａ ｉ ｒ ｎ ｎ （ Ｌ ． ｅ ｈｅ Ｌ ＷＦ Ｄ）ｉｐｏ ｏｅ ｒ ｅ ｎｔ ｒ ｍａ ｃ ｆ ｓ ｒ ｉｅｒ ｓ ｉ ａ ｔＦ Ｄ） Ａ ｗ ｉ ｔｄＦ Ｄ（ Ｌ ｈｐ ｏ Ｆｈ ｌ ｄ ｃ ｍｉ ｇ ｓ ｒｐ ｓｄｆ — ｏ ｒ
ｉｇｓｔ ｒ ｌｂ ｌｎ ｅ ｎ ｅｓａ ｅｗｅｌ ａａ ｃｄ，ｔ ｅ ａ ｅｔ ｅａｆｃｅ ｙ ｃａ ｍｂ ｌｎ ｅｉ ｉ ｘ ｍ ｐｅ ｒｉｉｇ — ｈ ｙ ｈ ｖ Ｏ ｂ ｆ ｔｄ ｂ ｌｓ ｉ ａａ ｃ ｎ ｗｈｃ ｅ ａ ｌｓｉ ｔａｎ ｎ ｅ ｈ ｎ ｄ ｔ ｅｏ ｇｎ ｏｏ ｅｃａ ｅ ｖｌ ｕ ｎ ｍ ｂ ｒｔ ｅｅ ａ ｐｅ ｈ ｔ ｅ ｌｓ ．Ｔｈｓｐ ｐ ｒｄ ｍ ｏ ｓｒｔｓ ａａｂ ｌｎ ｉｇ ｔ ｎ ｌｓ ｈ ａ ｉ ｏ ｔ ｕ ｅ ｈ ｘ ｙ ｍ ｌｓｉ ｔ ｅｏ ｈ ｒｃａ ｎ ｉ ａ ｅ ｅ ｎ ｔａｅ ｔ ａ ，ｗｈ ｎ ｔｅｔ ａ ｌ ｃ ｖ ｒａ ｃ ａｒ ｅ ｅｎ ｔｉｅ ｔｃ ．ｃａ ａａ ｃ ａ ｅ ａ ｉｅｅｆｃ ｈｔ ｅ ｈ ＷＯ ｓｍｐｅ ｏ ａｉｎ ｅｍ ｔｉ ｓａ ｏ ｎ ｉａ ｃ ｒ ｄ １ ｌｓ ｉ ｍｂ ｌｎ ｅｈ ｓａｎ ｇ ｔ ｆｅ ｔ ｖ
抽样 ， 即人为地减少负类样本个数（ 下抽样） 或增加 正类样本个数（ 上抽样 ）从而使 两类样本个数趋于 ， 平衡 ； 二是改进分类器的构造机制 ， 使之适用于非平
非平衡数据集Fisher线性判别模型
文章编号:167320291(2006)0520015204非平衡数据集Fisher 线性判别模型谢纪刚,裘正定(北京交通大学计算机与信息技术学院,北京100044)摘 要:非平衡数据是指两类问题中正类样本与负类样本个数不相等,甚至相比悬殊.非平衡数据集会导致许多分类器的性能下降,这与分类器的构造原理有关.本文首先阐述了Fisher 线性判别的分类机制,指出当两类样本的协方差矩阵不同时,样本不平衡会导致Fisher 线性判别的性能下降.在此基础上,提出了一种加权Fisher 线性判别(WFLD ),以减小样本不平衡的影响.然后,从UCI 中选择了8个非平衡数据集,并采用ROC 曲线下面积作为评估指标进行比较,实验结果证明了WFLD 模型的有效性.关键词:非平衡数据集;Fisher 线性判别;ROC 曲线下面积(AUC )中图分类号:TP18 文献标识码:AFisher Linear Discriminant Model with Class ImbalanceX I E Ji-gang ,Q IU Zheng-di ng(School of Computer and Information Technology ,Beijing Jiaotong University ,Beijing 100044,China )Abstract :As the majority of classification methods previously designed usually assume that their train 2ing sets are well-balanced ,they have to be affected by class imbalance in which examples in training data belonging to one class heavily outnumber the examples in the other class.This paper demonstrates that ,when the two sample covariance matrices are not identical ,class imbalance has a negative effect on the performance of Fisher linear discriminant (FLD ).A weighted FLD (WFLD )is proposed for re 2ducing the negative effects of the class ing area under the ROC curve as performance measarement ,eight UCI imbalanced data sets are tested to show WFLD ’s effectiveness.K ey w ords :class imbalance ;Fisher linear discriminant (FLD );area under the ROC curve (AUC ) 非平衡数据通常是指两类问题中的负类样本个数远大于正类样本个数,并且,正类样本往往是分类问题的关注所在.现实中的例子如信用卡交易欺诈识别[1]、电信设备故障预测[2]、企业破产预测[3]和雷达图像监测海洋石油污染[4]等.然而,许多分类方法的设计是基于数据平衡分布假设的,如决策树、支持向量机和线性判别分析等.当把这些分类方法应用于非平衡数据时,就会导致训练出的分类器性能下降.因此,非平衡数据分类成为目前机器学习和数据挖掘的一个研究热点[529].已有研究指出[5-7],有两种方法可以有效地提高分类器在非平衡数据集上的泛化性能:一是随机抽样,即人为地减少负类样本个数(下抽样)或增加正类样本个数(上抽样),从而使两类样本个数趋于平衡;二是改进分类器的构造机制,使之适用于非平衡数据.然而,已有研究多针对于决策树、近邻法和支持向量机等分类方法[5-9],据作者所查阅文献,未见有关Fisher 线性判别(FLD )对非平衡数据分类的研究.FLD 具有计算简单、在一定条件下能够实现最优分类的性质,因此是一种实际应用非常广泛的收稿日期:2006201216基金项目:浙江省自然科学基金资助项目(Y104540);北京市重点实验室基金资助项目(TDXX0509)作者简介:谢纪刚(1973—),男,河北邢台人,博士生.em ail :xie-jigang @ 裘正定(1944—),男,浙江嵊县人,教授,博士生导师.第30卷第5期2006年10月 北 京 交 通 大 学 学 报JOURNAL OF BEI J IN G J IAO TON G UN IV ERSIT Y Vol.30No.5Oct.2006分类方法[10-11],研究它在非平衡数据集上的分类性能具有重要实际意义.本文作者首先讨论FLD 的分类机制,指出当两类样本的协方差矩阵不同时,样本不平衡会导致FLD 的性能下降.在此基础上,提出了一种加权Fisher 线性判别(Weighted Fisher Linear Discrimi 2nant ,WFLD )以减小样本不平衡的影响.然后,从本文作者UCI 中选择了8个非平衡数据集,并采用ROC 曲线和ROC 曲线下面积作为评估指标进行比较,实验结果表明WFLD 模型能有效地提高FLD 在非平衡数据集上的泛化性能.1 加权Fisher 线性判别1.1 Fisher 线性判别Fisher 线性判别(FLD )的基本原理如下,对于线性判别函数y (x )=a 0+a 1x 1+…+a d x d =a Tx +a 0(1)可以将d 维矢量a =(a 1,a 2,…,a d )T 视作特征空间X d 中的以a 1,a 2,…,a d 为分量的一个矢量,则a T x 表示矢量x 在以a 为方向的轴上投影的‖a ‖倍.我们希望所求的a 使投影后同类样本相距较近,即同类样本密集;不同类样本相距较远.FLD 就是求解,满足类间离散度和总类内离散度之比最大的投影方向,然后在一维空间中确定判决规则.FLD 数学推导如下[11]:设给定两类d 维训练样本X (i )={x i 1,x i 2,…,x iN i },i =1,2,各类样本均值矢量m i 和总的样本均值矢量m 分别为m i =∑Nij =1xijN i ,i =1,2(2)m =∑2i =1∑Nij =1xij∑2i=1Ni(3)各类类内离散度阵S i 和总的类内离散度阵S w 分别为S i =∑Nij =1(xij-m i )(x ij -m i )T ,i =1,2(4)S w =S 1+S 2(5)类间离散度阵S b 为S b =(m 1-m 2)(m 1-m 2)T(6) 将d 维矢量x 投影到以矢量a 为方向的轴上y (i )j =a T x (i )j (7)变换后在一维y 空间中各类样本的均值为珦m i =1N i∑jy (i )j =a T m i , i =1,2(8)类内离散度珘S 2i 和总的类内离散度珘S 2w 为珘S 2i =∑j(y (i )j -珦m i )2=a T S i a ,i =1,2(9)珘S 2w =珘S 21+珘S 22=a TS w a(10)类间离散度为珘S 2b =(珦m 1-珦m 2)2=a T S b a(11) 定义类间离散度与类内离散度之比为Fisher 准则函数J F (a )=(a T S b a )/(a TS w a )(12)并使其最大.将标量J F 对矢量a 求导并令其为零矢量,然后利用二次型关于矢量求导公式可得a 3=S -1w (m 1-m 2)(13)此时的a 3可使Fisher 准则函数取最大值,即确定了最佳投影方向.至此,解决了将d 维样本的分类转变为一维样本分类的问题.可以根据训练样本确定一个阈值y t ,并设i =1为正类,i =2为负类,于是FLD 分类器为:a 3T x =y ≥y t ;否则,判为负类.判决阈值y t 有多种选取方法[11],可选取两个类中心在投影轴a 3上的投影连线的中点,也可以选取总的样本均值矢量m 在a 3上的投影点珦m 作为阈值等.本文采用第一种阈值选取方法.1.2 加权模型当用ROC 曲线来评价FLD 分类器的性能时,判决阈值y t 的选取方法不会影响分类器性能,唯一影响分类器性能的是投影方向a 3.由式(13)可见,投影方向a 3由总类内离散度阵S w 和两类样本均值矢量之差共同决定.在独立同分布假设下,样本均值矢量与样本个数无关,即两类样本均值矢量差与样本不平衡无关.因此,投影方向a 3由类内离散度阵S w 唯一左右.设两类的样本协方差阵分别为Σ1和Σ2,则式(5)变为S w =S 1+S 2=N 1Σ1+N 2Σ2(14)可见,当Σ1=Σ2时,两类样本个数不平衡(N 1≠N 2)只改变S w 中的标量因子N 1+N 2,而不会影响投影方向a 3;当Σ1≠Σ2时,两类样本个数不平衡,尤其相比悬殊(N 1νN 2)时,N 2Σ2对S w 的贡献远远大于N 1Σ1对S w 的贡献,从而可能导致投影方向不利于分类.为消除样本个数不平衡的影响,对式(5)中的各类类内离散度阵S i 进行分别加权,使两类样本协方差阵对S w 的贡献平衡.S w =N 2S 1+N 1S 2=N 1N 2(Σ1+Σ2)(15)本文把这种改进的FLD 称作加权Fisher 线性判别(WFLD ).由式(15)可见,WFLD 实质上等价于一种特殊的上抽样方法:不但对正类样本进行N 2倍的上抽样,而且同时对负类样本进行N 1倍的上抽样.这相当于使原始非平衡数据集变成两类样本个61北 京 交 通 大 学 学 报 第30卷数为1∶1的平衡数据集.2 实验设计2.1 数据本文从公用机器学习数据库UCI[12]中选取了8个数据集,将每个数据集中的其中一类作为正类,其余各类都归为负类,从而构成具有不同非平衡程度的两类非平衡数据集(如表1所示).所有数据集都进行0均值、标准差1的规范化预处理.表1 实验数据集Tab.1 In experiments data sets数据集样本数类别标签(正,负)类别比例/%(正,负) Letter20000(a,其余)(3.95,96.05)G lass 214(Ve-win,其余)(7.94,92.06)Image 2310(Brickface,其余)(14.29,85.71)Vehicle 846(van,其余)(23.52,76.48)Wine 178(3,其余)(26.97,73.03)Iris 150(3,其余)(33.33,66.67) Waveform5000(1,其余)(33.33,66.67)Pima 768(1,0)(34.77,65.23) 2.2 评价标准已有研究表明[5-8],由于分类错误率只描述了特定判决阈值时的分类器性能,因此不适合非平衡数据集情况;而ROC(Receiver Operating Character2 istic)曲线全面地描述了分类器在不同判决阈值时的性能,所以成为数据不平衡时的分类器性能评价的主流方法.对于每一个测试样本,两类分类器有4种可能的判决结果:将本属于正类的样本判别为正类,将本属于负类的样本判别为负类,将本属于正类的样本判别为负类,将本属于负类的样本判别为正类.为便于说明,作一下假设.设测试集中的正类样本和负类样本总数分别为N1和N2,记为:a:分类器判别为正类的正类样本个数;b:分类器判别为正类的负类样本个数;c:分类器判别为负类的正类样本个数;d:分类器判别为负类的负类样本个数.显然有a+c=N1和b+d=N2.定义错误正比率FRB=b/N2,真实正比率TPR=a/N1,并将FPR 和TPR分别作为横、纵坐标.每一个阈值对应一个(FPR,TPR)点,改变阈值,将得到的所有(FPR, TPR)点连起来就是分类器在该测试集上的ROC曲线(图1是一个示意图).显然,ROC曲线越靠近左上角表示分类器性能越好.ROC曲线来描述分类器的分类性能虽然全面,但作为一种二维图形描述,ROC曲线不能给出分类器性能的定量评价.为此,人们常常采用ROC曲线下面积(AUC),来代替ROC曲线本身对分类器的性能进行评估[5-8,13-14].显然,AUC取值范围在0和1之间,并且AUC越大,分类器的性能就越好.本文采用AUC来评估分类器的泛化性能,并应用文献[14]中的算法3来计算AUC.图1 R OC曲线Fig.1 ROC curve2.3 实验步骤采用5重交叉验证技术进行实验比较.5重交叉验证描述如下:首先把数据集随机地分成5等份,并且保证每一等份中的两类样本个数比例与原数据集中两类样本个数比例一致.每重实验将其中一份作为测试集,其余4份作为训练集.最后将5重实验结果进行平均即为最后结果.用“非平衡FLD分类器”、“上抽样FLD分类器”和“下抽样FLD分类器”分别表示FLD从原始不平衡训练集、上抽样平衡训练集和下抽样平衡训练集学习得到的分类器,用“WFLD分类器”表示WFLD从原始不平衡训练集学习得到的分类器.其中,上抽样平衡训练集和下抽样平衡训练集分别由上抽样和下抽样得到.下抽样是从负类样本中随机地抽取出和正类样本个数一样多的样本,从而构成新的平衡训练集;上抽样采用数据“复制”的方法,即成倍地复制正类样本使之与负类样本个数相等或接近相等(上抽样不改变正类样本分布).本文用5重交叉验证技术比较这4种分类器在非平衡测试集上的泛化性能.3 实验结果及分析5重交叉验证得到的AUC见表2.表中用粗体标出了每一行的最大值.显然,WFLD分类器和上抽样FLD分类器的泛化性能优于其它两种分类器,并且WFLD分类器性能稍好于上抽样FLD分类器.下抽样FLD分类器在5个数据集上比非平衡FLD分类器性能好,在另外3个数据集上则相反.分析原因如下:对非平衡数据集进行上抽样或下抽样,实质上是增大或减小式(15)中的N1或N2,使之相等或接近相等.于是两类样本协方差阵Σ1和Σ2对求解投71第5期 谢纪刚等:非平衡数据集Fisher线性判别模型影方向的贡献将趋于相等.在上抽样方法中,由于负类样本与正类样本的个数比常常不是整数,所以由上抽样得到的平衡数据集中两类样本个数比常常不等于1(而是接近1).而WFLD等价于同时对正类和负类都进行上抽样,使两类样本个数比为1∶1.可见,WFLD比上抽样更有保证地使Σ1和Σ2对求解投影方向的贡献相等.因此,WFLD分类器的泛化性能稍好于上抽样FLD分类器.表2 5重交叉验证平均AUCTab.2 AUC of5-fold cross-validation数据集FLD非平衡下抽样上抽样WFLD Letter0.97640.98490.98520.9852G lass0.81600.82340.82140.8219 Image30.98900.99150.99420.9940 Vehicle0.98860.99160.99130.9916Wine0.99930.99790.99930.9993Iris0.97200.9800.98200.9820 Waveform0.94280.94220.94380.9438 Pima0.83510.83420.83600.8364 下抽样是从负类样本中随机地抽取出和正类样本个数一样多的样本,从而使训练集中的两类样本比例为1:1,但可能会漏掉有价值的数据信息,所以下抽样不能稳定地提高FLD对非平衡数据集的泛化性能.需要指出,在数据集Waveform和Pima上,性能最优的WFLD分类器的AUC只是略大于非平衡FLD分类器的AUC,而在数据集Wine上,两者相等.该结果说明这3个非平衡数据集的两类样本协方差阵相似或相等.4 结论本文作者首先阐述了Fisher线性判别的分类原理,指出当两类样本的协方差矩阵不同时,样本不平衡会导致Fisher线性判别的分类性能下降.在此基础上,本文作者提出了一种改进模型:加权Fisher线性判别(WFLD).WFLD本质上等价于一种特殊的上抽样方法,即同时对两类样本进行不同倍数的上抽样使两类样本个数之比为1∶1,从而消除样本不平衡对分类性能的影响.实验证明了WFLD能有效地提高Fisher线性判别在非平衡数据集上的泛化性能.参考文献:[1]Chan P K,Stolfo S J.Toward Scalable Learning with Non-Uniform Class and Cost Distributions:A Case Study inCredit Card Fraud Detection[C]∥In.Proc of the Fourth International Conference on Knowledge Discovery and Data Mining(K DD-98).New Y ork,1998:164-168.[2]Weiss G M,Hirsh H.Learning to Predict Rare Events inEvent Sequences[C]∥In.Proc of the Fourth Internation2 al Conference on Knowledge Discovery and Data Mining (K DD-98).New Y ork:1998:359-363.[3]Atiya A F.Bankruptcy Prediction for Credit Risk UsingNeural Network:a Survey and New Results[J].IEEE Trans.Neural Networks,2001,12(4):929-935.[4]Kubat M,Holte R C,Matwin S.Machine Learning forthe Detection of Oil Spills in Satellite Radar Images[J].Machine Learning,1998,30(2):195-215.[5]Chawla N V,Japkowicz N,K olcz A.Editorial:Special Is2sue on Learning from Imbalanced Data Sets[C]∥ACM SIGK DD Explorations,2004,6(1):1-6.[6]Weiss G M.Mining with Rarity-Problems and S olutions:A Unifying Framework[C]∥SIGK DD Explorations,2004,6(1):7-19.[7]Chawla N V,Japkowicz N.K olcz A(editors).ICML’2003Workshop on Learning from Imbalanced Data Sets [C/OL][2003].http:∥www.site.uottawa.ca/～nat/ Workshop2003/workshop2003.html[8]Japkowica N(editor).Proc of the AAAI’2000Workshopon Learning form Imbalanced Data Sets[R].AAAI Tech Report WS-00-05,AAAI,2000.[9]肖健华,吴今培.样本数目不对称时的SVM模型[J].计算机科学,2003,30(2):165-167.Xiao Jian-hua,Wu Jin-pei.SVM Model with Unequal Sample Number Between Classes[J].Computer Science, 2003,30(2):165-167.(in Chinese)[10]McLachlan GJ.Discriminant Analysis and Statistical Pat2tern Recognition[M].New Y ork:Wiley,1992.[11]边肇祺,张学工.模式识别[M].北京:清华大学出版社,2001.Bian Zhao-qi,Zhang Xue-gong.Pattern Recognition[M].Beijing:Qinghua University Press,2001.(in Chinese) [12]C L Blake,C J Merz.UCI Repository of Machine Learn2ing Database.1998,[R/OL].[2005].http://www.ics./～mlearn/ML Repository.html.[13]Bradley A e of the Area Under the ROC Curve inthe Evaluation of Machine Learning Algorithms[J].Pat2tern Recognition,1997,30(7):1145-1159.[14]Fawcett T.ROC Graphs:Notes and Practical Considera2tions for Researchers[R/OL].Tech.Report HPL-2003-4,2003.[2005]/N ET/tfawcett/papers/ROC101.pdf.81北 京 交 通 大 学 学 报 第30卷。
机器学习技术如何处理非平衡数据集
机器学习技术如何处理非平衡数据集在机器学习中，数据集的平衡性是指不同类别样本的数量差异，当一个数据集中某个类别的样本数量远远大于其他类别时，我们称之为非平衡数据集。
非平衡数据集在实际应用中很常见，例如在欺诈检测、疾病诊断等任务中，异常样本的数量通常较少，而正常样本的数量较多。
然而，非平衡数据集会对机器学习模型的训练和性能造成一定的影响，因此需要采取相应的处理方法。
一种常见的处理非平衡数据集的方法是欠采样(undersampling)和过采样(oversampling)。
欠采样通过减少多数类样本的数量来平衡数据集，而过采样则通过增加少数类样本的数量来实现平衡。
这些方法可以通过简单的随机采样或使用更复杂的算法来实现。
在欠采样方法中，最简单的方法是随机删除多数类样本，从而使得多数类样本的数量与少数类样本相当。
然而，这种简单的方法可能会导致丢失一些重要的信息。
因此，还有其他的欠采样方法，如基于聚类的欠采样和基于数据分布的欠采样。
基于聚类的欠采样方法首先将数据集进行聚类，然后从每个聚类中选择代表性的样本。
基于数据分布的欠采样方法则根据数据的分布情况选择减少多数类样本的数量，以保留有代表性的样本。
过采样方法的目标是增加少数类样本的数量，以使其与多数类样本相当。
最简单的过采样方法是复制少数类样本，使其数量增多。
然而，这种方法容易导致过拟合问题。
因此，还有其他的过采样方法，如基于合成样本的过采样和基于SMOTE的过采样。
基于合成样本的过采样方法通过生成与少数类样本相似但又不完全相同的合成样本来增加少数类样本的数量。
基于SMOTE的过采样方法是一种基于K近邻的方法，它根据少数类样本和其K个最近邻样本之间的差异来合成新的样本。
除了欠采样和过采样，还有其他方法可以处理非平衡数据集。
一种常见的方法是设置不同类别样本的权重，通过调整样本权重来平衡数据集。
较少类别的样本可以赋予较高的权重，从而使得模型更加关注这些样本。
另一种方法是采用基于成本的方法，通过给不同类别样本设置不同的错误代价来平衡数据集。
fisher判别的决策面方程
fisher判别的决策面方程Fisher判别的决策面方程是一种常用的分类算法，在模式识别和机器学习领域有着广泛的应用。
它通过线性判别分析来寻找一个最优的超平面，将不同类别的样本点尽可能地分开。
本文将介绍Fisher 判别的决策面方程及其原理，以及在实际应用中的一些注意事项。
Fisher判别的决策面方程可以表示为：w^T * x + b = 0其中，w是一个n维的权重向量，x是一个n维的输入向量，b是一个常数。
决策面方程将输入向量映射到一个超平面上，根据超平面上的位置来判断输入向量属于哪个类别。
Fisher判别的原理是寻找一个投影矩阵W，通过将输入数据映射到一个低维的子空间中，使得同类样本点的投影尽可能的靠近，不同类样本点的投影尽可能的分开。
具体的步骤如下：1. 计算各个类别的均值向量：m1, m2, ..., mc。
其中c表示类别的个数，m表示均值向量。
2. 计算类内离散度矩阵Sw和类间离散度矩阵Sb。
类内离散度矩阵Sw表示类别内部的散布情况，计算公式为：Sw = Σ(xi - mi)(xi - mi)^T类间离散度矩阵Sb表示不同类别之间的散布情况，计算公式为：Sb = Σ(Ni)(mi - m)(mi - m)^T其中，xi表示第i个样本点，mi表示第i类样本的均值向量，N 表示每个类别的样本个数，m表示所有样本的总体均值向量。
3. 计算特征值和特征向量。
将Sw的逆矩阵与Sb相乘，得到矩阵M = Sw^(-1) * Sb。
计算矩阵M的特征值和特征向量，选择特征值最大的k个特征向量作为投影矩阵W。
4. 根据投影矩阵W，将输入向量x映射到低维的子空间中。
计算投影后的向量y = W^T * x，其中y是一个k维的向量。
5. 根据投影后的向量y，通过线性判别分析找到一个最优的超平面。
根据训练样本的类别信息，通过最小化类内离散度和最大化类间离散度的准则函数来确定超平面的权重向量w和常数b。
Fisher判别的决策面方程可以通过上述步骤得到，它能够有效地将不同类别的样本点分开，提高分类的准确性。
feisher线性判别分类器的设计实验报告()
实验二 Fisher 线性判别实验一、实验目的应用统计方法解决模式识别问题的困难之一是维数问题， 低维特征空间的分类问题一般比高维空间分类问题简单。
因此， 人们力图将特征空间进行降维， 降维的一个基本思路是将 d 维特征空间投影到一条直线上， 形成一维空间， 这在数学上比较容易实现。
问题的关键是投影之后原来线性可分的样本可能变为线性不可分。
一般对于线性可分的样本， 总能找到一个投影方向， 使得降维后样本仍然线性可分。
如何确定投影方向使得降维以后， 样本不但线性可分， 而且可分性更好（即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布），就是 Fisher 线性判别所要解决的问题。
本实验通过编制程序让初学者能够体会 Fisher 线性判别的基本思路，理解线性判别的基本思想，掌握 Fisher 线性判别问题的实质。
二、实验原理Fisher 线性判别分类器（Fisher Linear Discriminant Analysis,FLDA ）,此方法的基本思想是在Fisher 准则下，先求解最佳鉴别矢量，然后将高维的样本投影到最佳鉴别矢量张成的空间，使投影后的样本在低维空间有最大类间距离和最小类内距离，这样在低维空间中样本将有最佳的可分性，分类是一项非常基本和重要的任务，并有着极其广泛的应用。
分类是利用预定的已分类数据集构造出一个分类函数或分类模型(也称作分类器)，并利用该模型把未分类数据映射到某一给定类别中的过程。
分类器的构造方法很多，主要包括规则归纳、决策树、贝叶斯、神经网络、粗糙集、以及支持向量机(SVM)等方法。
其中贝叶斯分类方法建立在贝叶斯统计学[v1和贝叶斯网络[s1基础上，能够有效地处理不完整数据，并且具有模型可解释、精度高等优点，而被认为是最优分类模型之一[9]。
尤其是最早的朴素贝叶斯分类器[l0l 虽然结构简单，但在很多情况下却具有相当高的分类精度，可以达到甚至超过其它成熟算法如c4.5[l ’]的分类精度，而且对噪声数据具有很强的抗干扰能力。
Fisher线性判别分析实验报告
Fisher 线性判别分析实验报告一、摘要Fisher 线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有性质：同类样本尽可能聚集在一起，不同类样本尽可能地远。
Fisher 线性判别分析，就是通过给定的训练数据，确定投影方向w 和阈值y0，即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。
二、算法的基本原理及流程图1 基本原理 （1） W 的确定各类样本均值向量 mi样本类内离散度矩阵iS 和总类内离散度矩阵w S12wS S S =+样本类间离散度矩阵b S在投影后的一维空间中，各类样本均值 T i i m '= W m样本类内离散度和总类内离散度 T T i i w w S ' = W S W S ' = W S W 样本类间离散度 T b b S ' = W S WFisher 准则函数满足两个性质：投影后，各类样本内部尽可能密集，即总类内离散度越小越好。
投影后，各类样本尽可能离得远，即样本类间离散度越大越好。
根据这个性质确定准则函数，根据使准则函数取得最大值，可求出wT x S (x m)(x m ), 1,2iiii X i ∈=--=∑T 1212S (m m )(m m )b =---1w12W = S(m - m)（2）阈值的确定实验中采取的方法：012y = (m' + m') / 2（3） Fisher线性判别的决策规则对于某一个未知类别的样本向量 x，如果y = W T x >y0, 则x∈w1否则x∈w22流程图方差标准化（归一化处理）一个样本集中，某一个特征的均值与方差为：归一化：三、实验结果分析1男女同学身高体重，训练数据和测试数据都是50当采用StudentData1作为训练数据，StudnetData2作为测试数据时男孩类的错误率女孩类的错误率总的错误率0.04 0.14 0.09当采用StudnetData2作为训练数据，StudentData2作为测试数据时男孩类的错误率女孩类的错误率总的错误率0.02 0.06 0.042IonoSphere数据G类错误率B类错误率总的类错误率第一组数据0.31 0.29 0.30第二组数据0.32 0.27 0.30第三组数据0.31 0.28 0.29第四组数据0.30 0.37 0.32第五组数据0.30 0.31 0.31第六组数据0.78 0.27 0.60第七组数据0.42 0.25 0.36第八组数据0.30 0.31 0.30第九组数据0.29 0.40 0.33第十组数据0.34 0.25 0.31考虑到第一组数据训练数据多，下面的实验以第一组数据的训练数据作为训练数据，分别用其他组的测试数据进行测试G类错误率B类错误率总的类错误率第一组数据0.31 0.29 0.30第二组数据0.31 0.26 0.29第三组数据0.32 0.26 0.30第四组数据0.31 0.26 0.29第五组数据0.31 0.26 0.29从实验结果看，Fisher线性判别用于两类的判别决策时，拥有不错的效果，并且当有足量的训练数据时，效果更好。
Fisher判别分析
机器学习笔记-----Fisher 判别式本文申明：本系列文章为本人原创，如有转载请注明文章原地址。
今天我们机器学习老师在说到周志华老师的《机器学习》这本书的时候，p60页讲到了LDA ，但是其中的公式推导省略了很多，现在我来补充一下。
一：LDA 的思想给定两个数据集一个是XX 一个是OO ，然后我们把XXOO 投影到一条直线上，但是啊，这个人是很坏的，人家XXOO 本来想分配到一起，但是你非要让人家两类离得越远越好，相同的呢离得越近越好，美其名：异性只是繁衍，同性才是真爱。
哎，你说这不是泯灭人性么，好吧，我们先不扯蛋了。
说正题：1.1首先我们定义m i ,它表示这个i 类样本d 维空间的均值。
也就是这个分别代表类xx 和oo 。
m i 表示如下。
1i x i m X n δ∈=∑那么我们既然知道了这个，我们是不是也要找一个投影到这条直线上的代表点啊，所以就有了：*11T T i i y i y i m y w X W m n n γγ∈∈===∑∑那么现在我们就可以知道两个分类之间的距离了：**1211||||||()||T m m W m m -=-从上述式子我们可以看出，改变直线的斜率，也就是方向，可以改变两者之间的大小。
刚刚我们说了我们的准则就是让类内之间的距离最小，这是不是有点像我们之前的指示函数，那么如下图公式：*2*2()i i y i s y m γ∈=-∑我们前面已经说过，这是一个二分类问题，现在已经给了一般形式的离散度（我们叫他离散度，其实就是真实值与预测值（这里用平方表示预测值）的平方），那我们是不是要把这个两个离散度相加，然后让这个达到最小？总得离散度为：*2*212all s s s =+为了让类内的距离越小，类间的距离越大，我给出下面的判别式。
你们看，能不能满足。
**211*2*211||||()m m J W s s -=+，现在只要让J(W)达到极大，是不是就可以让我们前面说的两个要求满足？那就让我们来求出J(W)的极大值。
线性判别分析算法在分类任务中的应用
线性判别分析算法在分类任务中的应用在机器学习领域中，分类任务是一个非常重要的应用领域。
通过机器学习算法对数据进行分类，能够帮助我们更好地理解数据，并且在实际应用中能够帮助我们快速准确地对未知数据进行分类。
其中，线性判别分析算法能够在一些常见的分类任务中发挥重要作用。
一、线性判别分析算法的基本原理线性判别分析，也称为Fisher线性判别，是一种经典的分类算法，它能够将数据进行降维，从而更容易地对数据进行分类。
其基本思路是，对于给定的数据，我们首先将其进行投影，从原始空间投影到一个较低维的空间中，使得在这个新空间中，数据点之间的距离最大化，并且同类数据点之间的距离最小化。
在这个过程中，我们需要寻找一个线性变换矩阵$W$，将原始空间中的数据$x$，变换到新的空间中$y$，即：$y=WX$其中，$X$是原始空间中的$n$维向量，$y$是新空间中的$d$维向量。
在这个过程中，我们要最大化两个指标，即类间距离和类内距离。
对于类间距离，我们希望不同类别之间的数据点更加分散，从而让分类更加准确。
我们可以定义一个类间距离的矩阵$S_B$，其为所有类别之间的数据点协方差矩阵的加权和，即：$S_B=\sum_{i=1}^kw_i(\mu_i-\mu)(\mu_i-\mu)^T$其中，$k$是类别数量，$w_i$是第$i$个类别中数据点数量，$\mu_i$是第$i$个类别的均值向量，$\mu$是所有数据点的均值向量。
对于类内距离，我们希望同一类别之间的数据点更加紧密，从而提高同类别数据点之间的相似度。
我们可以定义一个类内距离的矩阵$S_W$，其为所有类别内部数据点协方差矩阵的加权和，即：$S_W=\sum_{i=1}^kw_iS_i$其中，$S_i$是第$i$个类别的协方差矩阵，$w_i$是第$i$个类别中数据点数量。
类别数量越多，$S_W$的值就越大，数据进行降维时，对角线上的元素是降维后数据的方差，越小意味着降维后数据的区分度就越好，所以也就有了$J(W)$（评价指标）的定义：$J(W)=\frac{\mid W^TS_BW \mid}{\mid W^TS_WW \mid} $为了最大化类间距离和最小化类内距离，我们需要求解出最佳的投影矩阵$W$，使得$J(W)$最大。
模式识别FISHER线性判别实验
模式识别FISHER线性判别实验
人工知能领域中的模式识别是计算机实现人类识别物体的能力的一种
技术。
它的主要目的是根据给定模式的样本及其特征，自动识别出新的样
本的特征并做出判断。
其中最著名的技术之一就是FISHER线性判别法。
FISHER线性判别法基于正态分布理论，通过计算样本的统计特征来
分类，它是一种基于参数的最优分类算法。
算法的基本思想是通过计算两
个类别的最大类间差异度，以及最小类内差异度，来有效地分类样本。
具
体而言，FISHER线性判别法即求出一个线性超平面，使这个超平面把样
本区分开来，使样本离类中心向量之间的距离最大，同时使类中心向量之
间的距离最小。
FISHER线性判别法的具体实现过程如下：
1.准备好建立模型所需要的所有数据:训练样本集，其样本特征与对
应的类标号。
2.确定每个类的类中心向量c_1，c_2，…，c_m，其中m为类的数目。
3.根据类中心向量求出类间离散度矩阵S_b和类内离散度矩阵S_w。
4.将S_b与S_w相除，得到S_b/S_w，从而求出矩阵的最大特征值
λ_1及最小特征值λ_n。
5.将最大特征值λ_1进行特征值分解，求出其特征向量w，求出判
定函数：
f(x)=w·x+w_0。
6.根据判定函数，将样本进行分类。
学术研究中的判别分析技术
学术研究中的判别分析技术一、引言判别分析是一种重要的统计学方法，主要用于识别不同类别的样本，并对样本进行分类。
在学术研究中，判别分析技术被广泛应用于各种领域，如生物医学、心理学、社会学、经济学等。
本文将介绍判别分析的基本原理、应用范围、分类方法以及其在学术研究中的应用案例。
二、判别分析的基本原理判别分析是根据样本的特征，将样本划分为不同的类别。
判别分析的目标是建立一种模型，使得该模型能够根据样本的特征，对样本的类别进行准确的预测。
常用的判别分析方法包括线性判别分析、非线性判别分析、支持向量机等。
三、判别分析的应用范围判别分析在学术研究中具有广泛的应用范围。
它可以应用于各种领域，如生物医学、心理学、社会学、经济学等。
在生物医学领域，判别分析可以用于疾病分类、基因组学研究等；在心理学领域，它可以用于个性特征的分类；在社会学领域，它可以用于种族、社会阶层等的分类；在经济学领域，它可以用于市场细分、风险评估等。
四、判别分析的分类方法判别分析有多种分类方法，根据不同的特征可以分为线性判别分析和非线性判别分析。
线性判别分析是一种基于线性模型的判别分析方法，它适用于特征之间存在线性关系的情况。
非线性判别分析则适用于特征之间存在非线性关系的情况，常用的方法包括支持向量机、神经网络等。
此外，根据应用场景的不同，判别分析还可以分为一对一批判别分析、多个样本批判别分析和时间序列判别分析等。
五、判别分析在学术研究中的应用案例本文将介绍两个判别分析在学术研究中应用的案例。
第一个案例是用于疾病分类的线性判别分析。
在一项生物医学研究中，研究者收集了大量病人的临床数据，包括血压、血糖、血脂等指标。
通过对这些数据进行线性判别分析，研究者成功地将病人分为高血压和正常两组，并且模型的准确率达到了85%以上。
这个案例说明，判别分析可以有效地应用于生物医学领域，为疾病的诊断和治疗提供支持。
第二个案例是用于市场细分的非线性判别分析。
在一家互联网公司的市场营销中，研究者收集了不同用户群体的网络行为数据，包括浏览网页、社交互动、购买行为等。
费希尔判别法的基本思想
费希尔判别法的基本思想
费希尔判别法，又称Fisher LDA(Linear Discriminant Analysis）或Fisher 正则化，是一种多变量分类分析技术，是20世纪30年代由英国统计学家菲舍尔第一次提出的。
该技术具有某种正则属性，可实现二分类或多分类分析，并有助于综合对各个分类因素的重要性程度快速排序。
费希尔判别法最重要的特性在于它专注于各个分类变量之间的相关性，可生成一组权重因子，分析出最有价值的分类变量，并可以用权重因子对每个样本进行评分，使系统能够可靠地把新输入的样本归入不同分类范畴。
在高等教育中也可以使用费希尔判别法。
例如，学校可以使用费希尔判别法仔细评估潜在学生的申请材料，从而能够准确地确定学生的入学标准。
它还可以用于确定高考考生的排名，从而根据得分和预测可能的能力来确定学生的合格程度。
它还可以帮助学校确定最具有吸引力的课程，这些课程可能对学生有更多的吸引力，也可能带来更多的利益。
此外，费希尔判别法还可以帮助高校管理者评估校园安全情况，并减少校园内犯罪行为的发生，提升学生的学习环境。
费希尔判别法还可以用来及时识别学生表现出来的异常问题，从而及早发现学生在生活上表现出来的社会问题，从而及早给学生提供危机意识教育。
事实上，费希尔判别法是目前高等教育中被广泛应用的一种数据挖掘技术，可以帮助高校管理者更加精确地识别出进入学校的入学生，根据学生的资历做出正确的判断，确定最适合学生发展的课程，帮助学校管理者评估校园安全情况，并为高校提高学生的学习效率和学习质量做出贡献。
实验二Fisher线性判别分类器
实验二 Fisher 线性判别分类器本实验旨在让同学进一步了解分类器的设计概念，理解并掌握用Fisher 准则函数确定线性决策面方法的原理及方法，并用于实际的数据分类。
一、实验原理线性判别函数的一般形式可表示成0()T g w =+X W X 其中12d x x x ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ X 12d w w w ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭W 根据Fisher 选择投影方向W 的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W 的函数为：2122212()()F m m J S S -=+ W *112()W S -=-W m m上面的公式是使用Fisher 准则求最佳法线向量的解，该式比较重要。
另外，该式这种形式的运算，我们称为线性变换，其中12-m m 是一个向量，1-WS 是W S 的逆矩阵，如12-m m 是d 维，W S 和1-W S 都是d ×d 维，得到的*W 也是一个d 维的向量。
向量*W 就是使Fisher 准则函数)(W J F 达极大值的解，也就是按Fisher 准则将d 维X 空间投影到一维Y 空间的最佳投影方向，该向量*W 的各分量值是对原d 维特征向量求加权和的权值。
以上讨论了线性判别函数加权向量W 的确定方法，并讨论了使Fisher 准则函数极大的d 维向量*W 的计算方法，但是判别函数中的另一项0W 尚未确定，一般可采用以下几种方法确定0W ，如2~~210m m W +-= 或者 m N N m N m N W ~~~2122110=++-= 或当1)(ωp 与2)(ωp 已知时可用[]⎥⎦⎤⎢⎣⎡-+-+=2)(/)(ln 2~~2121210N N p p m m W ωω ……当W 0确定之后，则可按以下规则分类，2010ωω∈→->∈→->X w X W X w X W T T二、实验内容已知有两类数据1ω和2ω，1ω中数据点的坐标对应一一如下：数据：x 1 =0.2331 1.5207 0.6499 0.7757 1.0524 1.19740.2908 0.2518 0.6682 0.5622 0.9023 0.1333-0.5431 0.9407 -0.2126 0.0507 -0.0810 0.73150.3345 1.0650 -0.0247 0.1043 0.3122 0.66550.5838 1.1653 1.2653 0.8137 -0.3399 0.51520.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099y 1=2.3385 2.1946 1.6730 1.6365 1.7844 2.01552.0681 2.1213 2.4797 1.5118 1.9692 1.83401.87042.2948 1.7714 2.3939 1.5648 1.93292.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604 z1=0.5338 0.8514 1.0831 0.4164 1.1176 0.55360.6071 0.4439 0.4928 0.5901 1.0927 1.07561.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548 数据点的对应的三维坐标为2x2 =1.4010 1.23012.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.79091.3322 1.1466 1.7087 1.59202.9353 1.46642.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414 y2 =1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.18330.8798 0.5592 0.5150 0.9983 0.9120 0.71261.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288 z2 =0.6210 1.3656 0.5498 0.6708 0.8932 1.43420.9508 0.7324 0.5784 1.4943 1.0915 0.76441.2159 1.3049 1.1408 0.9398 0.6197 0.66031.3928 1.4084 0.6909 0.8400 0.5381 1.37290.7731 0.7319 1.3439 0.8142 0.9586 0.73790.7548 0.7393 0.6739 0.8651 1.3699 1.1458三、实验要求1) 请把数据作为样本，根据Fisher 选择投影方向W 的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，求出评价投影方向W 的函数，并求使)(w J F 取极大值的*w 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
１ １ Ｆｓｅ 线 性 判 别 的基 本 原 理 ． ｉ ｒ ｈ
忽视非平衡 的数据 分布特 征 ， 将会 导致分 类器 的分 类性能 下
降 引。 在 医学 实 践 中 ， 平 衡 数 据集 的 现 象 并 不 少 见 ， 在 社 区 非 如
假设有一组 ｎ个 ｄ维的样本 Ｘ Ｘ２ …， ， ， ， 它们分别 属 于两个不 同的类别 ， 即其 中的大小 为 Ｎ１ 的样本子 集 Ｄ 于 属 类别一 ， 大小为 ￣２ 的样本 子集 Ｄ 属于类别二 。 ２ Ｆｓ ｅ 判别分析是 寻求使 Ｆｓｅ ｕ ｔ ｎ￣ Ｆｓ ｅ 准则 ｉ ｒ ｈ ｉ ｒｑｏｉ ｔ ｈ ｅ （ ｉ ｒ ｈ
数 类样 本 往 往 是 分类 问题 的关 注 所 在
达到最大时的 的方向 ， 以便样本在投影方 向 ｙ ＝Ｗｒ 上能 Ｘ
较 好 的将 两类 分 开 ， 图 １ 见 。
为了解决非平衡 数据集 的分类 问题 ， 现有 的研 究 已经提
●、 、 Ｉ
、 、
、
、
、
／
－ 、
、
ｏ
、、 、 、பைடு நூலகம்
周舒冬 李丽霞 郜艳晖 徐 英 叶小华
（ 广东 药学院卫 生统计 学教研 室
摘
张丕德
广州 ５ ０ １ ） １ ３ ０
要 ： 目的： 介绍加权 Ｆｓｅ 线性判别法在非平衡 医学数据集 中的应用 。方法 ： ｉｈｒ 在两类分类问题 中， 当两类样本 的侨方差矩
阵不 同时 ， 样本不平衡会导致 ｓｅ 线性判别的性能下降 ， ｈｒ 使用加权 Ｆｓ ｅ 线性 判别法对两类样 本同时进行不 同倍 数的过抽样 ， ｉｈｒ 可 促使两类的样本数 目趋向平衡。结果 ： 利用社区居 民的血糖流行病学调查资料进行验 证， 加权 Ｆｓ ｅ 线性判别 法较 传统 Ｆ ｓｅ 线性 ｉｈｒ ｉｈｒ 判别法 的灵敏度高 ， 分类性能明显提高 。结论 ： 加权 Ｆｓｅ 线性判别法可适用于非 平衡 数据集， 法简单高效 ， ｉ ｒ ｈ 算 且基本不增加计算复
函数 ）
） 一
４ ０岁以上人群 中建立慢性阻塞性肺疾病的发病筛 查及 预测模 型， 慢阻肺 在社 区人群 中的患病率常 约为 ８ ３ ， ． ％ 因此 社 区中 潜在 的发病人群是少数类样本 ， 大部分人群属于 正常人 ， 如果 使用传统的分类 模型 则难 以识 别这些 少数 类样 本， 而这 些少
、 、
一
、
ｃ
ｏ
∥
～
－
Ｘ ｌ
图 ２的 投 影 Ｗ 方 向较 图 １ Ｗ 方 向 可 以 更好 的 分 开 两 类 的
图 １ 不 同投影方向上的分类效 果
收 稿 日期 ：０ ８０—２ ２０ －９２
△ ２ ０ 年度广东省医学科研基金（ ２Ｏ Ｏ ２ ０８ Ｂ Ｏ８８）
・
５ ・ ９
ｍ 一， ∑Ｘ为 ｉ÷ ｅ “ｘＤ 样本均值。
ｉ
要 求 Ｊ Ｗ ）达 到 最 大 时 的 Ｗ 的 方 向可 对 Ｗ 导 并 令 其 （ 求
为零 ， 时 求 导 可得 ： 同
Ｗ ：Ｓ （ １ 一 ２ ）
ＡＵＣ越大 ， 分类 器的性 能就越 好。
Ｓ ＝Ｓ —Ｓ Ｔ Ｂ ｗ为总体散 布矩 阵；
１
果见 表 １ 可见 加权 Ｆｓｅ 线性判 别法 比普 通 Ｆｓ ｅ 线性 判 ， ｉ ｒ ｈ ｉ ｒ ｈ 别法 的漏诊率 明显 降低 ， 灵敏度显著 提高 ， 分类算 法的整体 分
类 性 能 获 得 提 升 。 同时 利 用 Ｒ Ｃ 曲线 下 面 积 ＡＵＣ来 评 价 两 Ｏ 种 方 法 的 分 类 结 果 （ ２ ， ＵＣ 取 值 范 围 在 ０和 ｌ之 问 且 图 ）Ａ
Ｘ ∈Ｄｉ
验 的结 果 进 行 平 均 即为 最 后 结 果 。
为了比较普通 Ｆｓ ｅ 线性判别法 和加权 Ｆｓ ｅ 线性 判别 ｉ ｒ ｈ ｉ ｒ ｈ
法对 该 资料 的分 类 效 果 ， 们 观 察 了 两 种 方 法 的 实 验 结 果 ， 我 结
Ｓ ｗ—Ｓ 一ｓ 为总类 内散 布矩 阵； ｚ
杂度 。
关键词 ： 加权 ； Ｆｓｅ 线性判别 ； 非平衡 医学数据集 ｉ ｒ ｈ
判别分析 是一种常用 的统计方法 ， 它能根据 观察或者 测 量到的若干个变量 值来判 断研究对 象如何 分类 。简而 言之 ，
出了一些有效的方法 ， 如采用适当的方法重构训练集或 者
直接改进传统分类算 法来提高对少 数类的分类性能 。本研 究
Ｊ ｕ ｎ ｌ ｆＭａ ｈ ｍａｉａ ｅ ｉｉｅ ｏ ｒ ａ ｔｅ ｔ ｌＭ ｄｃｎ ｏ ｃ
Ｖｏ． ２ １２
Ｎｏ １ ．
２０ ０９
其 中 ： ：（ —ｍ２ （ 一ｍ２ ｍｌ ）ｍ１ ） 为类 间散布矩阵 ；
Ｓ一 ∑ （ ｉ Ｘ一 ）Ｘ—ｍ 为 类 内散 布 矩 阵 ； （ ）
数理 医药学杂志 文章编号 ：Ｏ ４４３ （０ ９０ —０ ９０ １ Ｏ—３ ７ ２０ ） １ ５ —３ ０ 中图分类号 ： ３ １ Ｒ １ 文献标识码 ：Ａ
２０ 年 第 ２ 卷 第 １ ０９ ２ 期 ・统计 分析 ・
加 权 Ｆｓ ｅ 线性 判 别法 在 非 平 衡 医 学 数据 集 中 的应 用△ ｉ ｒ ｈ
测变量判别 其所属类别时 的错误率最小 。Ｆｓ ｅ 线 性判别法 ｉ ｒ ｈ
是一种常用 的判别分 析法 ， 擅长解决 线性可 分的 问题 。但在 分类器训练过程 中， 各个类别 的样本 总数可能不一致 ， 如果各
类 的样 本数 彼 此 之 间 差 距 太 悬 殊 ， 会 出 现 不 平 衡 的 问题 ， 则 而
介绍的加权 Ｆｓｅ 线性判别法是对传统 Ｆｓｅ 线性判别法 的 ｉ ｒ ｈ ｉ ｒ ｈ 加权改进 ， 使之适用于非平衡数据 集 ， 这样既 可充分 利用现有 的信息 ， 又基本上不增加算法 的计算复杂度嘲。
１ 原 理 介 绍
它能从若干的观测对象特征变量值 中筛选 出能够提供较多信
息的变量并建立判别 函数 ， 得利用 推导 出的判别 函数对 观 使