LDA线性判别分析
LDA线性判别分析
LDA线性判别分析LDA（Linear Discriminant Analysis），也被称为Fisher线性判别分析，是一种经典的统计模型和机器学习算法，常用于降维和模式识别任务。
LDA的目标是寻找一个线性变换，将高维数据投影到一个低维子空间上，使得在该子空间上的投影具有最优的数据分离性能。
换句话说，LDA希望找到投影方式，使得不同类别的数据在低维子空间上的投影显著分离，并且同一类别内部的数据尽可能地紧密聚集。
LDA的基本思想是通过计算类间离散度矩阵和类内离散度矩阵来得到最佳的投影方向。
类间离散度矩阵度量的是不同类别数据分布之间的差异，而类内离散度矩阵度量的是同一类别内部数据之间的差异。
LDA目标函数可以表示为J(w)=w^T*Sw*w/(w^T*Sb*w)，其中w是投影方向，Sw为类内离散度矩阵，Sb为类间离散度矩阵。
在实际应用中，我们需要先计算类内离散度矩阵Sw和类间离散度矩阵Sb，然后通过求解J(w)的最大值来得到最佳的投影方向w。
通常情况下，可以通过特征值分解或者广义特征值分解来求解最优的投影方向。
LDA的应用非常广泛，特别是在模式识别和计算机视觉领域。
它可以用于人脸识别、手写数字识别、垃圾邮件过滤等任务。
LDA的优点是在高维数据集中可以找到最优的投影方向，具有很好的数据分离性能。
而且LDA不需要事先假设数据分布的形式，适用于各种分布情况。
然而，LDA也存在一些限制。
首先，LDA假设数据满足多元正态分布，如果数据违反了该假设，那么LDA的判别性能可能会下降。
其次，LDA投影到的低维子空间的维度最多等于类别数减一，这可能导致信息丢失。
此外，当类别样本数量不平衡时，LDA的效果可能会受到影响。
为了克服LDA的局限性，人们提出了一些改进的方法。
例如，局部判别分析（Local Discriminant Analysis）可以在局部区域内构建LDA模型，适用于非线性可分的数据。
深度学习的发展也为LDA的改进提供了新的思路和方法，如稀疏表示LDA和核LDA等。
linear discriminate analysis
linear discriminate analysis【实用版】目录1.线性判别分析的定义和基本概念2.线性判别分析的应用场景和问题解决能力3.线性判别分析的具体方法和步骤4.线性判别分析的优缺点和局限性5.线性判别分析的实际应用案例正文线性判别分析（Linear Discriminant Analysis，简称 LDA）是一种常用的监督学习方法，主要用于解决分类问题。
它是一种线性分类方法，通过找到一个最佳的线性分类器，将数据分为不同的类别。
LDA 基于数据分布的假设，即不同类别的数据具有不同的分布，通过最大化类内差异和最小化类间差异来实现分类。
LDA 的应用场景非常广泛，可以用于文本分类、图像分类、生物信息学、社会科学等领域。
在这些领域中，LDA 能够有效地解决分类问题，提高分类准确率。
例如，在文本分类中，LDA 可以通过分析词汇分布，将文本分为不同的主题或类别。
线性判别分析的具体方法和步骤如下：1.收集数据并计算数据矩阵。
2.计算数据矩阵的协方差矩阵和矩阵的特征值和特征向量。
3.根据特征值和特征向量构建线性分类器。
4.使用分类器对数据进行分类。
尽管 LDA 在分类问题上表现良好，但它也存在一些优缺点和局限性。
首先，LDA 要求数据矩阵的列向量是线性无关的，这可能会限制其在某些数据集上的表现。
其次，LDA 对数据中的噪声非常敏感，噪声的存在可能会对分类结果产生不良影响。
此外，LDA 是一种基于线性分类的方法，对于非线性分类问题可能无法有效解决。
尽管如此，LDA 在实际应用中仍然具有很高的价值。
例如，在文本分类中，LDA 可以有效地识别不同主题的文本，并为用户提供个性化的推荐。
在生物信息学中，LDA 可以用于基因表达数据的分类，以识别不同类型的细胞或疾病。
在社会科学中，LDA 可以用于对调查数据进行分类，以便更好地理解受访者的需求和偏好。
总之，线性判别分析是一种强大的分类方法，可以应用于各种领域。
线性判别分析
线性判别分析
线性判别分析(linear discriminant analysis，LDA)是对费舍尔的线性鉴别方法的归纳，这种方法使用统计学，模式识别和机器学习方法，试图找到两类物体或事件的特征的一个线性组合，以能够特征化或区分它们。
所得的组合可用来作为一个线性分类器，或者，更常见的是，为后续的分类做降维处理。
之前我们讨论的PCA、ICA也好，对样本数据来言，可以是没有类别标签y的。
回想我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。
我们可以使用PCA来降维，但PCA没有将类别标签考虑进去，属于无监督的。
比如回到上次提出的文档中含有“learn”和“study”的问题，使用PCA后，也许可以将这两个特征合并为一个，降了维度。
但假设我们的类别标签y是判断这篇文章的topic是不是有关学习方面的。
那么这两个特征对y几乎没什么影响，完全可以去除。
Fisher提出LDA距今已近七十年，仍然是降维和模式分类领域应用中最为广泛采用而且极为有效的方法之一，其典型应用包括人脸检测、人脸识别、基于视觉飞行的地平线检测、目标跟踪和检测、信用卡欺诈检测和图像检索、语音识别等。
线性判别分析算法在数据分类中的应用
线性判别分析算法在数据分类中的应用线性判别分析算法（Linear Discriminant Analysis, LDA）是一种常用的数据分类方法。
它的基本思想是通过将数据投影到一条直线（或者是高维空间中的一个超平面），使得同类之间的数据点尽可能接近，不同类之间的数据点尽可能远离。
这样，我们就可以用这条直线来区分不同的类别，从而实现数据分类的任务。
LDA算法的应用非常广泛，比如在机器学习、模式识别、图像处理、生物信息学等领域都有大量的应用。
下面，我们将从几个方面来介绍LDA算法在数据分类中的应用。
1. LDA算法在二分类问题中的应用二分类是指只涉及两个类别的分类问题。
LDA算法可以被用来解决二分类问题，特别是在数据样本有限的情况下，LDA算法表现得更加优秀。
LDA算法将数据样本投影到一条直线上，使得同类之间的数据点尽可能接近，不同类之间的数据点尽可能远离。
这样，我们可以通过比较投影后的数据点的位置来判断它属于哪个类别。
在实际应用中，我们可以通过LDA算法来处理一些二分类问题，如人脸识别、声音识别、图像分类等。
例如，在人脸识别中，我们可以将不同人的人脸图像看做不同的类别，通过LDA算法将它们投影到一条直线上，从而实现对不同人脸图像的识别。
2. LDA算法在多分类问题中的应用在许多实际问题中，涉及到的不止两个类别，而是多个类别。
LDA算法同样可以被用来解决多分类问题。
LDA算法在多分类问题中的应用稍有不同。
在二分类问题中，我们可以将数据点投影到一条直线上，但在多分类问题中，我们需要将数据点投影到更高维的空间中，即超平面上。
具体地，我们可以将每个类别看做一个投影方向，然后将所有的投影方向合并起来，形成一个超平面。
通过将数据样本投影到这个超平面上，我们可以将数据分类成多个类别。
3. LDA算法在降维问题中的应用在高维数据处理中，数据的维数通常会非常高。
这对数据处理带来了困难，因为高维数据不能直观地展示出来，也很难直接分析。
线性判别分析
介绍
线性判别分析(Linear Discriminant Analysis, LDA)，也 叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)， 是模式识别的经典算法，1936年由Ronald Fisher首次提出， 并在1996年由Belhumeur引入模式识别和人工智能领域。
LDA
对于N(N>2)分类的问题，就可以直接写出以下的结论：
这同样是一个求特征值的问题，求出的第i大的特征向量，即为 对应的Wi。
LDA在人脸识别中的应用
要应用方法
K-L变换 奇异值分解 基于主成分分析 Fisher线性判别方法
主要应用方法
K-L变换
为了得到彩色人脸图像的主分量特征灰度图像,可以采用Ohta[3]等人提 出的最优基来模拟K-L变换方法,从而得到新的包含了彩色图像的绝大多 数特征信息的主分量特征图像.
LDA
LDA与PCA(主成分分析)都是常用的降维技术。PCA主要是从 特征的协方差角度，去找到比较好的投影方式。LDA更多的是 考虑了标注，即希望投影后不同类别之间数据点的距离更大， 同一类别的数据点更紧凑。
下面给出一个例子，说明LDA的目标：
可以看到两个类别，一个绿色类别，一个红色类别。左图是两个 类别的原始数据，现在要求将数据从二维降维到一维。直接投影 到x1轴或者x2轴，不同类别之间 会有重复，导致分类效果下降。 右图映射到的直线就是用LDA方法计算得到的，可以看到，红色 类别和绿色类别在映射之后之间的距离是最大的，而且每个类别 内 部点的离散程度是最小的（或者说聚集程度是最大的）。
LDA
假设用来区分二分类的直线（投影函数)为： LDA分类的一个目标是使得不同类别之间的距离越远越好，同 一类别之中的距离越近越好，所以我们需要定义几个关键的值:
线性判别分析（LinearDiscriminantAnalysis，LDA）
线性判别分析（LinearDiscriminantAnalysis，LDA）⼀、LDA的基本思想线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引⼊模式识别和⼈⼯智能领域的。
线性鉴别分析的基本思想是将⾼维的模式样本投影到最佳鉴别⽮量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的⼦空间有最⼤的类间距离和最⼩的类内距离，即模式在该空间中有最佳的可分离性。
如下图所⽰，根据肤⾊和⿐⼦⾼低将⼈分为⽩⼈和⿊⼈，样本中⽩⼈的⿐⼦⾼低和⽪肤颜⾊主要集中A组区域，⿊⼈的⿐⼦⾼低和⽪肤颜⾊主要集中在B组区域，很显然A组合B组在空间上明显分离的，将A组和B组上的点都投影到直线L上，分别落在直线L的不同区域，这样就线性的将⿊⼈和⽩⼈分开了。
⼀旦有未知样本需要区分，只需将⽪肤颜⾊和⿐⼦⾼低代⼊直线L的⽅程，即可判断出未知样本的所属的分类。
因此，LDA的关键步骤是选择合适的投影⽅向，即建⽴合适的线性判别函数（⾮线性不是本⽂的重点）。
⼆、LDA的计算过程1、代数表⽰的计算过程设已知两个总体A和B，在A、B两总体分别提出m个特征，然后从A、B两总体中分别抽取出、个样本，得到A、B两总体的样本数据如下：和假设存在这样的线性函数（投影平⾯），可以将A、B两类样本投影到该平⾯上，使得A、B两样本在该直线上的投影满⾜以下两点：（1）两类样本的中⼼距离最远；（2）同⼀样本内的所有投影距离最近。
我们将该线性函数表达如下：将A总体的第个样本点投影到平⾯上得到投影点，即A总体的样本在平⾯投影的重⼼为其中同理可以得到B在平⾯上的投影点以及B总体样本在平⾯投影的重⼼为其中按照Fisher的思想，不同总体A、B的投影点应尽量分开，⽤数学表达式表⽰为，⽽同⼀总体的投影点的距离应尽可能的⼩，⽤数学表达式表⽰为，，合并得到求从⽽使得得到最⼤值，分别对进⾏求导即可，详细步骤不表。
LDA线性判别分析报告
LDA线性判别分析报告LDA线性判别分析（Linear Discriminant Analysis）是一种经典的线性分类方法。
它的目的是通过线性投影将数据从高维空间降维到低维空间，并在降维后的空间中寻找最佳的分类边界。
LDA在模式识别和机器学习领域有广泛的应用，特别在人脸识别、语音识别等领域取得了较好的效果。
LDA是一种有监督的降维方法，它在降维的同时将数据的类别信息考虑进去。
具体来说，LDA的目标是使得同一类别的数据点尽量聚集在一起，不同类别之间的距离尽量拉大。
这样一来，在降维后的空间中，可以更容易找到线性分类边界，从而提高分类的准确度。
LDA的思想基于以下两个假设：1.数据符合高斯分布。
LDA假设每个类别的数据点都符合高斯分布，且各个类别的协方差矩阵相同。
2.数据点是独立的。
LDA假设不同类别的数据点之间是独立的。
LDA的步骤如下：1.计算各个类别的均值向量。
对于有N个类别的数据，每个类别的均值向量可以通过计算平均值得到。
2.计算类内散度矩阵(Sw)和类间散度矩阵(Sb)。
类内散度矩阵衡量了同一类别数据点之间的差异，可以通过计算每个类别内部数据点和对应的均值向量之间的协方差矩阵的和来求得。
类间散度矩阵衡量了不同类别数据点之间的差异，可以通过计算不同类别均值向量之间的协方差矩阵的加权和来求得。
3.解LDA的优化问题。
LDA的目标是最大化类间散度矩阵与类内散度矩阵的比值，可以通过对Sw的逆矩阵与Sb的乘积进行特征值分解得到最佳投影方向。
4.选取投影方向。
根据上一步骤求得的特征值，选择最大的k个特征值对应的特征向量，这些特征向量构成了投影矩阵W。
其中k为降维后的维度，通常比原本的维度小。
LDA的优点在于它能充分利用类别信息，提高分类的准确度。
同时，LDA计算简单且直观，对数据的分布并没有太多的假设要求。
然而，LDA 也有一些限制。
首先，LDA假设数据符合高斯分布，这对于一些非线性数据是不适用的。
其次，LDA是一种线性分类方法，对于非线性问题可能效果不佳。
线性判别分析（LDA）
线性判别分析（LDA）说明：本⽂为个⼈随笔记录，⽬的在于简单了解LDA的原理，为后⾯详细分析打下基础。
⼀、LDA的原理LDA的全称是Linear Discriminant Analysis（线性判别分析），是⼀种supervised learning。
LDA的原理：将带上标签的数据（点），通过投影的⽅法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，⼀簇⼀簇的情况，相同类别的点，将会在投影后的空间中更接近。
因为LDA是⼀种线性分类器。
对于K-分类的⼀个分类问题，会有K个线性函数：当满⾜条件：对于所有的j，都有Yk > Yj,的时候，我们就说x属于类别k。
上式实际上就是⼀种投影，是将⼀个⾼维的点投影到⼀条⾼维的直线上，LDA最求的⽬标是，给出⼀个标注了类别的数据集，投影到了⼀条直线之后，能够使得点尽量的按类别区分开，当k=2即⼆分类问题的时候，如下图所⽰：上图提供了两种⽅式，哪⼀种投影⽅式更好呢？从图上可以直观的看出右边的⽐左边的投影后分类的效果好，因此右边的投影⽅式是⼀种更好地降维⽅式。
LDA分类的⼀个⽬标是使得不同类别之间的距离越远越好，同⼀类别之中的距离越近越好。
⼆、LDA算法流程输⼊：数据集 D = {(x1, y1), (x1, y1), ... ,(x m, y m)}，任意样本x i为n维向量，y i∈{C1, C2, ... , Ck}，共k个类别。
现在要将其降维到d维；输出：降维后的数据集D'。
（1）计算类内散度矩阵 S B;（2）计算类间散度矩阵 S W;（3）将 S B和 S W代⼊上⾯公式计算得到特征值λ和特征向量 w，取前⾯⼏个最⼤的特征值向量λ'与特征向量相乘得到降维转换矩阵λ'w;（4）将原来的数据与转换矩阵相乘得到降维后的数据 (λ'w)T x ;三、LDA优缺点分析LDA算法既可以⽤来降维，⼜可以⽤来分类，但是⽬前来说，主要还是⽤于降维。
LDA线性判别分析报告
展开J(w)的分子并定义SB，SB称为Between-class scatter。 这样就得到了J(w)的最终表示：
上式求极大值可以利用拉格朗日乘数法，不过需要限定一下分母的值，否则分子分母
都变，怎么确定最好的w呢。可以令
，利用拉格朗日乘数法得到：
上式两边同乘以
可以得到：
发现w其实就是矩阵
的特征向量。
• LDA人脸识别（Fisherface）
通常情况下，待匹配人脸要和人脸库内的多张人脸匹配，所以这是一个多分类 的情况。出于简单考虑，可以先介绍二类的情况然后拓展到多类。假设有二维平面上 的两个点集x（x是包含横纵坐标的二维向量），它们的分布如下图（分别以蓝点和红 点表示数据）：
以数学公式给出投影点到到原点的距离： w以从原点出发的直线来表示，直线上的点是原数据的投影点。下图给出了两种w 方案，直观判断右侧的w更好些，其上的投影点能够合理的区分原有的两个数据集。 但是计算机不知道这些，所以必须要有确定的方法来计算这个w。
首先计算每类数据的均值（中心点）：
i是数据的分类个数，Ni代表某个分类下的数据点数，比如μ 1代表红点的中心，μ2代表蓝点的中心。
类均值点投影到w上的中心为： 如何判断向量w最佳？1、不同的分类得到的投影点要尽量分开；2、同一个分类投 影后得到的点要尽量聚合。从这两方面考虑，可以定义如下公式：
J(w)代表不同分类投影中心的距离，它的值越大越好。
2.确保这些变量是相互独立的
有效信息的提取综合及无用信息的摈弃。
3.提供一个框架来解释结果
降维标准：
投影后类内方差最小，类间方差最大。我们要将数据在低维度上进行投影， 投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心 之间的距离尽可能的大。
模式识别上lda的原理
模式识别上lda的原理
LDA（Linear Discriminant Analysis，线性判别分析）是一种经典的模式识别技术，用于降维、分类和数据可视化等任务。
其基本原理基于最大化类间差异和最小化类内差异，以找到能够有效区分不同类别的特征。
LDA 的主要目标是找到一个投影方向，使得投影后的数据在该方向上具有最大的可分性。
具体来说，LDA 假设数据来自两个或多个类别，并且每个类别可以通过一个高斯分布来描述。
通过找到一个投影方向，使得不同类别之间的投影距离尽可能大，同时同一类别内的投影距离尽可能小。
LDA 的原理可以通过以下步骤来解释：
1. 数据预处理：将数据进行标准化或中心化处理，使得每个特征具有零均值和单位方差。
2. 计算类内散度矩阵：通过计算每个类别的样本在原始特征空间中的协方差矩阵，得到类内散度矩阵。
3. 计算类间散度矩阵：通过计算所有类别样本的总体协方差矩阵，得到类间散度矩阵。
4. 计算投影方向：通过求解类间散度矩阵的特征值和特征向量，找到能够最大化类间差异的投影方向。
5. 投影数据：将原始数据在找到的投影方向上进行投影，得到降维后的特征。
6. 分类或可视化：可以使用投影后的特征进行分类任务或数据可视化。
LDA 的原理基于统计学习和降维的思想，通过最大化类间差异和最小化类内差异来找到最具判别力的投影方向。
它在模式识别和数据分析中具有广泛的应用，如人脸识别、语音识别和文本分类等领域。
线性判别分析
用线性判别分析（Linear Discriminant Analysis ）对Wine 数据集进行分类 1. 线性判别分析（LDA ）原理LDA 是统计学上一种经典的分析方法，在医学中的患者疾病分级、经济学的市场定位、产品管理、市场研究、人脸识别和机器学习等领域有广泛的应用。
LDA 可以用于对数据进行分类，首先，我们要用事先分好类的数据对LDA 进行训练，建立判别模型，所以LDA 属于监督学习的算法。
LDA 的基本思想是投影，将n 维数据投影到低维空间，使得投影后组与组之间尽可能分开，即在该空间中有最佳的可分离性，而衡量标准是新的子空间有最大的类间距离和最小的类内距离。
LDA 的目标是求出使新的子空间有最大的类间距离和最小的类内距离的向量a ，构造出判别模型。
形象地理解，如图1，红色点和蓝色点分别代表两个类别的数据，他们是二维的，取二维空间中的任一个向量，作各点到该向量的投影，可以看到，右图比左图投影后的分类效果好。
再如图2，是三维空间的各点作投影到二维空间，可以看到左图比右图分类效果好。
有时需要根据实际选择投影到几维才能实现最好的分类效果。
构造判别模型的过程： （1） 作投影设n 维数据样本集X={x i |i=1,2,3…j}，这j 个样本可以分为k 个类别X 1，X 2，…，X k . 令w 为n 维空间中任一向量，则样本x i 在w 上的投影为w T x i ，得到的是一维数据. （2） 计算投影后的类内距离与类间距离其中利用了方差分析的思想：类内距离：E 0= ∑∑(w T x −w T X t ̅̅̅)2x∈X t k t=1X t ̅̅̅表示 X t 中的样本未投影前的平均.整理得 E 0=w T E w 其中矩阵E=∑∑(x −X t ̅̅̅)(x −X t ̅̅̅)T x∈X tk t=1类间距离：B 0= ∑n t (w T X t ̅̅̅−w T X ̅)2k t=1X̅表示所有样本未投影前的平均，n t 表示X t 中样本数 整理得 B 0=w T Bw 其中矩阵B= ∑n t (X t ̅̅̅−X ̅)(X t ̅̅̅−X ̅)T k t=1（3） 构造目标函数为了得到最佳的w ，我们希望E 0尽量小，B 0尽量大，因此构造J(w)= B0E 0问题转化为求w 使J(w)达到极大值，但使J(w)达到最大值的w 不唯一，于是我们加上一个约束条件E 0=1即求w ，使J(w)在约束条件E 0=1下达到极大值（4） 拉格朗日乘数法求w利用拉格朗日乘数法我们可以得到以下等式(E −1B)w =λw λ为拉格朗日乘子即λ为E −1B 的特征值，w 为对应的特征矩阵 由特征方程|E −1B −λI |= 0 可解除 特征值λ 和特征向量 w（5） 导出线性判别函数把特征值由大到小排列，取最大的特征值，所求w 就是对应的特征向量w 导出线性判别函数为u(x)=wx若用一个线性判别函数不能很好区别各个总体，可用第二大特征根，第三大特征根……对应的特征向量构造线性判别函数进行判别（即上面所说根据实际选择降维到几维空间），线性判别函数个数不超过k-1个。
线性判别分析LDA
线性判别分析LDA⾸先搞清楚什么叫判别分析？Discriminant Analysis 就是根据研究对象的各种特征值判别其类型归属问题的⼀种多变量统计分析⽅法。
根据判别标准不同，可以分为距离判别、Fisher 判别、Bayes 判别法等。
⽐如在KNN 中⽤的就是距离判别，当然这⾥的“距离”⼜有好⼏种：欧⽒距离、街区距离、甚⾄可以⽤等。
⽤的就是Bayes 判别法。
本⽂要讲的线性判别分析就是⽤是Fisher 判别式。
根据判别函数的形式，可以分为线性判别和⾮线性判别。
LDA 和PCA ⽐较两者都是为了在对原始数据降维之后进⾏分类。
是⽆监督的⽅式，它没有分类标签，降维之后需要采⽤K-Means 或⾃组织映射⽹络等⽆监督的算法进⾏分类。
LDA 是有监督的⽅式，它先对训练数据进⾏降维，然后找出⼀个线性判别函数。
两类线性判别分析给定N 个特征为d 维的样例x (i ){x (i )1,x (i )2,...,x(i )d }，其中有N 1个样例属于类别w 1，另外N 2个样例属于类别w 2。
现在我们要将原始数据降低到只有⼀维，降维函数（或者叫投影函数）是：y =w T x ，最后我们就依靠每个样例对应的y 值来判别它属于哪⼀类。
形象的图求如下我们就是要找到这个最佳的w ，使得样例映射到y 后最易于区分。
定义每类样例的均值点：u i =1N i ∑x ∈w i x 样例投影到y 后有均值点为：~u i =1N i ∑x ∈w iw T x =w T u i 我们希望投影后两类样例中⼼尽量地分离，即|~u 1−~u 2|=|w T (u 1−u 2)|越⼤越好。
同时我们希望投影之后类内部的⽅差~s i 2=∑y ∈w i(y −~u i )2越⼩越好。
由于得到我们的⽬标函数：maxJ (w )=|~u 1−~u 2|2~s 12+~s 22(1)⼜是个最优化问题。
最终解得w =(s 1+s 2)−1(u 1−u 2)，s 1和s 2分别中原始样例的⽅差。
线性判别分析
线性判别分析（Linear DiscriminantAnalysis，LDA）是模式识别中较常用的一种算法，主要思想是最小化类内距离的同时最大化类间距离，得到最优的投影方向以产生最好的分类结果。
线性判别分析算法由于其简单有效性在多个领域都得到了广泛地应用，但是算法本身仍然存在一些局限性需要进行研究改进。
小样本问题由于样本库中的样本数量远小于样本的特征维数，样本与样本之间的距离变大使得距离度量失效，使LDA算法中的类内、类间离散度矩阵奇异，不能得到最优的投影方向，在人脸识别领域中表现得尤为突出。
目前影响线性判别分析算法在人脸识别领域中的识别结果的主要问题是光照、表情等外部条件变化引起的面部大变化带来的识别问题。
光照、表情等变化问题会使图像像素值发生大变化，引起人脸图像呈非凸复杂分布。
使用线性特征的基于外观的识别算法（如LDA）在光照、表情等变化下的识别性能下降，这是人脸识别中目前普遍存在的难题。
线性判别分析模型在多分类问题中的应用
线性判别分析模型在多分类问题中的应用线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的统计学习方法，被广泛应用于多分类问题的解决中。
在这篇文章中，我们将探讨LDA在多分类问题中的应用，并对其原理进行解析。
一、LDA的原理LDA是一种监督学习方法，主要用于降低数据维度并提取特征，其基本思想是通过对数据进行线性变换，将原始特征空间投影到一个新的低维空间，使得不同类别的数据尽可能地分开，同一类别的数据尽可能地接近。
LDA通过以下步骤实现特征提取：1. 计算各类别的均值向量；2. 计算类内离散度矩阵，即各类别内部的数据离散程度；3. 计算类间离散度矩阵，即各类别之间的数据离散程度；4. 计算广义瑞利商，并求解特征值和特征向量；5. 选择最大的k个特征值对应的特征向量，构成变换矩阵；6. 对原始数据进行线性变换，得到新的特征空间。
在LDA中，我们希望最大程度地保留类间距离和最小化类内距离。
通过求解最大化目标函数，可以得到最佳的投影方向，进而有效地进行特征提取，以便对新的样本进行分类。
二、LDA在多分类问题中的应用LDA广泛应用于多分类问题的解决中，其主要侧重于提取数据的重要特征，并通过线性变换将数据投影到低维空间，以便进行分类。
下面以一个实际例子说明LDA在多分类问题中的应用。
假设我们要解决一个手写数字识别的问题，数据集包含0-9共10个类别的数字图像。
我们希望通过LDA来提取图像的重要特征，并构建一个分类模型。
首先，我们将数字图像进行预处理，提取出重要的特征。
通过LDA方法，我们得到了一组最佳的投影方向，这些方向可以最大程度地区分不同的数字类别。
然后，我们对新的数字图像进行特征提取和投影，将其映射到低维空间。
最后，我们使用一种分类算法（如k近邻算法）对这些映射后的图像进行分类。
在实际应用中，我们需要使用训练集对模型进行训练，并使用测试集对其进行验证。
通过评估模型在测试集上的性能，我们可以了解到LDA在多分类问题中的效果。
线性判别分析在模式识别中的应用
线性判别分析在模式识别中的应用线性判别分析（Linear Discriminant Analysis，简称LDA）是一种常用的模式识别算法，在许多领域中都有广泛的应用。
本文将探讨LDA在模式识别中的应用，并对其原理进行详细解析。
一、线性判别分析简介线性判别分析是一种监督学习的分类算法，其基本思想是将原始空间中的样本投影到低维子空间，从而使得不同类别的样本在投影后的子空间中能够更好地分离。
其目标是使得同类样本的投影点尽可能接近，不同类样本的投影点尽可能远离。
通过计算投影矩阵，将数据从高维空间映射到低维空间，从而实现维度的降低和分类的目的。
二、线性判别分析的原理1. 类内离散度和类间离散度的定义为了对数据进行降维和分类，我们需要定义类内离散度和类间离散度两个指标。
类内离散度（within-class scatter matrix）用于衡量同类样本在投影子空间中的分散程度，可以通过计算各类样本的协方差矩阵之和得到。
类间离散度（between-class scatter matrix）用于衡量不同类样本在投影子空间中的分散程度，可以通过计算各类样本均值的差异得到。
2. 目标函数的定义线性判别分析的目标是最大化类间离散度，同时最小化类内离散度。
为了实现这一目标，我们可以定义一个目标函数，即广义瑞利商（generalized Rayleigh quotient）。
广义瑞利商的定义如下：J(w) = (w^T * S_B * w) / (w^T * S_W * w)其中，w为投影向量，S_B为类间离散度的协方差矩阵，S_W为类内离散度的协方差矩阵。
3. 目标函数的求解通过求解广义瑞利商的极值问题，我们可以得到最优的投影方向。
对目标函数进行求导，并令导数为0，我们可以得到广义特征值问题。
S_W^(-1) * S_B * w = λ * w其中，λ为广义特征值，w为对应的广义特征向量。
通过求解该特征值问题，我们可以得到最优的投影方向，从而实现数据的降维和分类。
lda的原理
lda的原理LDA，全称是Linear Discriminant Analysis（线性判别分析），是一种经典的线性学习方法。
它的基本原理是设法将样本投影到一条直线上，使得同类样本的投影点尽可能近，异类样本的投影点尽可能远。
这样可以形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。
LDA的目标是找到一个投影方向，使得投影后各类别之间的距离尽可能大，同时保证投影后的同类别样本尽可能接近。
这样可以使得同类别的样本点尽可能聚集在一起，不同类别的样本点尽可能分开。
在数学上，LDA通过解以下最优化问题来找到最佳投影方向：最大化wTSWwwTSBw其中w是我们要找的投影向量，SB是类别的散布矩阵，SW是所有样本的散布矩阵。
通过求解这个最优化问题，我们可以得到投影向量w，然后将样本投影到这个向量上，得到每个样本的投影值。
根据投影值的大小和顺序，可以对样本进行分类和排序。
LDA的原理简单易懂，且在实际应用中取得了很好的效果。
它广泛应用于模式识别、图像处理、机器学习等领域。
LDA（线性判别分析）的应用场景非常广泛，包括图像处理和计算机视觉、生物医学、金融和推荐系统等领域。
在图像处理和计算机视觉领域，LDA被用于人脸识别、手写数字识别等任务。
通过将人脸图像或手写数字投影到一个低维空间中，LDA可以提取出最具有区分性的特征，从而实现准确的人脸识别或数字识别。
在生物医学领域，LDA可以用于分析基因表达数据、蛋白质结构等。
通过LDA的降维和分类能力，可以帮助研究人员发现与疾病相关的基因或蛋白质，为疾病诊断和治疗提供有力支持。
在金融领域，LDA可以用于分析股票市场、信用评级等。
通过对金融数据进行降维和分类，LDA可以帮助投资者更好地理解市场趋势和风险。
此外，LDA还可以用于文本分类和聚类、语义分析、信息检索、情感分析、广告推荐等领域。
总之，LDA是一种非常有用的降维和分类方法，其应用场景涵盖了多个领域。
线性判别分析LDA
LDA
我们分类的目标是找到一个最优化的W，使得类别内的点距离 越近越好（集中），类别间的点越远越好。
分母表示每一个类别内的方差之和，方差越大表示一个类别内 的点越分散，分子为两个类别各自的中心点的距离的平方，我 们最大化J(w)就可以求出最优的w
LDA
定义：
（1）样本类内离散度矩阵Si和总类内离散度矩阵 S
70.4
8.25
69.1
9.03
71.9
8.48
70.5
9.42
73.5
8.85
72.2
经典Fisher线性判别分析方法
LDA
LDA
LDA
Sw奇异问题的解决方法： ● R-LDA ● PCA+LDA ● N-LDA ● D-LDA
R-LDA
由于Sw总是半正定的，为了使之正定，可以将另外一个正 定的对角矩阵与之相加，以两者之和代替Sw，即是：
线性判别分析（LDA）
基本思想
线性判别分析的基本思想是将高维的模式样本投影到最佳鉴 别矢量空间，即把高维空间中的数据点投影到一条直线上去，将 多维降为一维。并且要求投影后各样本的类间散布距离最大，同 时类内散布距离最小。
LDA 二分类问题公式推导
假设A和B为分类明确的两类症状。在总体A中观察了P例， 在总体B中观察了q例，每一例记录了n个指标，分别记为 x1,x2,…,xn。令y是n个指标的一个线性函数，即
D-LDA
D-LDA的基本思想从某种意义上来说和上述N-LDA思想相同，DLDA将SB的零空间null(SB )剔除，从剩余的非零空间range(SB )内寻找 使得此空间内数据集类内散布矩阵Sw′达到最小值得投影方向，选择此 投影方向为D-LDA所要寻求的最优投影方向。
判别分析--线性判别分析（LDA）
判别分析--线性判别分析（LDA）应⽤案例1 线性判别分析执⾏线性判别分析可使⽤lda()函数，且该函数有三种执⾏形式，依次尝试使⽤。
（1）公式formula格式我们使⽤nmkat变量作为待判别变量，其他剩余的变量作为特征变量，根据公式nmkat~使⽤训练集数据来运⾏lda()函数：library(MASS)library("MASS")fitlda1<-lda(nmkat~.,datatrain) #以公式格式执⾏判别分析names(fitlda1) #查看lda输出项名称结果分析：我们看到,可以根据lda()函数得到10项输出结果，分别为执⾏过程中所使⽤的先验概率prior、数据集中各类别的样本量counts、各变量在每⼀类别中的均值 means等。
fitlda1$prior #查看本次执⾏过程中所使⽤的先验概率fitlda1$counts #查看数据集datatrain中各类别的样本量结果分析：由于我们在之前的抽样过程中采⽤的是nmkat各等级的等概率分层抽样⽅式，因此如上各类别的先验概率和样本量在5个等级中都是相等的。
具体的，5类的先验概率都为0.2，之和为1，且训练集中每⼀类都抽出了144个样本。
fitlda1$means结果分析：在如上的均值输出结果中，我们可以看到⼀些很能反映现实情况的数据特征。
⽐如，对于占地⾯积wfl变量，它明显随着租⾦nmkat的升⾼⽽逐步提⾼，我们看到在租⾦为等级1(少于500马克）时，占地⾯积的均值仅为55.53平⽅⽶，⽽对于租⾦等级5(租⾦不低于1150 马克)，平均占地⾯积则达到了92.24平⽅⽶。
⾯积越⼤的房屋租⾦越贵，这是⼗分符合常识的。
执⾏fitlda1可直接将判别结果输出。
（2）数据框data.frame及矩阵matrix格式由于这两种函数格式的主体参数都为x与grouping，我们放在⼀起实现，程序代码如下：fitlda2<-lda(datatrain[,-12],datatrain[,12])#设置属性变量（除第12个变量nmkat外）与待判别变量（第12个变量nmkat）的取值fitlda22．判别规则可视化我们⾸先使⽤plot()直接以判别规则fit_ldal为对象输出图形，如下图所⽰：plot(fitlda1)结果分析：从图可以看到，在所有4个线性判别式(Linear Discriminants，即 LD)下1⾄5这5个类别的分布情况，不同类别样本已⽤相应数字标出。
线性判别分析（LinearDiscriminantAnalysis,LDA）
线性判别分析（LinearDiscriminantAnalysis,LDA）⼀、线性判别器的问题分析线性判别分析（Linear Discriminant Analysis, LDA）是⼀种经典的线性学习⽅法，在⼆分类问题上亦称为 "Fisher" 判别分析。
与感知机不同，线性判别分析的原理是降维，即：给定⼀组训练样本，设法将样本投影到某⼀条直线上，使相同分类的点尽可能地接近⽽不同分类的点尽可能地远，因此可以利⽤样本点在该投影直线上的投影位置来确定样本类型。
⼆、线性判别器的模型还是假定在p维空间有m组训练样本对，构成训练集T=(x1,y1),(x2,y2),...,(x n,y n)，其中x i∈R1×p，y i∈{−1,+1}，以⼆维空间为例，在线性可分的情况下，所有样本在空间可以描述为：我们的⽬的就是找到⼀个超平⾯Φ:b+w1x1+w2x2+..+w n x n=0，使得所有的样本点满⾜ “类内尽可能接近，类外尽可能遥远"。
那么我们⽤类内的投影⽅差来衡量类内的接近程度，⽤类间的投影均值来表⽰类间的距离。
这⾥，我们另w代表投影⽅向，如下图所⽰，在这⾥，x,w均为p×1 的列向量，那么根据投影定理，x在w上的投影p既有⽅向⼜有距离，那么：p与w同⽅向，表⽰为：w||w||；p的长度为：||x||cosθ=||x||x⋅w||w||||x||=x⋅w||w||由于w的长度不影响投影结果，因此我们为了简化计算，设置 ||w||=1，只保留待求w的⽅向：||p||=x⋅w=w T x 2.1 类间投影均值我们假设⽤u0，u1分别表⽰第1，2类的均值，那么：u0=1mm∑i=1x i,u1=1nn∑i=1x i所以，第⼀，⼆类均值在w⽅向上的投影长度分别表⽰为：w T u0，w T u1 2.2 类内投影⽅差根据⽅差的计算公式，第⼀类的类内投影⽅差可以表⽰为：z0=1nn∑i=1(w T x i−w T u0)2=1nn∑i=1(w T x i−w T u0)(w T x i−w T u0)T即：z0=1nn∑i=1w T(x i−u0)(x i−u0)T w=w T[1nn∑i=1(x i−u0)(x i−u0)T]w如下图所⽰：当x i,u0都是⼀维时，式⼦1n∑ni=1(x i−u0)(x i−u0)T就表⽰所有输⼊x i的⽅差；当x i,u0都是⼆维时，式⼦1n∑ni=1(x i−u0)(x i−u0)T就表⽰：1nn∑i=1x11−u01x12−u02x11−u01x12−u02=1nn∑i=1(x11−u01)2(x11−u01)(x12−u02)(x12−u02)(x11−u01)(x12−u02)2其中：u01表⽰第⼀类集合中在第⼀个维度上的均值，u01表⽰第⼀类集合中在第⼆个维度上的均值，x11表⽰第⼀类集合中第⼀个维度的坐标值，x12表⽰第⼀类集合中第⼆个维度的坐标值[][][]综上：当x i,u0都是p维时，式⼦1n∑ni=1(x i−u0)(x i−u0)T表⽰p个维度之间的协⽅差矩阵，我们⽤符号M0表⽰。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
多类的线性判别问题
最后还归结到了求矩阵的特征值上来了。首先求出 的特征值，然后 取前K个特征向量组成W矩阵即可。 注意：由于 中的 秩为1，因此 的秩至多为C（矩阵的秩小于 等于各个相加矩阵的秩的和）。由于知道了前C-1个 后，最后一个 可以 有前面的 来线性表示，因此 的秩至多为C-1。那么K最大为C-1，即特 征向量最多有C-1个。
借鉴 Ｆｉｓｈｅｒ准则思想
缺点：在识别率方面与PCA+LDA方法相比要低一些，算法稳定 性受参数 的影响较大。
参考文献
1. A., F.R., The use of multiple measurements in taxonomic problems. Annals of eugenics, 1936. 7(2): p. 179-188. 2. Belhumeur, P.N., J.P. Hespanha, and D.J. Kriegman, Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear ProjRN ANALYSIS AND MACHINE INTELLIGENCE, 1997. 19(7): p. 711-720. 3. Yu, H. and J. Yang, A direct LDA algorithm for high-dimensional data with application to face recognition. Pattern Recognition, 2000. 32(2001): p. 2067-2070. 4. Du, Q., Modified Fisher’s Linear Discriminant Analysis for Hyperspectral Imagery. GEOSCIENCE AND REMOTE SENSING LET TERS, 2007. 4: p. 503-507. 5. 刘忠宝 and 王士同, 一种改进的线性判别分析算法MLDA. 计算机科学, 2010. 37(11): p. 239-242. 6. Shu, X., Y. Gao, and H. Lu, Efficient linear discriminant analysis with locality preserving for face recognition. Pattern Recogn ition, 2012. 45(5): p. 1892-1898.
从直观上看，右图的分类效果比较好，同类之间样本聚集，不同类之间 相聚较远
两类的线性判别问题
定量分析： 投影以后样本变成： i=1,2….N
原样本每类样例的均值向量：
投影后每类样例的均值：
( i=1,2)
投影后的均值就是样本中心 点的投影
什么是最佳直线（W）？
1.能够是投影后的两类样本的中心点尽量的分离的直线是 好的直线，定量表示： 只考虑J(w)是不行的 J(w)越大越好，但是
Finsher 准则函数
目标是求得是上式最大的 投影方向w JF(w)是广义的Rayleigh熵
两类的线性判别问题
当Sw非奇异时，求解转化为Sw^-1Sb的特征值问题，使J(w)最大的变换 矩阵W由Sw^-1Sb的特征值所对应的特征向量组成
多类的线性判别问题
训练样本集：X={x1……..xN},每个样本是d维向量，分别属于c个类 别 从类内离散度和内间离散度来考虑： （假设样本是二维的，从几何意义上考虑）
K表示样本空间的维度，Wk(k=1……d)为样本空间各维的权重
MLDA
借鉴 Ｆｉｓｈｅｒ准则思想 借鉴 Fisher准则思想,就是要找使上两式之比最大的 w值，即：
MLDA
基本流程： • 首先将人脸数据库根据一定规则分 为训练样本和测试样本； • 然后用MLDA对训练样本进行投影后， 借鉴 Ｆｉｓｈｅｒ准则思想 得到最佳投影方向； • 接着将测试样本投影到该最佳投影 方向上，得到投影后的测试样本； • 最后将投影后的测试样本通过最近 邻分类器与训练样本进行特征识别， 得到识别结果.
MLDA 【 3 】
2010
为了解决经典LDA遇到的小样本问题，提出了LDA的改进算法MLDA。 该算法在原始的Fisher准则的基础上对类内离散度矩阵经行标量化 处理，避免对类内离散度矩阵求逆，保证Sw在任何情况下都存在。类间 离散度矩阵和类内离散度矩阵分别标量化处理，样本空间各维加权后的 下式： 各维在样本空间中的 重要程度
多类的线性判别问题
实例：
将3维空间上的球体样本点投 影到二维上，W1相比W2能 够获得更好的分离效果。
PCA选择样本点投影具有最大方差 的方向，LDA选择分类性能最好的 方向。
LDA 扩展
LDA存在限制： 1.存在秩限制，即对c类问题最多只能提取c-1个最优鉴别矢量。 2. 面对人脸识别等高维小样本问题时，类内离散度矩阵奇异， 无法通过最优化规则函数求得最优鉴别矢量集
MLDA
大样本情况下，验证MLDA的有效性
借鉴 Ｆｉｓｈｅｒ准则思想
MLDA
小样本情况下，验证MLDA的有效性
借鉴 Ｆｉｓｈｅｒ准则思想
MLDA
优点：MLDA彻底改变了以矢量为基本单位的处理方法，把标量 作为基本单位对问题求解，使最佳映射方向的确定不受类内离散度矩 阵奇异的制约，从而有效的解决了在高维多类模式下特征提取中的小 样本问题；降低了运算难度，提高了运算效率
两类的线性判别问题
两类的线性判别问题可以看作是把所有的样本都投 影到一个方向上，然后在这个一维空间中确定一个分类的 阈值。过这个阈值点且与投影方向垂直的超平面就是两类 的分类面。 如何确定投影方向？
两类的线性判别问题
训练样本集：X={x1……..xN},每个样本是d维向量，其中w1类的样 本是H1={x11……..xN1}， w2类的样本是H1={x12……..xN2}，寻找一 个投影方向w（d维向量），
两类的线性判别问题
如左图所示，样本点均匀分布在 椭圆里，投影到横轴x1上时能够 获得更大的中心点间距J(w)，但 是由于有重叠，x1不能分离样本 点。投影到纵轴x2上，虽然J(w) 较小，但是能够分离样本点。因 此我们还需要考虑样本点之间的 方差，方差越大，样本越分散， 样本点越难以分离
两类的线性判别问题
解决Sw的奇异问题，然后应用LDA将维数降到c-1维。
在原始维数 空间中求解 主要思想：直接优化Fisher准则，核心就是寻找一个矩阵来同时对角化 最优鉴别矢 Sw和Sb,丢弃Sb包含无用信息的零空间，保持含有重要分类信息的 量集计算量 Sw 的零空间。 太大，求解 困呐
借鉴 Ｆｉｓｈｅｒ准则思想
MFLDA
总离散度矩阵
借鉴 Ｆｉｓｈｅｒ准则思想
只知道类的特征{S1,S2…….Sp},可以把它当作类均值，即M=[u1,u1…up] [S1,S2…….Sp],Sb等价于： 所有的像素 点
MFLDA
忽略数据中存在的类别，用 代替 代表了一种极端情况：所有的 像素被分到他们所属的类中并且被选为样本； 用 代替SB代表另一种极端情况：每个类中只有一个样本 使用 的好处： 在一个图像场景中所有的类的真实数目Pt是远远大于p的,处理所有的这 借鉴 Ｆｉｓｈｅｒ准则思想 些类是困难的（尤其是背景类），一种理想情况是，图像中所有的像素点 都被分到这Pt个类中，这样 ,这就意味着在不知道这些类的信息的情 况下，所有的类都被很好的分开。
Thank
you ！
DLDA 【 5 】 2000
MFLDA 【 4 】 2007
在高光谱遥感图像中使用经典的LDA算法来进行降维主要存在以下问 题：没有足够的训练集，在一个图像场景上不能知道所有现有的类别（例 如背景类的个数和特征）。所以对LDA进行改进就提出了MFLDA，改进后 只需知道需要的类的信息即可，不需要知道所有的类的信息。 分类结果使用MFLDA-transformed 的数据来显示，所需的类的信息 被很好的保存并且在低维空间中很容易的被分离出来。 借鉴 Ｆｉｓｈｅｒ准则思想
散列值（scatter）,几何意义是样本点的密集程度，值越大，越分散，值越小，越集中。 投影前 类内离散度矩阵： 总类内离散度矩阵：Sw=S1+S2 类间离散度矩阵： 投影后： 类内离散度：
总类内离散度：
类间离散度：
两类的线性判别问题
我们希望寻找的投影方向使投影以后两类尽可能分开，而各类内 部又尽可能聚集，这一目标可以表示成
Linear Discriminant Analysis(LDA) 线性判别分析
目录
1 3
LDA 简介
2 4
经典 LDA
LDA 限制
LDA 扩展
LDA 简介
线性判别分析（linear discriminant analysis），也叫Fisher线性判别分析， 是特征提取中最为经典和广泛使用的方法之一。LDA是由R.A Fisher于1936年提出来的 方法【1】,主要是用来解决生物问题（ Taxonomic Problems ）的分类问题。它是在1996年 由Belhumeur【2】引入模式识别和人工智能领域的.
PCA+LDA 【 2 】
1996
PCA的步骤 可能会丢弃 在人脸识别等小样本问题，需要面对的一个难题就是类内散度矩阵Sw总是奇异 一些重要的 的，这是由于训练集N中的的图像数是远远小于每幅图像中的像素数的，为了解 信息 决这个问题，Belhumecour等人先做一次PCA算法的降维，消除样本的冗余度，
R.A Fisher
(1890-1962)
LDA 思想
线性判别分析（LDA）的基本思想是将高维的模式样本投影 到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数 的效果，投影后保证模式样本在新的子空间有最大的类间距离和 最小的类内距离，即模式在该空间中有最佳的可分离性。因此， 它是一种有效的特征抽取方法。