PCA算法实现汇报及其代码大全
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.压缩数据
2.达到数据可视化效果
PCA算法步骤
设有m条n维数据
开始
将原始 数据按 列组成 m行n 列矩阵 X
将X的 每一 列进 行零 均值
求出 协方 差公 式
求出协 方差矩 阵的特 征值和 特征向 量
将特征 向量按 照特征 值大小 从左到 右排列 成矩阵P
Y=XP即 为降为 的数据
结束
PCA算法手动推演
波动越大，越不稳定。
公式：
Var(x)=
n
1 -
1
n i 1
xi
x)2
协方差
定义：用来衡量两个随机变量的变化是否一致（是否存在相关性）
公式： Cov( x, y) 1
n 1
n
( xi x)( yi y)
i 1
说明：（1）当协方差的两个随机变量是同一个随机变量时，协方差就是方差 （2）当两个随机变量线性不相关时，协方差为零
信
图
息
像
提
重
取
构
特 征 匹 配
匹 配 分 析
有 效 识 别
算法原理
样本分类过程中，还要假设样本存在n个特征，通过对样本平均值、离散度矩阵Sw进行计算， 能够对投影方向进行选择，将样本投影至一维空间Y。对空间边界点进行查找，能够根据投影点 与分界点关联完成分类。如在各样本均值向量为mi时，样本类间的离散度矩阵满足：
PCA算法手动推演
PCA算法手动推演
PART 03
PCA程序实现
python程序实现
MATL AB程序实现
请各位老师同学批评指正！
THANK YOU FOR WATCHING
想要使投影后的一维空间保持较大距离，需要使样本均值差（m1-m2）较大，实现类间距离 最大化。与此同时，使类间距离实现最小化，能够使各样本保持紧密。对向量W *进行求取，需 要完成分类准则函数的构建，得到：
由于W *=Sw-1（m1-m2），对所有样本进行投影，能够得到：
算法实现
对投影空间分割阈值y0进行计算，能够得到一维空间内各样本均值和离散度矩阵。 针对给定原始变量X，通过在W*投影得到y，可以根据y与y0大小比值完成分类。对样 本数据协方差进行计算时，对得到的矩阵Σ=(Sij)p×p（i,j=1,2,...，p），还要完成特征值 λi和对应正交化单位特征向量ai进行分析。根据主成分贡献率，能够完成重要主成分筛 选。主成分Fi特征值平均更与原始变量Xj系数乘积为主成分荷载能够对其与原始指标 间的关联程度进行反映，得到
几何意义：矩阵与一个向量相乘，相当于这个向量进行了线性变换， 由特征值和特征向量可知，矩阵对向量的变换，只是进行了等比例放缩， 而方向没有改变，缩放的比例就是特征值。
PCA算法在人脸识别的应用
人脸识别作为热门研究技术，有关其生物特征识别算法陆续被提出。PCA作为经典算 法，在人脸识别领域运用可以取得显著效果。
实际采用PCA算法进行人脸识别，还要解决因光照等因素造成人脸识别率低的问题。 具体来讲，就是要在利用PCA算法进行生物特征提取时，利用直方图均衡化方法完成图 像预处理，使原始图形大部分信息得到保留基础上完成主要元素提取，最后使稳定性得 到增强。
识别流程
采用PCA算法实现主要信息提取，然后对原始高维向量进行重构，能够为人脸识别提 供支持。在特征匹配阶段，需要将提取的特征与数据库中的人脸特征样本进行比对，按照 分类规则实现匹配分析，最终使人脸得到有效识别。
01
02
03
04
基本思路
识别流程
算法原理
算法实现
基本思路
采用人脸识别技术，需要通过构建人脸分类器获得人脸识别模型，通过运用高效识 别算法保证人脸特征得到准确提取。在算法运用上，还要完成大量样本训练，以便得到 科学分类模型。现阶段，主要采用的人脸识别技术可以划分为三类。
第一类为实现弹性图匹配的技术。 第二类为利用几何特征实现人脸识别的技术。 第三类为基于子空间的识别技术。
PART 02
PCA算法简介 与手动推演
PCA算法介绍
PCA（主成分分析）是十大经典机器学习算法之一。PCA是Pearson在1901年提出的，后来由 Hotelling在1933年加以发展提出的一种多变量的统计方法。PCA通过线性变换将原始数据变换为 一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。
01协方差矩阵
1.主对角元素为方差
2.协方差矩阵为对称矩阵
3.在统计学与概率论中，协方差矩阵（也称离差矩阵、 方差-协方差矩阵）是一个矩阵，其 i, j 位置的元素是第 i 个与第 j 个随机变量之间的协方差。这是从标量随机变 量到高维度随机向量的自然推广。
特征值与特征向量
定义：A为n阶矩阵，若数λ和n维非0列向量x满足Ax=λx，那么数λ 称为A的特征值，x称为A的对应于特征值λ的特征向量。式Ax=λx也可 写成( A-λE)x=0，并且|λE-A|叫做A 的特征多项式。当特征多项式等于0 的时候，称为A的特征方程，特征方程是一个齐次线性方程组，求解特 征值的过程其实就是求解特征方程的解。 v
对不同主成分得分进行分析，能够完成样本特征评判，得到：
算法实现
在人脸识别技术实现过程中，采用PCA算法还要确定算法在人脸生物特征 提取方面的缺陷，通过科学进行图像预处理降低数据处理难度，确保原始图形 主要元素得到最大限度提取，为后续特征匹配和分析提供有力支撑。通过大量 样本训练建立人脸特征库，并采用欧式距离法实现图像判别，能够使人脸识别 算法得到有效实现，最终取得理想技术效果。
降维是一种数据集预处理技术，往往在数据应用在其他算法之前使用，它可以去除掉数据的 一些冗余信息和噪声，使数据变得更加简单高效，从而实现提升数据处理速度的目的，节省大量 的时间和成本。降维也成为了应用非常广泛的数据预处理方法。简而言之，PCA就是压缩数据， 降低维度，把重要的特征留下来。
PCA算法的主要意义
PCA算法实现答辩汇报
目
录
CONTENTS
01 PCA所需数学基础及应用 02 PCA算法简介与手动推演 03 PC础
01所需数学基础概要
方差
定义：表示随机变量中每个元素与其均值偏离的大小，用来度量数
据的离散程度。在样本容量相同的情况下，方差越大，说明数据的
2.达到数据可视化效果
PCA算法步骤
设有m条n维数据
开始
将原始 数据按 列组成 m行n 列矩阵 X
将X的 每一 列进 行零 均值
求出 协方 差公 式
求出协 方差矩 阵的特 征值和 特征向 量
将特征 向量按 照特征 值大小 从左到 右排列 成矩阵P
Y=XP即 为降为 的数据
结束
PCA算法手动推演
波动越大，越不稳定。
公式：
Var(x)=
n
1 -
1
n i 1
xi
x)2
协方差
定义：用来衡量两个随机变量的变化是否一致（是否存在相关性）
公式： Cov( x, y) 1
n 1
n
( xi x)( yi y)
i 1
说明：（1）当协方差的两个随机变量是同一个随机变量时，协方差就是方差 （2）当两个随机变量线性不相关时，协方差为零
信
图
息
像
提
重
取
构
特 征 匹 配
匹 配 分 析
有 效 识 别
算法原理
样本分类过程中，还要假设样本存在n个特征，通过对样本平均值、离散度矩阵Sw进行计算， 能够对投影方向进行选择，将样本投影至一维空间Y。对空间边界点进行查找，能够根据投影点 与分界点关联完成分类。如在各样本均值向量为mi时，样本类间的离散度矩阵满足：
PCA算法手动推演
PCA算法手动推演
PART 03
PCA程序实现
python程序实现
MATL AB程序实现
请各位老师同学批评指正！
THANK YOU FOR WATCHING
想要使投影后的一维空间保持较大距离，需要使样本均值差（m1-m2）较大，实现类间距离 最大化。与此同时，使类间距离实现最小化，能够使各样本保持紧密。对向量W *进行求取，需 要完成分类准则函数的构建，得到：
由于W *=Sw-1（m1-m2），对所有样本进行投影，能够得到：
算法实现
对投影空间分割阈值y0进行计算，能够得到一维空间内各样本均值和离散度矩阵。 针对给定原始变量X，通过在W*投影得到y，可以根据y与y0大小比值完成分类。对样 本数据协方差进行计算时，对得到的矩阵Σ=(Sij)p×p（i,j=1,2,...，p），还要完成特征值 λi和对应正交化单位特征向量ai进行分析。根据主成分贡献率，能够完成重要主成分筛 选。主成分Fi特征值平均更与原始变量Xj系数乘积为主成分荷载能够对其与原始指标 间的关联程度进行反映，得到
几何意义：矩阵与一个向量相乘，相当于这个向量进行了线性变换， 由特征值和特征向量可知，矩阵对向量的变换，只是进行了等比例放缩， 而方向没有改变，缩放的比例就是特征值。
PCA算法在人脸识别的应用
人脸识别作为热门研究技术，有关其生物特征识别算法陆续被提出。PCA作为经典算 法，在人脸识别领域运用可以取得显著效果。
实际采用PCA算法进行人脸识别，还要解决因光照等因素造成人脸识别率低的问题。 具体来讲，就是要在利用PCA算法进行生物特征提取时，利用直方图均衡化方法完成图 像预处理，使原始图形大部分信息得到保留基础上完成主要元素提取，最后使稳定性得 到增强。
识别流程
采用PCA算法实现主要信息提取，然后对原始高维向量进行重构，能够为人脸识别提 供支持。在特征匹配阶段，需要将提取的特征与数据库中的人脸特征样本进行比对，按照 分类规则实现匹配分析，最终使人脸得到有效识别。
01
02
03
04
基本思路
识别流程
算法原理
算法实现
基本思路
采用人脸识别技术，需要通过构建人脸分类器获得人脸识别模型，通过运用高效识 别算法保证人脸特征得到准确提取。在算法运用上，还要完成大量样本训练，以便得到 科学分类模型。现阶段，主要采用的人脸识别技术可以划分为三类。
第一类为实现弹性图匹配的技术。 第二类为利用几何特征实现人脸识别的技术。 第三类为基于子空间的识别技术。
PART 02
PCA算法简介 与手动推演
PCA算法介绍
PCA（主成分分析）是十大经典机器学习算法之一。PCA是Pearson在1901年提出的，后来由 Hotelling在1933年加以发展提出的一种多变量的统计方法。PCA通过线性变换将原始数据变换为 一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。
01协方差矩阵
1.主对角元素为方差
2.协方差矩阵为对称矩阵
3.在统计学与概率论中，协方差矩阵（也称离差矩阵、 方差-协方差矩阵）是一个矩阵，其 i, j 位置的元素是第 i 个与第 j 个随机变量之间的协方差。这是从标量随机变 量到高维度随机向量的自然推广。
特征值与特征向量
定义：A为n阶矩阵，若数λ和n维非0列向量x满足Ax=λx，那么数λ 称为A的特征值，x称为A的对应于特征值λ的特征向量。式Ax=λx也可 写成( A-λE)x=0，并且|λE-A|叫做A 的特征多项式。当特征多项式等于0 的时候，称为A的特征方程，特征方程是一个齐次线性方程组，求解特 征值的过程其实就是求解特征方程的解。 v
对不同主成分得分进行分析，能够完成样本特征评判，得到：
算法实现
在人脸识别技术实现过程中，采用PCA算法还要确定算法在人脸生物特征 提取方面的缺陷，通过科学进行图像预处理降低数据处理难度，确保原始图形 主要元素得到最大限度提取，为后续特征匹配和分析提供有力支撑。通过大量 样本训练建立人脸特征库，并采用欧式距离法实现图像判别，能够使人脸识别 算法得到有效实现，最终取得理想技术效果。
降维是一种数据集预处理技术，往往在数据应用在其他算法之前使用，它可以去除掉数据的 一些冗余信息和噪声，使数据变得更加简单高效，从而实现提升数据处理速度的目的，节省大量 的时间和成本。降维也成为了应用非常广泛的数据预处理方法。简而言之，PCA就是压缩数据， 降低维度，把重要的特征留下来。
PCA算法的主要意义
PCA算法实现答辩汇报
目
录
CONTENTS
01 PCA所需数学基础及应用 02 PCA算法简介与手动推演 03 PC础
01所需数学基础概要
方差
定义：表示随机变量中每个元素与其均值偏离的大小，用来度量数
据的离散程度。在样本容量相同的情况下，方差越大，说明数据的