机器学习课件-机器学习基本方法 PCA和SVD
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
称为右奇异值向量。
右奇异向量
左奇异向量
奇异值分解
议程
➢
在奇异值分解矩阵中Σ里面的奇异值按从大到小的顺序排列。在很多情况下，前10%甚至1%的奇异值的
和就占了全部的奇异值之和的99%以上。可以用前面r个大的奇异值来近似描述矩阵
源自文库 奇异值分解算例
议程
将特征向量按对应特征值从大到小按行排列成矩阵，取前k（k < n）行组成基向量P
通过 = 计算降维到k维后的样本特征
1
求出协方差矩阵
主成分分析
议程
•
基于sklearn（Python语言下的机器学习库）和numpy随机生成2个类别共40
个3维空间的样本点，生成的代码如下：
mu_vec1 = np.array([0,0,0])
议程
•
计算40个点在3个维度上的平均向量
主成分分析
议程
•
二维空间分布
奇异值分解SVD
议程
矩阵分解作用：
•
•
•
•
矩阵填充，例如协同过滤的ALS算法就是填充原有矩阵
清理异常值与离群点
降维、压缩
个性化推荐
常见的矩阵分析方法：
• PCA(Principal Component Analysis)分解，作用：降维、压缩。
• SVD(Singular Value Decomposition)分解，也叫奇异值分解。
• LSI(Latent Semantic Indexing)或者叫LSA(Latent Semantic Analysis)，隐语义分析分解。
• PLSA(Probabilistic Latent Semantic Analysis)，概率潜在语义分析。PLSA和LDA都是主题
模型，PLSA是判别式模型。
奇异值分解
议程
➢ 对于任意矩阵A总是存在一个奇异值分解：
➢ 假设A是一个m*n的矩阵，那么得到的U是一个m*m的方阵，U里面的正交向量被
称为左奇异向量。Σ是一个m*n的矩阵，Σ除了对角线其它元素都为0，对角线上
的元素称为奇异值。 是v的转置矩阵，是一个n*n的矩阵，它里面的正交向量被
cov_mat1 = np.array([[1,0,0],[0,1,0],[0,0,1]])
class1_sample = np.random.multivariate_normal(mu_vec1, cov_mat1, 20).T
mu_vec2 = np.array([1,1,1])
cov_mat2 = np.array([[1,0,0],[0,1,0],[0,0,1]])
PCA和SVD
主成分分析
议程
•
主成分分析是最常用的线性降维方法，它的目标是通过某种线性投影，将
高维的数据映射到低维的空间中，并期望在所投影的维度上数据的方差最
大，以此使用较少的维度，同时保留较多原数据的维度
•
尽可能如果把所有的点都映射到一起，那么几乎所有的区分信息都丢失了
，而如果映射后方差尽可能的大，那么数据点则会分散开来，特征更加明
对称矩阵，主对角线是各个随机变量（各个维度）的方差
•
主成分分析
议程
•
设有m条n维数据，PCA的一般步骤如下
–
–
–
将原始数据按列组成n行m列矩阵X
计算矩阵X中每个特征属性（n维）的平均向量M（平均值）
将X的每行（代表一个属性字段）进行零均值化，即减去M
–
按照公式 =
–
–
–
求出协方差矩阵的特征值及对应的特征向量
显。PCA是丢失原始数据信息最少的一种线性降维方法，最接近原始数据
PCA算法目标是求出样本数据的协方差矩阵的特征值和特征向量，而协方差
矩阵的特征向量的方向就是PCA需要投影的方向。使样本数据向低维投影后
，能尽可能表征原始的数据。协方差矩阵可以用散布矩阵代替，协方差矩
阵乘以（n-1）就是散布矩阵，n为样本的数量。协方差矩阵和散布矩阵都是
class2_sample = np.random.multivariate_normal(mu_vec2, cov_mat2, 20).T
主成分分析
议程
•
生成的两个类别class1_sample和class2_sample的样本数据维度为3维，即样
本数据的特征数量为3个，将其置于3维空间中展示
主成分分析
右奇异向量
左奇异向量
奇异值分解
议程
➢
在奇异值分解矩阵中Σ里面的奇异值按从大到小的顺序排列。在很多情况下，前10%甚至1%的奇异值的
和就占了全部的奇异值之和的99%以上。可以用前面r个大的奇异值来近似描述矩阵
源自文库 奇异值分解算例
议程
将特征向量按对应特征值从大到小按行排列成矩阵，取前k（k < n）行组成基向量P
通过 = 计算降维到k维后的样本特征
1
求出协方差矩阵
主成分分析
议程
•
基于sklearn（Python语言下的机器学习库）和numpy随机生成2个类别共40
个3维空间的样本点，生成的代码如下：
mu_vec1 = np.array([0,0,0])
议程
•
计算40个点在3个维度上的平均向量
主成分分析
议程
•
二维空间分布
奇异值分解SVD
议程
矩阵分解作用：
•
•
•
•
矩阵填充，例如协同过滤的ALS算法就是填充原有矩阵
清理异常值与离群点
降维、压缩
个性化推荐
常见的矩阵分析方法：
• PCA(Principal Component Analysis)分解，作用：降维、压缩。
• SVD(Singular Value Decomposition)分解，也叫奇异值分解。
• LSI(Latent Semantic Indexing)或者叫LSA(Latent Semantic Analysis)，隐语义分析分解。
• PLSA(Probabilistic Latent Semantic Analysis)，概率潜在语义分析。PLSA和LDA都是主题
模型，PLSA是判别式模型。
奇异值分解
议程
➢ 对于任意矩阵A总是存在一个奇异值分解：
➢ 假设A是一个m*n的矩阵，那么得到的U是一个m*m的方阵，U里面的正交向量被
称为左奇异向量。Σ是一个m*n的矩阵，Σ除了对角线其它元素都为0，对角线上
的元素称为奇异值。 是v的转置矩阵，是一个n*n的矩阵，它里面的正交向量被
cov_mat1 = np.array([[1,0,0],[0,1,0],[0,0,1]])
class1_sample = np.random.multivariate_normal(mu_vec1, cov_mat1, 20).T
mu_vec2 = np.array([1,1,1])
cov_mat2 = np.array([[1,0,0],[0,1,0],[0,0,1]])
PCA和SVD
主成分分析
议程
•
主成分分析是最常用的线性降维方法，它的目标是通过某种线性投影，将
高维的数据映射到低维的空间中，并期望在所投影的维度上数据的方差最
大，以此使用较少的维度，同时保留较多原数据的维度
•
尽可能如果把所有的点都映射到一起，那么几乎所有的区分信息都丢失了
，而如果映射后方差尽可能的大，那么数据点则会分散开来，特征更加明
对称矩阵，主对角线是各个随机变量（各个维度）的方差
•
主成分分析
议程
•
设有m条n维数据，PCA的一般步骤如下
–
–
–
将原始数据按列组成n行m列矩阵X
计算矩阵X中每个特征属性（n维）的平均向量M（平均值）
将X的每行（代表一个属性字段）进行零均值化，即减去M
–
按照公式 =
–
–
–
求出协方差矩阵的特征值及对应的特征向量
显。PCA是丢失原始数据信息最少的一种线性降维方法，最接近原始数据
PCA算法目标是求出样本数据的协方差矩阵的特征值和特征向量，而协方差
矩阵的特征向量的方向就是PCA需要投影的方向。使样本数据向低维投影后
，能尽可能表征原始的数据。协方差矩阵可以用散布矩阵代替，协方差矩
阵乘以（n-1）就是散布矩阵，n为样本的数量。协方差矩阵和散布矩阵都是
class2_sample = np.random.multivariate_normal(mu_vec2, cov_mat2, 20).T
主成分分析
议程
•
生成的两个类别class1_sample和class2_sample的样本数据维度为3维，即样
本数据的特征数量为3个，将其置于3维空间中展示
主成分分析