偏最小二乘回归方法(PLS)
两种偏最小二乘特征提取方法的比较
两种偏最小二乘特征提取方法的比较偏最小二乘（Partial Least Squares, PLS）是一种常用的多元统计分析方法，在特征提取方面有两种常见的应用方法，分别是偏最小二乘回归（PLS Regression）和偏最小二乘判别分析（PLS-DA）。
本文将从这两种方法的原理、应用领域以及优缺点等方面进行比较，以便读者更好地理解它们的特点和适用场景。
一、偏最小二乘回归（PLS Regression）1.原理偏最小二乘回归是一种利用预测变量与被预测变量之间的关系来建立模型的方法。
它通过线性变换将原始变量转化为一组新的变量，即潜在变量，使得预测变量与被预测变量之间的相关性最大化。
PLS Regression既可以用于降维，提取主要特征，又可以用于建立预测模型。
2.应用领域PLS Regression广泛应用于化学、生物、食品等领域。
在化学领域，可以利用PLS Regression来建立光谱与化学成分之间的定量关系模型；在生物领域，可以利用PLS Regression来处理生物数据，如基因表达数据、蛋白质数据等。
3.优缺点优点：PLS Regression可以处理多重共线性和小样本问题，能够提取变量间的共同信息，对噪声和异常值具有较强的鲁棒性。
缺点：PLS Regression对参数的解释性较差，提取的潜在变量不易解释其物理或化学意义。
二、偏最小二乘判别分析（PLS-DA）偏最小二乘判别分析是一种将多变量数据进行降维和分类的方法。
它和偏最小二乘回归类似，也是通过线性变换将原始变量转化为一组潜在变量，但它的目的不是建立预测模型，而是根据已有类别信息对样本进行分类。
PLS-DA广泛应用于生物、医学、食品等领域。
在生物领域，可以利用PLS-DA对基因表达数据进行分类，发现与疾病相关的基因表达模式；在医学领域，可以利用PLS-DA对影像数据进行分析，帮助医生做出诊断和治疗决策。
缺点：PLS-DA的分类结果不易解释其物理或化学意义，对于大样本问题的分类效果可能不如其他分类方法。
偏最小二乘回归方法(PLS)
偏最小二乘回归方法1 偏最小二乘回归方法(PLS)背景介绍在经济管理、教育学、农业、社会科学、工程技术、医学和生物学中，多元线性回归分析是一种普遍应用的统计分析与预测技术。
多元线性回归中，一般采用最小二乘方法(Ordinary Least Squares :OLS)估计回归系数，以使残差平方和达到最小，但当自变量之间存在多重相关性时，最小二乘估计方法往往失效。
而这种变量之间多重相关性问题在多元线性回归分析中危害非常严重，但又普遍存在。
为消除这种影响，常采用主成分分析(principal Components Analysis :PCA)的方法，但采用主成分分析提取的主成分，虽然能较好地概括自变量系统中的信息，却带进了许多无用的噪声，从而对因变量缺乏解释能力。
最小偏二乘回归方法(Partial Least Squares Regression：PLS)就是应这种实际需要而产生和发展的一种有广泛适用性的多元统计分析方法。
它于1983年由S.Wold和C.Albano等人首次提出并成功地应用在化学领域。
近十年来，偏最小二乘回归方法在理论、方法和应用方面都得到了迅速的发展，己经广泛地应用在许多领域，如生物信息学、机器学习和文本分类等领域。
偏最小二乘回归方法主要的研究焦点是多因变量对多自变量的回归建模，它与普通多元回归方法在思路上的主要区别是它在回归建模过程中采用了信息综合与筛选技术。
它不再是直接考虑因变量集合与自变量集合的回归建模，而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量(又称成分)，然后对它们进行回归建模。
偏最小二乘回归可以将建模类型的预测分析方法与非模型式的数据内涵分析方法有机地结合起来，可以同时实现回归建模、数据结构简化(主成分分析)以及两组变量间的相关性分析(典型性关分析)，即集多元线性回归分析、典型相关分析和主成分分析的基本功能为一体。
下面将简单地叙述偏最小二乘回归的基本原理。
偏最小二乘法
偏最小二乘法 ( PLS)是光谱多元定量校正最常用的一种方法 , 已被广泛应用 于近红外 、 红外 、拉曼 、核磁和质谱等波谱定量模型的建立 , 几乎成为光谱分析中建立线性定量校正模型的通用方法 〔1, 2〕 。
近年来 , 随着 PLS 方法在光谱分析尤其是分子光谱如近红外 、 红外和拉曼中应用 的深入开展 , PLS 方法还被用来解决模式识别 、定量校正模型适用性判断以及异常样本检测等定性分析问题 。
由于 PLS 方法同时从光谱阵和浓度阵中提取载荷和得分 , 克服主成分分析 ( PCA)方法没有利用浓度阵的缺点 , 可有效降维 , 并消除光谱间可能存在的复共线关系 , 因此取得令人非常满意的定性分析结果 〔3 ～ 5〕 。
本文主要介绍PLS 方法在光谱定性分析方面的原理及应用 实例 。
偏最小二乘方法(PLS-Partial Least Squares))是近年来发展起来的一种新的多元统计分析法, 现已成功地应用于分析化学, 如紫外光谱、气相色谱和电分析化学等等。
该种方法，在化合物结构-活性/性质相关性研究中是一种非常有用的手段。
如美国Tripos 公司用于化合物三维构效关系研究的CoMFA (Comparative Molecular Field Analysis)方法, 其中，数据统计处理部分主要是PLS 。
在PLS 方法中用的是替潜变量，其数学基础是主成分分析。
替潜变量的个数一般少于原自变量的个数，所以PLS 特别适用于自变量的个数多于试样个数的情况。
在此种情况下，亦可运用主成分回归方法，但不能够运用一般的多元回归分析，因为一般多元回归分析要求试样的个数必须多于自变量的个数。
§§ 6.3.1 基本原理6.3 偏最小二乘（PLS ）为了叙述上的方便，我们首先引进“因子”的概念。
一个因子为原来变量的线性组合，所以矩阵的某一主成分即为一因子，而某矩阵的诸主成分是彼此相互正交的，但因子不一定，因为一因子可由某一成分经坐标旋转而得。
第章偏最小二乘回归分析
第章偏最小二乘回归分析偏最小二乘回归(PLS Regression)是一种多元统计回归分析方法，用于处理多个自变量与一个或多个因变量之间的关系。
与传统的最小二乘回归相比，PLS回归可以在数据存在多重共线性或高维情况下获得更为稳定和准确的结果。
本章将详细介绍PLS回归的原理、应用以及其在实际问题中的使用。
1.PLS回归的原理PLS回归通过建立自变量和因变量之间的线性关系模型，将数据投影到一个新的空间中，以降低维度并消除多重共线性的影响。
PLS回归的主要思想是将原始数据进行分解，得到一系列相互相关的隐藏变量，然后使用这些隐藏变量来进行回归分析。
2.PLS回归的步骤PLS回归的步骤包括数据预处理、建立模型、模型评估和解释。
首先，需要对原始数据进行预处理，包括中心化和标准化，以保证数据的平均值为零且方差为一、然后，通过逐步回归的方法构建模型，选择与响应变量高度相关的隐藏变量。
模型的选择可以通过交叉验证的方法进行。
最后，通过解释模型的系数和残差来评估模型的质量和可解释性。
3.PLS回归的应用PLS回归在实际问题中有广泛的应用，特别是在化学、生物、医学和食品科学等领域。
例如，PLS回归可以用于药物分析，通过测量药物的光谱数据来预测其浓度。
另外，PLS回归还可以用于食品安全和质量检测，通过分析食品的化学成分和感官属性来预测食品的品质。
4.PLS回归的优势和局限性相比于传统的最小二乘回归，PLS回归具有以下优势：能够处理高维数据和多重共线性问题，对异常值和缺失数据有较强的鲁棒性，对小样本数据有较好的稳定性。
然而，PLS回归也存在一些局限性，例如对数据的敏感性较高，模型的解释性较差，难以挑选合适的隐藏变量数量。
5.PLS回归的使用在使用PLS回归时，需要注意选择合适的模型评估方法和隐藏变量数量。
常用的评估方法包括交叉验证和留一法。
此外，还需要注意数据预处理的方法，如中心化、标准化和异常值处理等。
对于隐藏变量数量的选择，可以通过观察坐标平方和贡献率图来确定。
pls最小二乘法
偏最小二乘法
偏最小二乘法（Partial Least Squares, PLS）是一种多元统计分析方法，通常用于处理具有多个自变量（特征）和一个或多个因变量（响应变量）的数据集。
PLS的主要目标是通过线性组合自变量来建立与因变量之间的关系，同时减少自变量之间的多重共线性。
PLS的核心思想是将自变量和因变量进行分解，然后找到它们之间的最大协方差方向。
这种方法可以降低数据维度，同时保留与因变量相关性最高的信息。
PLS可以应用于回归问题和分类问题。
PLS的应用领域包括化学分析、生物信息学、工程、金融和其他领域，特别是在处理高维数据和样本较少的情况下，PLS可以帮助提高模型性能和降低过拟合的风险。
PLS方法通常包括以下步骤：
1. 数据准备：收集自变量和因变量的数据。
2. 标准化：对数据进行标准化处理，以确保不同变量的尺度一致。
3. 模型拟合：建立PLS模型，找到自变量和因变量之间的最大协方差方向。
4. 模型评估：评估模型的性能，通常使用交叉验证等方法。
5. 预测：使用训练好的PLS模型进行新数据的预测。
PLS有不同的变种，包括PLS回归（用于连续因变量），PLS-DA（用于分类问题），以及其他扩展。
这种方法在实际数据分析和建模中具有广泛的应用，可以帮助解决多变量数据分析中的问题。
偏最小二乘回归分析
偏最小二乘回归分析偏最小二乘回归分析（PLS）是一种统计分析技术，用于建立一个或多个解释变量（X）与一或多个响应变量（Y）之间的关系，以帮助研究者分析一个系统的影响因素，并确定响应变量的变化。
偏最小二乘回归分析还可以用来准确预测给定的解释变量可能会产生的响应变量。
偏最小二乘回归分析是为了弥补线性回归分析（LRA）的不足而开发的一种技术。
LRA假定解释变量之间没有非线性关系，而PLS可以更好地模拟非线性关系。
它也可以用于处理多元线性回归的解释变量间的相关性，以及用于处理一组试验组和一组参照组时的相关性。
偏最小二乘回归分析的优势主要体现在其对异常值敏感性低，可以简化计算，处理较大数据量，以及对模型表现和预测准确性更好等方面。
PLS的基本思想是将解释变量和响应变量分解成“属性”和“指标”，并计算属性和指标之间的相关性。
属性是构成解释变量和响应变量的基本成分，而指标是利用属性对响应变量的解释能力的衡量指标。
PLS可以用来计算属性与特定指标的相关性，也可以用来识别有助于预测响应变量值的最相关属性。
建立一个偏最小二乘回归模型的过程很复杂，但是要建立一个模型，需要一些基本步骤。
首先，需要收集一组代表解释变量和响应变量的实际数据。
对于每一对变量，需要对它们的关系进行分析，以获得拟合系数，以及预测响应变量的准确性，并考虑可能的异常值。
接下来，需要调整解释变量的权重，以便尽可能准确地得出每一个变量的重要性。
最后，需要使用正确的统计技术来评估模型。
总而言之，偏最小二乘回归分析是一种统计分析技术，可以用来建立一个或多个解释变量（X）和一个或多个响应变量（Y）之间的关系，并确定响应变量的变化。
它可以在包含多个解释变量的试验中实现更准确的解释和预测，而且可以在任何数据集中成功运行，即使存在异常值也是如此。
因此，偏最小二乘回归分析可以提供更精确的结果，可以帮助研究者在其研究中发现有效的特定关系。
两种偏最小二乘特征提取方法的比较
两种偏最小二乘特征提取方法的比较偏最小二乘(PLS)是一种广泛应用于数据分析和特征提取的方法。
在实际应用中，我们常常会遇到需要对数据进行降维和提取有效特征的需求。
在PLS方法中，有两种常见的偏最小二乘特征提取方法，分别是PLS回归和PLS降维。
本文将对这两种方法进行比较，分析它们各自的特点和适用场景。
一、PLS回归PLS回归是一种基于偏最小二乘的预测建模方法，它通过最小化自变量和因变量之间的协方差来进行特征提取。
在PLS回归中，我们会将自变量和因变量分别投影到潜在变量空间中，然后通过构建潜在变量之间的线性关系来进行预测建模。
在特征提取方面，PLS 回归可以有效地捕捉自变量和因变量之间的相关信息，提取出对因变量影响较大的特征。
PLS回归的优点在于其能够处理多重共线性和高维数据，同时对噪声和异常值具有一定的鲁棒性。
在实际应用中，PLS回归常常用于预测建模和特征选择中。
PLS回归也存在一些缺点，例如在处理高度非线性的数据时效果欠佳，同时对于过拟合的数据也比较敏感。
二、PLS降维与PLS回归不同，PLS降维是一种直接针对自变量数据进行特征提取的方法。
在PLS 降维中，我们通过最小化自变量的协方差矩阵来选取最具代表性的特征，从而实现数据的降维和特征提取。
在特征提取方面，PLS降维可以有效地保留原始数据中的信息，并且能够捕捉数据中的主要结构和模式。
PLS回归和PLS降维是两种常用的偏最小二乘特征提取方法，在实际应用中各有其优点和局限。
在选择哪种方法时，我们需要根据具体的应用场景和需求来进行综合考虑。
一般来说，当我们需要进行预测建模和特征选择时，可以选择PLS回归方法；而当我们需要对数据进行降维和压缩时，则可以选择PLS降维方法。
我们也可以根据数据的特点和要求来选择合适的偏最小二乘特征提取方法，从而实现更加高效和准确的数据分析和建模。
【根据需求选择合适的偏最小二乘特征提取方法，可以帮助我们更好地处理数据并挖掘出其中的有效信息，从而实现更加准确和可靠的数据分析和预测。
偏最小二乘回归方法(PLS)
偏最小二乘回归方法1 偏最小二乘回归方法(PLS)背景介绍在经济管理、教育学、农业、社会科学、工程技术、医学和生物学中，多元线性回归分析是一种普遍应用的统计分析与预测技术。
多元线性回归中，一般采用最小二乘方法(Ordinary Least Squares :OLS)估计回归系数，以使残差平方和达到最小，但当自变量之间存在多重相关性时，最小二乘估计方法往往失效。
而这种变量之间多重相关性问题在多元线性回归分析中危害非常严重，但又普遍存在。
为消除这种影响，常采用主成分分析(principal Components Analysis :PCA)的方法，但采用主成分分析提取的主成分，虽然能较好地概括自变量系统中的信息，却带进了许多无用的噪声，从而对因变量缺乏解释能力。
最小偏二乘回归方法(Partial Least Squares Regression：PLS)就是应这种实际需要而产生和发展的一种有广泛适用性的多元统计分析方法。
它于1983年由S.Wold和C.Albano等人首次提出并成功地应用在化学领域。
近十年来，偏最小二乘回归方法在理论、方法和应用方面都得到了迅速的发展，己经广泛地应用在许多领域，如生物信息学、机器学习和文本分类等领域。
偏最小二乘回归方法主要的研究焦点是多因变量对多自变量的回归建模，它与普通多元回归方法在思路上的主要区别是它在回归建模过程中采用了信息综合与筛选技术。
它不再是直接考虑因变量集合与自变量集合的回归建模，而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量(又称成分)，然后对它们进行回归建模。
偏最小二乘回归可以将建模类型的预测分析方法与非模型式的数据内涵分析方法有机地结合起来，可以同时实现回归建模、数据结构简化(主成分分析)以及两组变量间的相关性分析(典型性关分析)，即集多元线性回归分析、典型相关分析和主成分分析的基本功能为一体。
下面将简单地叙述偏最小二乘回归的基本原理。
偏最小二乘法(PLS)简介
偏最小二乘法（PLS）简介偏最小二乘法（PLS）简介简介偏最小二乘法是一种新型的多元统计数据分析方法，它于1983年由伍德(S.Wold)和阿巴诺(C.Albano)等人首次提出。
近几十年来，它在理论、方法和应用方面都得到了迅速的发展。
偏最小二乘法长期以来，模型式的方法和认识性的方法之间的界限分得十分清楚。
而偏最小二乘法则把它们有机的结合起来了，在一个算法下，可以同时实现回归建模(多元线性回归)、数据结构简化(主成分分析)以及两组变量之间的相关性分析(典型相关分析)。
这是多元统计数据分析中的一个飞跃。
偏最小二乘法在统计应用中的重要性体现在以下几个方面：偏最小二乘法是一种多因变量对多自变量的回归建模方法。
偏最小二乘法可以较好的解决许多以往用普通多元回归无法解决的问题。
偏最小二乘法之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。
主成分回归的主要目的是要提取隐藏在矩阵X中的相关信息，然后用于预测变量Y的值。
这种做法可以保证让我们只使用那些独立变量，噪音将被消除，从而达到改善预测模型质量的目的。
但是，主成分回归仍然有一定的缺陷，当一些有用变量的相关性很小时，我们在选取主成分时就很容易把它们漏掉，使得最终的预测模型可靠性下降，如果我们对每一个成分进行挑选，那样又太困难了。
偏最小二乘回归可以解决这个问题。
它采用对变量X和Y都进行分解的方法，从变量X和Y中同时提取成分(通常称为因子)，再将因子按照它们之间的相关性从大到小排列。
现在，我们要建立一个模型，我们只要决定选择几个因子参与建模就可以了基本概念偏最小二乘回归是对多元线性回归模型的一种扩展，在其最简单的形式中，只用一个线性模型来描述独立变量Y与预测变量组X之间的关系:Y = b0 + b1X1 + b2X2 + ... + bpXp在方程中，b0是截距，bi的值是数据点1到p的回归系数。
例如，我们可以认为人的体重是他的身高、性别的函数，并且从各自的样本点中估计出回归系数，之后，我们从测得的身高及性别中可以预测出某人的大致体重。
偏最小二乘法
偏最小二乘法 ( PLS)是光谱多元定量校正最常用的一种方法 , 已被广泛应用于近红外、红外、拉曼、核磁和质谱等波谱定量模型的建立 , 几乎成为光谱分析中建立线性定量校正模型的通用方法。
近年来 , 随着 PLS方法在光谱分析尤其是分子光谱如近红外、红外和拉曼中应用的深入开展 , PLS 方法还被用来解决模式识别、定量校正模型适用性判断以及异常样本检测等定性分析问题。
由于 PLS方法同时从光谱阵和浓度阵中提取载荷和得分 , 克服主成分分析 ( PCA)方法没有利用浓度阵的缺点 , 可有效降维 , 并消除光谱间可能存在的复共线关系 , 因此取得令人非常满意的定性分析结果。
本文主要介绍PLS方法在光谱定性分析方面的原理及应用实例。
偏最小二乘方法(PLS-Partial Least Squares))是近年来发展起来的一种新的多元统计分析法, 现已成功地应用于分析化学, 如紫外光谱、气相色谱和电分析化学等等。
该种方法，在化合物结构-活性/性质相关性研究中是一种非常有用的手段。
如美国Tripos公司用于化合物三维构效关系研究的CoMFA (Comparative Molecular Field Analysis)方法, 其中，数据统计处理部分主要是PLS。
在PLS方法中用的是替潜变量，其数学基础是主成分分析。
替潜变量的个数一般少于原自变量的个数，所以PLS特别适用于自变量的个数多于试样个数的情况。
在此种情况下，亦可运用主成分回归方法，但不能够运用一般的多元回归分析，因为一般多元回归分析要求试样的个数必须多于自变量的个数。
§§基本原理偏最小二乘（PLS）为了叙述上的方便，我们首先引进“因子”的概念。
一个因子为原来变量的线性组合，所以矩阵的某一主成分即为一因子，而某矩阵的诸主成分是彼此相互正交的，但因子不一定，因为一因子可由某一成分经坐标旋转而得。
在主成分回归中，第一步，在矩阵X的本征矢量或因子数测试中，所处理的仅为X矩阵，而对于矩阵Y 中信息并未考虑。
偏最小二乘法PLS和PLS回归的介绍及其实现方法
偏最小二乘法PLS和PLS回归的介绍及其实现方法偏最小二乘法（Partial Least Squares，简称PLS）是一种多元统计学方法，常用于建立回归模型和处理多重共线性问题。
它是对线性回归和主成分分析（PCA）的扩展，可以在高维数据集中处理变量之间的关联性，提取重要特征并建立回归模型。
PLS回归可以分为两个主要步骤：PLS分解和回归。
1.PLS分解：PLS分解是将原始的预测变量X和响应变量Y分解为一系列的主成分。
在每个主成分中，PLS根据两者之间的协方差最大化方向来寻找最佳线性组合。
PLS根据以下步骤来获得主成分：1)建立初始权重向量w，通常是随机初始化的；2) 计算X和Y之间的协方差cov(X,Y)；3)将w与X与Y的乘积进行中心化，得到新的X'和Y'；4)标准化X'和Y'，使得它们的标准差为1；5)多次迭代上述步骤，直到达到设定的主成分数目。
2.回归：在PLS分解之后，我们得到了一组主成分，接下来可以使用这些主成分来建立回归模型。
回归模型可以通过以下步骤来构建：1)将X和Y分别表示为主成分的线性组合；2)根据主成分得分对回归系数进行估计；3)使用估计的回归系数将新的X预测为Y。
PLS的实现可以通过以下几种方法：1.标准PLS（NIPALS算法）：它是最常见的PLS算法。
它通过递归地估计每个主成分和权重向量来实现PLS分解。
该算法根据数据的方差最大化原则得到主成分。
2.中心化PLS：数据在进行PLS分解之前进行中心化。
中心化可以确保主成分能够捕捉到变量之间的相关性。
3. PLS-DA：PLS-Discriminant Analysis，是PLS在分类问题中的应用。
它通过利用PLS分解找到最佳线性组合，以区分两个或多个不同的分类。
4. PLS-SVC：PLS-Support Vector Classification，是PLS在支持向量机分类中的应用。
它通过PLS寻找最优线性组合，同时最小化分类误差。
偏最小二乘回归
偏最小二乘回归偏最小二乘回归（Partial Least Squares Regression，简称PLSR）是一种主成分回归方法，旨在解决多元线性回归中自变量数目较多，且存在共线性或多重共线性的问题。
本文将介绍偏最小二乘回归的原理、应用案例以及优缺点。
1. 偏最小二乘回归原理偏最小二乘回归是基于多元线性回归的一种方法，通过压缩自变量的空间，将高维的自变量转化为低维的潜在变量，从而避免了多重共线性的问题。
在偏最小二乘回归中，我们定义两个主成分，其中第一个主成分能最大化自变量与因变量之间的协方差，而第二个主成分垂直于第一个主成分，以此类推。
2. 偏最小二乘回归应用案例偏最小二乘回归在众多领域都有广泛的应用。
以下是一些常见的应用案例：2.1 化学分析在化学领域中，我们常常需要使用红外光谱仪等仪器进行样本的分析。
然而，由于样本中存在大量的杂质，导致光谱数据存在共线性等问题。
通过偏最小二乘回归可以降低样本数据的维度，提取出有用的信息，从而准确地进行化学成分的分析。
2.2 生物医学在生物医学领域中，研究人员常常需要通过大量的生理指标预测某种疾病的发生风险。
然而，由于生理指标之间存在相互关联，使用传统的线性回归模型时，很容易出现共线性的问题。
通过偏最小二乘回归，可以降低指标的维度，减少共线性对预测结果的影响，提高疾病预测的准确性。
2.3 金融领域在金融领域中，偏最小二乘回归也有广泛的应用。
例如，在股票市场的分析中，研究人员常常需要通过一系列宏观经济指标预测股票的涨跌趋势。
然而，这些指标之间往往存在较强的相关性，导致传统的回归模型难以提取出有效的信息。
通过偏最小二乘回归，可以从多个指标中提取出潜在的主成分，预测股票的涨跌趋势。
3. 偏最小二乘回归的优缺点3.1 优点（1）解决了多重共线性问题：偏最小二乘回归通过降低自变量的维度，有效地解决了多重共线性问题，提高了模型的稳定性和准确性。
（2）提取了潜在的主成分：通过偏最小二乘回归，我们可以从高维的自变量中提取出潜在的主成分，这些主成分更具有解释性，有助于理解自变量与因变量之间的关系。
偏最小二乘法推导原理
偏最小二乘法推导原理偏最小二乘法（Partial Least Squares，简称PLS）是一种多变量回归方法，主要用于解决多个自变量和一个因变量之间的关系建模问题。
它与传统的最小二乘法（Least Squares，简称LS）相比，相对于原始变量空间进行了特征空间的变换，使得建模变量更具有解释性。
PLS方法最早由Herman Wold于1975年提出，并被应用于计量经济学领域。
随后，PLS得到了广泛应用，尤其在化学、药物研究、食品科学、环境科学等领域。
现如今，PLS被认为是多变量分析和回归分析的核心工具之一。
接下来，我们将详细推导PLS的原理，包括数据预处理、特征提取和模型构建等方面。
1.数据预处理在使用PLS方法对数据进行建模之前，我们首先需要对原始数据进行预处理。
常用的预处理方法包括中心化和标准化。
中心化是指将每个变量减去其均值，使得数据的平均值为0。
标准化是指将每个变量除以其标准差，使得数据的方差为1。
2.特征提取PLS的核心思想是通过线性组合构造出新的变量，这些变量被称为潜在变量（Latent Variables）。
潜在变量是原始变量对因变量的最佳线性组合，具有最大的协方差和最小的预测误差。
设X为p维自变量矩阵，Y为因变量向量。
我们的目标是构造出k 个潜在变量t1、t2、...、tk，使得自变量X和因变量Y在潜在变量空间中的协方差最大。
我们首先构造出第一个潜在变量t1。
假设t1是X的线性组合，即t1=Xw1，其中w1为p维权重向量。
我们的目标是使得t1和Y的协方差最大，即Max Cov(t1,Y)。
根据最大协方差理论，可以得到w1满足如下方程：w1=argmax（Cov(Xw1,Y)）进一步推导可以将Cov(Xw1,Y)写成w1的函数，即：Cov(Xw1,Y)=w1^T(X^TY)w1我们的目标是最大化上述函数，进一步得到w1的表达式：w1=argmax（w1^T(X^TY)w1）我们可以通过如下的优化问题来求解w1：max（w1^T(X^TY)w1）约束条件：||w1||=1通过求解上述问题，我们可以得到w1的解析解。
偏最小二乘算法
偏最小二乘算法偏最小二乘算法（Partial Least Squares Regression，简称PLS 回归）是一种常用的统计分析方法，用于处理多变量数据集中的回归问题。
它是在被解释变量与解释变量之间存在复杂关系的情况下，通过降维和建立线性模型来解决回归问题的一种有效手段。
下面将详细介绍偏最小二乘算法的原理和应用。
一、原理介绍偏最小二乘算法的核心思想是通过寻找解释变量与被解释变量之间最大的协方差方向，将原始变量空间转换为新的综合变量空间，从而实现降维的目的。
具体步骤如下：1. 数据预处理：对原始数据进行中心化和标准化处理，以消除量纲和变量之间的差异。
2. 求解权重矩阵：根据解释变量和被解释变量的协方差矩阵，通过迭代的方式求解权重矩阵，使得新的综合变量能够最大程度地反映原始变量之间的关系。
3. 计算综合变量：将原始变量与权重矩阵相乘，得到新的综合变量。
4. 建立回归模型：将新的综合变量作为自变量，被解释变量作为因变量，通过最小二乘法建立回归模型。
5. 预测与评估：利用建立的回归模型对新的解释变量进行预测，并通过评估指标（如均方根误差、决定系数等）评估模型的拟合效果。
二、应用案例偏最小二乘算法在多个领域都有广泛的应用，下面以药物研究为例，介绍其应用案例。
假设我们需要研究一个药物的活性与其分子结构之间的关系。
我们可以收集一系列药物分子的结构信息作为解释变量，收集相应的生物活性数据作为被解释变量。
然后利用偏最小二乘算法，建立药物活性与分子结构之间的回归模型。
通过偏最小二乘算法，我们可以找到最相关的分子结构特征，并将其转化为新的综合变量。
然后，利用建立的模型，我们可以预测新的药物的活性，从而指导药物设计和优化。
三、优缺点分析偏最小二乘算法具有以下优点：1. 能够处理多变量之间的高度相关性，避免了多重共线性问题。
2. 通过降维，提高了模型的解释能力和预测精度。
3. 对于样本量较小的情况，仍能有效建立回归模型。
pls的使用方法
pls的使用方法
PLS (偏最小二乘回归) 是一种多元统计分析方法，用于建立预测模型。
它主要用于探索变量之间的关系，并通过迭代过程同时估计模型参数和主成分。
以下是使用PLS进行数据分析的基本步骤：
1．数据收集与准备：首先，你需要收集适当的数据。
数据应包括响应变量（你想要预测的变量）和预测变量（可能会影响响应变量的变量）。
数据需要进行清理、处理和标准化，以便分析。
2．主成分分析(PCA)：在PLS之前，通常需要进行PCA 以减少数据的维度并消除多重共线性。
PCA可以提取数据中的主要模式和趋势，并创建一个或多个主成分，这些主成分能够解释大部分数据的方差。
3．建立PLS模型：接下来，你可以使用主成分建立PLS 模型。
PLS模型有两个主要组成部分：解释变量（预测变量）和响应变量。
PLS迭代地构建回归模型和主成分，直到达到预设的迭代次数或满足其他停止准则。
4．模型评估：一旦建立了PLS模型，你需要评估其性能。
这可以通过交叉验证、外部验证或其他统计方法来完成。
你可以使用各种指标，如R方、Q方、预测误差均方根(RMSEP) 等来评估模型的性能。
5．模型优化：如果模型性能不佳，你可能需要调整模型或重新收集数据。
如果模型性能良好，你可以使用它进行预测或进一步分析。
6．解释结果：最后，你需要解释结果并解释模型的含义。
这可能涉及解释主成分、解释预测变量的重要性以及解释模型的预测能力。
请注意，PLS是一个复杂的统计方法，需要一定的统计背景和经验才能正确应用。
如果你不熟悉PLS或数据分析，建议寻求专业帮助或使用现有的统计软件包。
偏最小二乘回归方法(PLS)
偏最小二乘回归方法1 偏最小二乘回归方法（PLS）背景介绍在经济管理、教育学、农业、社会科学、工程技术、医学和生物学中，多元线性回归分析是一种普遍应用的统计分析与预测技术。
多元线性回归中，一般采用最小二乘方法（Ordinary Least Squares :OLS）估计回归系数，以使残差平方和达到最小，但当自变量之间存在多重相关性时，最小二乘估计方法往往失效。
而这种变量之间多重相关性问题在多元线性回归分析中危害非常严重，但又普遍存在。
为消除这种影响，常采用主成分分析（principal Components Analysis :PCA）的方法，但采用主成分分析提取的主成分，虽然能较好地概括自变量系统中的信息，却带进了许多无用的噪声，从而对因变量缺乏解释能力。
最小偏二乘回归方法（Partial Least Squares Regression ：PLS）就是应这种实际需要而产生和发展的一种有广泛适用性的多元统计分析方法。
它于1983年由S.Wold 和 C.Albano 等人首次提出并成功地应用在化学领域。
近十年来，偏最小二乘回归方法在理论、方法和应用方面都得到了迅速的发展，己经广泛地应用在许多领域，如生物信息学、机器学习和文本分类等领域。
偏最小二乘回归方法主要的研究焦点是多因变量对多自变量的回归建模，它与普通多元回归方法在思路上的主要区别是它在回归建模过程中采用了信息综合与筛选技术。
它不再是直接考虑因变量集合与自变量集合的回归建模，而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量（又称成分），然后对它们进行回归建模。
偏最小二乘回归可以将建模类型的预测分析方法与非模型式的数据内涵分析方法有机地结合起来，可以同时实现回归建模、数据结构简化（主成分分析）以及两组变量间的相关性分析（典型性关分析），即集多元线性回归分析、典型相关分析和主成分分析的基本功能为一体。
下面将简单地叙述偏最小二乘回归的基本原理。
pls偏最小二乘回归所用的数据集
pls偏最小二乘回归所用的数据集1. 什么是pls偏最小二乘回归PLS（Partial Least Squares）偏最小二乘回归是一种统计学习方法，用于建立预测模型。
它可以处理自变量间存在多重共线性的情况，并且适用于高维数据集。
PLS回归通过将自变量和因变量进行线性组合，找到最佳的投影方向，最大化自变量的方差解释率和因变量的预测精度。
PLS回归在化学、生物信息学、金融等领域得到了广泛应用。
2. PLS回归的数据集在进行PLS回归之前，我们首先需要准备适当的数据集。
PLS回归要求数据集包含自变量和因变量，且自变量和因变量之间存在相关性。
数据集应该满足以下要求：•自变量和因变量是数值型变量。
•数据集应该包含足够的样本，以保证模型的可靠性。
•数据集中的自变量和因变量应该经过预处理，例如去除异常值、缺失值处理、归一化等。
3. 数据集的预处理在进行PLS回归之前，我们需要对数据集进行预处理。
预处理的目的是为了消除数据集中的噪声和干扰，提高模型的准确性和稳定性。
数据集的预处理步骤包括：3.1 去除异常值异常值是指与其他观测值明显不同的数值。
异常值可能会对模型的训练和预测结果产生不良影响，因此需要将其排除在外。
3.2 缺失值处理数据集中可能存在缺失值，即某些观测值没有完整的数据。
缺失值会导致模型训练和预测的不准确性，因此需要进行适当的缺失值处理，例如删除含有缺失值的观测值，或者使用插补方法填充缺失值。
3.3 数据归一化由于数据集中的自变量和因变量通常具有不同的量纲和取值范围，为了避免量纲不一致对模型的影响，需要对数据进行归一化处理。
常用的归一化方法包括最小-最大归一化和标准化。
4. PLS回归的建模步骤PLS回归的建模步骤包括：4.1 数据集分割首先，需要将数据集分割为训练集和测试集。
训练集用于建立PLS回归模型，测试集用于评估模型的预测性能。
4.2 PLS回归模型的建立使用训练集的自变量和因变量，通过PLS回归算法建立预测模型。
偏最小二乘法PLS简介
偏最小二乘法(PLS)简介偏最小二乘法(PLS)简介简介偏最小二乘法是一种新型的多元统计数据分析方法,它于1983年由伍德(S.Wold)和阿巴诺(C.Albano)等人首次提出。
近几十年来,它在理论、方法和应用方面都得到了迅速的发展。
偏最小二乘法长期以来,模型式的方法和认识性的方法之间的界限分得十分清楚。
而偏最小二乘法则把它们有机的结合起来了,在一个算法下,可以同时实现回归建模(多元线性回归)、数据结构简化(主成分分析)以及两组变量之间的相关性分析(典型相关分析)。
这是多元统计数据分析中的一个飞跃。
偏最小二乘法在统计应用中的重要性体现在以下几个方面:偏最小二乘法是一种多因变量对多自变量的回归建模方法。
偏最小二乘法可以较好的解决许多以往用普通多元回归无法解决的问题。
偏最小二乘法之所以被称为第二代回归方法,还由于它可以实现多种数据分析方法的综合应用。
主成分回归的主要目的是要提取隐藏在矩阵X中的相关信息,然后用于预测变量Y的值。
这种做法可以保证让我们只使用那些独立变量,噪音将被消除,从而达到改善预测模型质量的目的。
但是,主成分回归仍然有一定的缺陷,当一些有用变量的相关性很小时,我们在选取主成分时就很容易把它们漏掉,使得最终的预测模型可靠性下降,如果我们对每一个成分进行挑选,那样又太困难了。
偏最小二乘回归可以解决这个问题。
它采用对变量X和Y都进行分解的方法,从变量X和Y中同时提取成分(通常称为因子),再将因子按照它们之间的相关性从大到小排列。
现在,我们要建立一个模型,我们只要决定选择几个因子参与建模就可以了基本概念偏最小二乘回归是对多元线性回归模型的一种扩展,在其最简单的形式中,只用一个线性模型来描述独立变量Y与预测变量组X之间的关系:Y = b0 + b1X1 + b2X2 + ... + bpXp在方程中,b0是截距,bi的值是数据点1到p的回归系数。
例如,我们可以认为人的体重是他的身高、性别的函数,并且从各自的样本点中估计出回归系数,之后,我们从测得的身高及性别中可以预测出某人的大致体重。
偏最小二乘法原理
偏最小二乘法原理偏最小二乘法（PLS）是一种广泛应用于多元统计分析领域的预测建模方法。
与传统的多元回归方法不同，PLS可以同时考虑多个自变量之间的相关性，以及自变量与因变量之间的关系。
本文将介绍PLS的原理、应用和特点。
一、PLS原理 PLS模型是一种多元线性回归模型，其原理是在自变量和因变量之间选择一组新的变量（称为因子），使得原有变量群中信息方差的损失最小。
这样需要同时考虑自变量之间的相关性和自变量与因变量之间的关系，从而得到有效的预测模型。
具体来说，PLS中的主要思想是将自变量和因变量映射到一个新的空间中，使得在该空间中自变量和因变量之间的协方差最大。
在该过程中，PLS模型会输出一组维度较低的新变量（即因子），这些变量包含了原变量的大部分信息。
最终，基于这些因子建立的多元线性回归模型可以显著提高预测精度。
二、PLS应用 PLS在各个领域都有广泛的应用，尤其是在生化和医学领域中的应用较为广泛。
例如，在药物设计中，PLS可以用来预测分子HIV-1逆转录酶抑制剂活性。
在蛋白质质谱分析中，PLS可以用来识别肿瘤标志物。
在红酒质量控制领域，PLS可以用来评估红酒的年份和产地。
此外，PLS还被应用于图像处理、食品科学、环境科学等领域。
三、PLS特点 1. PLS是一种预测模型，可以应用于多元统计分析领域中的各种问题。
2. PLS可以处理多重共线性的问题，且不需要删除任何自变量。
3. PLS可以同时对多个自变量进行分析，考虑自变量之间的相关性和自变量与因变量之间的关系，有助于提高预测精度。
4. PLS可以利用大量的自变量，甚至在数据较少的情况下也可以获得较高的预测精度。
5. PLS可以防止模型泛化的问题，并且不受离群值或异常值的影响。
四、总结 PLS是一种广泛应用于多元统计分析领域的预测模型，能够同时考虑自变量之间的相关性和自变量与因变量之间的关系，这使得PLS在处理多重共线性问题时具有优势。
此外，PLS可以应用于许多领域，包括生化、医学、图像处理、食品科学、环境科学等。
pls回归结果解读
pls回归结果解读PLS（偏最小二乘回归）是一种用于预测和解释因变量与自变量之间关系的统计方法。
在PLS回归结果中，我们可以得到一系列的统计量，包括回归系数、得分、变量重要性、均方根误差等，下面是对这些结果的解读：1. 回归系数：这是连接自变量（X）和因变量（y）的回归系数，表示当自变量变化一个单位时，因变量预期的变化量。
回归系数的绝对值越大，表示该自变量对因变量的影响越大。
2. X的得分：这是自变量在PLS回归中的得分，可以理解为自变量对因变量的预测能力。
得分越高，表示该自变量对因变量的预测能力越强。
3. VIP（Variable Importance in Projection）：这是预测中的变量重要性，用于评估变量重要性的一个标准。
VIP值越大，表示该变量对因变量的预测越重要。
4. RMSEF（Root Mean Square Error of Fitting）：这是拟合的均方根误差，用于衡量模型拟合的精度。
RMSEF越小，表示模型拟合精度越高。
5. y_fit：这是因变量的拟合值，即根据自变量的预测值计算出的因变量的预期值。
6. R2：这是Y的解释变异的百分比，表示模型对因变量变异的解释程度。
R2越接近1，表示模型解释程度越高。
7. PLS的K折交叉验证：这是一种用于评估模型稳定性和可靠性的方法。
通过将数据集分成K份，每次使用K-1份数据训练模型，并使用剩余的一份数据进行验证，可以计算出交叉验证的均方根误差（RMSECV）和Q2值。
RMSECV越小，表示模型稳定性越好；Q2越高，表示模型可靠性越高。
综上所述，PLS回归结果提供了丰富的信息，包括自变量与因变量的关系、变量的重要性、模型的拟合精度和稳定性等。
通过对这些结果的解读和分析，我们可以更好地理解数据背后的规律和特征，为实际应用提供有价值的参考。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
偏最小二乘回归方法1 偏最小二乘回归方法(PLS)背景介绍在经济管理、教育学、农业、社会科学、工程技术、医学和生物学中，多元线性回归分析是一种普遍应用的统计分析与预测技术。
多元线性回归中，一般采用最小二乘方法(Ordinary Least Squares :OLS)估计回归系数，以使残差平方和达到最小，但当自变量之间存在多重相关性时，最小二乘估计方法往往失效。
而这种变量之间多重相关性问题在多元线性回归分析中危害非常严重，但又普遍存在。
为消除这种影响，常采用主成分分析(principal Components Analysis :PCA)的方法，但采用主成分分析提取的主成分，虽然能较好地概括自变量系统中的信息，却带进了许多无用的噪声，从而对因变量缺乏解释能力。
最小偏二乘回归方法(Partial Least Squares Regression：PLS)就是应这种实际需要而产生和发展的一种有广泛适用性的多元统计分析方法。
它于1983年由S.Wold和C.Albano等人首次提出并成功地应用在化学领域。
近十年来，偏最小二乘回归方法在理论、方法和应用方面都得到了迅速的发展，己经广泛地应用在许多领域，如生物信息学、机器学习和文本分类等领域。
偏最小二乘回归方法主要的研究焦点是多因变量对多自变量的回归建模，它与普通多元回归方法在思路上的主要区别是它在回归建模过程中采用了信息综合与筛选技术。
它不再是直接考虑因变量集合与自变量集合的回归建模，而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量(又称成分)，然后对它们进行回归建模。
偏最小二乘回归可以将建模类型的预测分析方法与非模型式的数据内涵分析方法有机地结合起来，可以同时实现回归建模、数据结构简化(主成分分析)以及两组变量间的相关性分析(典型性关分析)，即集多元线性回归分析、典型相关分析和主成分分析的基本功能为一体。
下面将简单地叙述偏最小二乘回归的基本原理。
2 偏最小二乘法的工作目标2.1 偏最小二乘法的工作目标在一般的多元线性回归模型中，如果有一组因变量Y={y1,…,y q}和一组自变量X={x1,…,x p}，当数据总体能够满足高斯—马尔科夫假设条件时，根据最小二乘法，有⋂Y=X（X T X）-1X T Y⋂Y将是Y的一个很好的估计量。
从这个公式容易看出，由于（X T X）必须是可逆矩阵，所以当X中的变量存在严重的多重相关性时，或者在X中的样本点数与变量个数相比显然过少时，这个最小二乘估计都会失效并将引发一系列应用方面的困难。
考虑到这个问题，偏最小二乘回归分析提出了采用成分提取的方法。
在主成分分析中，对于单张数据表X，为了找到能最好地概括原数据的综合变量，在X中提取了第一主成分F1,使得F1中所包含的原数据变异信息可达到最大，即Var(F1)→max在典型相关分析中，为了从整体上研究两个数据表之间的相关关系，分别在X和Y中提取了典型成分F1和G1，它们满足r(F1,G1) →maxF1T F1=1G1T G1=1在能够达到相关度最大的综合变量F1和G1之间，如果存在明显的相关关系，则可以认为，在两个数据表之间亦存在相关关系。
提取成分的做法在数据分析的方法中十分常见，除主成分、典型成分以外，常见到的还有Fisher判别法中的判别成分。
实际上，如果F是X数据表的某种成分，则意味着F是X中变量的某一线性组合F=Xa,而F作为一个综合变量，它在X中所综合提取的信息，将满足我们特殊的分析需要。
2.2 偏最小二乘回归分析的建模方法设有q个因变量{y1,…,y q}和p个自变量{x1,…,x p},为了研究因变量与自变量的统计关系，观测n个样本点，由此构成了自变量与因变量的数据表X=【x1,…,x p】n*p和Y=【y1,…,y q】n*q。
偏最小二乘法回归分别在X与Y中提取出t1和u1(也就是说，t1是x1,…,x p的线性组合，u1是y1,…,y q的线性组合)。
在提取这两个成分时，为了回归分析的需要，有下列两个要求：（1）t1和u1应尽可能大地携带它们各自数据表中的变异信息（2）t1和u1的相关程度能达到最大这两个要求表明，t1和u1应尽可能好地代表数据表X和Y，同时自变量的成分t1对因变量的成分u1又有最强的解释能力。
在第一个成分t1和u1被提取后，偏最小二乘法回归分别实施X对t1的回归以及Y对t1的回归。
如果方程达到了满意的精度，则算法终止；否则，将利用X被t1解释后的残余信息以及Y被t1解释后的残余信息进行第二轮的成分提取。
如此递推，直到能达到一个较为满意的精度为止。
若最终对X共提取了m个成分t1,…,t m，偏最小二乘法回归将通过实施Y K 对t1,…,t m的回归，然后再表达成Y K关于原变量x1,…,x p的回归方程，k=1,…,q。
3 计算方法推导3.1 普遍采用的计算推导过程为了数学推导方便起见，首先将数据做标准化处理。
X 经标准化处理后的数据矩阵记为E 0=(E 01,…,E 0P )n*p ,Y 经过标准化处理后的数据矩阵记为F 0=(F 01,…,F 0q )n*q 。
第一步，记t 1是E 0的第一个成分，t 1=E 0w 1, w 1是E 0的第一个轴，它是一个单位向量，即||w 1||=1；记u 1是F 0的第一个成分，u 1=F 0c 1, c 1是F 0的第一个轴，它是一个单位向量，即||c 1||=1。
如果要t 1,u 1能分别很好德代表X 与Y 中的数据变异信息，根据主成分分析原理，应该有Var(t 1)→max Var(u 1)→max另一方面，由于回归建模的需要，又要求t 1对u 1有最大的解释能力，由典型相关分析的思路，t 1与u 1的相关度应达到最大值，即r(t 1,u 1)→max因此综合起来，在偏最小二乘回归中，我们要求t 1与u 1协方差达到最大，即 Cov(t 1,u 1)=√Var(t1)Var(u1)r(t1,u1)→max即求解下列优化问题max<E 0w 1,F 0C 1>w 1T w 1=1 （3-1） c 1T c 1=1因此，将在||w 1||=1和||c 1||=1的约束条件下，去求（w 1T E 0T F 0c 1）的最大值。
此种情况下我们就可以用拉格朗日算法求其最优解，记s= w 1T E 0T F 0c 1-λ1(w 1T w 1-1)- λ2（c 1T c 1-1）对s 分别求关于w 1、c 1、λ1、λ2的偏导，并令之为零，有=∂∂1sw E 0T F 0c 1-2λ1 w 1=0 （3-2）=∂∂1c sF 0T E 0w 1-2λ2 c 1=0 （3-3） =∂∂1sλ -( w 1T w 1-1)=0 （3-4） =∂∂2sλ -( c 1T c 1-1)=0 （3-5）由（3-2）~（3-5）可以推出2λ1=2λ2= w 1T E 0T F 0c 1=<E 0w 1,F 0C 1>记ϴ1=2λ1=2λ2= w 1T E 0T F 0c 1,所以ϴ1是优化问题的目标函数值。
把式（3-2）和式（3-3）写成E 0TF 0c 1= ϴ1 w 1 （3-6） F 0T E 0w 1= ϴ1 c 1 （3-7） 将式（3-7）代入式（3-6），有E 0TF 0F 0T E 0w 1= ϴ12 w 1 (3-8)由式（3-8）可知，w 1是矩阵E 0T F 0F 0T E 0特征向量，对应的特征值为ϴ12，ϴ1是目标函数值，要求取得其最大值，所以w 1是对应于矩阵E 0T F 0F 0T E 0最大特征值ϴ12的单位特征向量。
求得轴w 1和c 1后，即可得到成分t 1=E 0w 1 u 1=F 0c 1然后，分别求E 0和F 0对t 1和u 1的回归方程11101*1101110,,F r t F FQ u F E P t E T T +=+=+=其中，21101/t t E P T =，21101/u u F Q T =，向量21101/t t F r T =；E 1，F 1*，F 1为回归方程的残差矩阵。
第2成分t 2的提取，以E 1取代E 0 , F 1取代F 0 , 用上面的方法求第2个轴W 2和第2个成分t 2 ,有11211112,W E t F E F E W TT==同样，E 1 , F 1分别对t 2做回归, 得到22212221,F r t F E P t E T T +=+=同理可推得第h 成分t h , h 的个数可以用交叉有效性原则进行, h 小于X 的秩。
如此计算下去，如果X 的秩为A ，则会有E 0=t 1P 1T +…+t A P A TF 0= t 1r 1T +…+t A r A T +F A由于t 1,…,t A 均可以表示成E 01,…,E 0P 的线性组合，因此，上式可以还原成Y K = F 0K 关于X J =E 0J的回归方程形式Y K =b k1X 1+…+ b kP X P +F AK k=1,..,q3.2一种简洁的计算推导过程3.1中介绍的推导思路是最为常见的，在3.2中将介绍一种更为简洁的计算方法，即直接在E 0,…,E m -1矩阵中提取成分t 1,…,t m (m<p)。
要求t h 能尽可能多地携带X 中的信息，同时，t h 对因变量系统F 0有最大的解释能力。
这时无需在F 0中提取成分u h ，并且在迭代算法中也无需使用其残差矩阵，而始终直接用F 0进行计算。
这可以使计算过程大为简化，并且对算法结论的解释也更为方便。
下面讨论成分t 1,…,t m (m<=A,A=R(X))的一种新原则。
在3.1中推导偏最小二乘法回归算法时，第一步的思路是在因变量F 0抽取一个成分u 1=F 0c 1，同时在自变量E 0中抽取一个成分t 1=E 0w 1,成分的抽取原则是max<E 0w 1,F 0C 1>。
在这个原则下得知w 1，c 1，u 1，t 1的计算方法如下：（1）w 1是矩阵E 0T F 0F 0T E 0最大特征值的特征向量，成分t 1=E 0w 1； （2）c 1是矩阵F 0T E 0E 0T F 0最大特征值的特征向量，成分u 1=F 0c 1；在求得成分u 1，t 1以后，分别实施E 0在t 1上的回归，并生成残差矩阵E 1，以及F 0在t 1上的回归，得到残差矩阵F 1。
再以E 1，F 1取代E 0，F 0进行第二轮成分的提取计算，注意到成分u 1,…,u m 是不参加回归计算的，因此是否可以考虑不提取因变量的成分呢？为此，用下述原则提取比变量中的成分t 2是与3.1中介绍的方法，结果是完全等价的，即由于F 0K 是标准化变量，所以Cov(F 0K , E 0w 1)=√Var(EOw1) r(F 0K , E 0w 1)因此，该优化原则是求成分t 1=E 0w 1，使得t 1能携带尽可能多的E 0变异，同时，t 1对因变量F 0K (k=1,…,q)的解释能力会综合达到最大值。