偏最小二乘回归分析分解

7/49
基础部数学教研室
数学 建模
为了方便起见，不妨假定 p 个因变量 y1 ,
, y p 与m
个自变量 x1 , , xm 均为标准化变量。自变量组和因变 量组的 n次标准化观测数据矩阵分别记为 b1 p b11 a1m a11 A . ，B bn1 anm b np a n1 偏最小二乘回归分析建模的具体步骤如下
是首先在自变量集中提出第一成分 u1 （ u1 是 x1 ,
的线性组合，且尽可能多地提取原自变量集中的变异 信息）；同时在因变量集中也提取第一成分 v1 ，并要 求 u1 与 v1 相关程度达到最大。 然后建立因变量 y1 , 法中止。
6/49
, yp
与 u1 的回归，如果回归方程已达到满意的精度，则算
3/49
基础部数学教研室
数学 建模
偏最小二乘回归提供一种多对多线性回归建模的 方法，特别当两组变量的个数很多，且都存在多重相 关性，而观测数据的数量（样本量）又较少时，用偏 最小二乘回归建立的模型具有传统的经典回归分析 等方法所没有的优点。 偏最小二乘回归分析在建模过程中集中了主成 分分析，典型相关分析和线性回归分析方法的特点， 因此在分析结果中，除了可以提供一个更为合理的回 归模型外，还可以同时完成一些类似于主成分分析和 典型相关分析的研究内容，提供一些更丰富、深入的 信息。
4/49
基础部数学教研室
数学 建模
本章介绍偏最小二乘回归分析的建模方法；通过 例子从预测角度对所建立的回归模型进行比较。
5/49
基础部数学教研室
数学 建模
11.1
偏最小二乘回归分析 考 虑 p 个 因 变 量 y1 , y2 ,
, yp 与 m 个 自 变 量
, xm
x1 , x2 ,
, xm 的建模问题。偏最小二乘回归的基本作法
基础部数学教研室
数学 建模
否则继续第二对成分的提取，直到能达到满意的 精度为止。若最终对自变量集提取r 个成分 u1 , u2 , , ur ，偏最小二乘回归将通过建立 y1 , , y p 与
u1 , u2 , , ur 的回归式，然后再表示为 y1 ,
, y p 与原自变
量的回归方程式，即偏最小二乘回归方程式。
ˆ1 B (1) v b11 bn1 b1 p 11 . bnp 1 p
（11.2）
wk.baidu.com
10/49
基础部数学教研室
数学 建模
第一对成分 u1 和 v1 的协方差Cov( u1 , v1 ) 可用第一 ˆ1 和 v ˆ1 的内积来计算。故而以上两 对成分的得分向量 u 个要求可化为数学上的条件极值问题 ˆ1 v ˆ1 ) ( A (1) B (1) ) (1)T AT B (1) max ( u
数学建模算法与应用
第11章 偏最小二乘回归分析
基础部数学教研室
数学 建模
在实际问题中，经常遇到需要研究两组多重相关 变量间的相互依赖关系，并研究用一组变量（常称为 自变量或预测变量）去预测另一组变量（常称为因变 量或响应变量），除了最小二乘准则下的经典多元线 性回归分析（MLR），提取自变量组主成分的主成分 回归分析（PCR）等方法外，还有近年发展起来的偏最 小二乘（PLS）回归方法。
8/49
基础部数学教研室
数学 建模
（1）分别提取两变量组的第一对成分，并使之相 关性达最大。 假设从两组变量分别提出第一对成分为 u1 和 v1 ， u1 是自变量集 X [ x1 , , xm ]T 的线性组合 u1 11 x1 1m xm (1)T X ， T v1 是因变量集Y [ y1 , , y p ] 的线性组合
（11.5）
, 1 p ]T 分别是多对
一的回归模型中的参数向量， A1 和 B1 是残差阵。
13/49
基础部数学教研室
数学 建模
回归系数向量 (1) , (1) 的最小二乘估计为 2 (1) AT u ˆ1 u ˆ1 , (1) 2 T ˆ1 u ˆ1 , B u 称 (1) , (1) 为模型效应负荷量。
(1)T (1) (1) 2 1, s.t. (1)T (1) (1) 2 1.
（11.3）
11/49
基础部数学教研室
数学 建模
利用Lagrange乘数法，问题化为求单位向量 (1) 和 使1 (1)T AT B (1) 达到最大。 问题的求解只须通 (1) ， T T M A BB A 的特征值和特征向 过计算 m m矩阵 量，且 M 的最大特征值为 12 ，相应的单位特征向量就 是所求的解 (1) ，而 (1) 可由 (1) 计算得到 1 T (1) B A (1) （11.4） 1
（11.6）
14/49
基础部数学教研室
数学 建模
（3）用残差阵 A1 和 B1 代替 A和 B 重复以上步骤。 ˆ u ˆ， ˆ u ˆ1 (1)T ， B ˆ1 (1)T ，则残差阵 E1 A A 记A ˆ 。如果残差阵 B 中元素的绝对值近似为 0， B1 B B 1 则认为用第一个成分建立的回归式精度已满足需要 了， 可以停止抽取成分。 否则用残差阵 A1 和 B1 代替 A和 B 重复以上步骤即得
12/49
基础部数学教研室
数学 建模
（2） 建立 y1 ,
, y p 对 u1 的回归及 x1 ,
, xm 对 u1 的回
归。 假定回归模型为 (1)T ˆ A u A1 , 1 (1)T ˆ B u B1 , 1 其中 (1) [ 11 , , 1m ]T ， (1) [ 11 ,
v1 11 y1
1 p y p
(1)T
Y。
为了回归分析的需要，要求 i） u1 和 v1 各自尽可能多地提取所在变量组的变异信 息； ii） u1 和 v1 的相关程度达到最大。
9/49
基础部数学教研室
数学 建模
由两组变量集的标准化观测数据矩阵 A和 B ， 可以 ˆ1 和 v ˆ1 计算第一对成分的得分向量，记为 u a1m 11 a11 (1) ˆ u1 A （11.1） ， anm a n1 1m