偏最小二乘回归方法

E F F E 是对应于矩阵
的最大特征值 的特征T 向量；T 是对应于矩阵
的最大特征值2 的特征向量。
1 11 1
2 2
c2
F1T E1E1T F1
2 2
多因变量偏最小二乘算法推导
计算回归系数
p2
E1T t2 t2 2
因此，有回归方程
r2
F1T t2 t2 2
E1 t2 p2T E2
F1 t2r2T F2
多因变量偏最小二乘算法推导
把（1）和（2）式写成
E0T F0c1 11
F0T E01 1c1
将（6）代入（5），有
（5）式 （6）式
E0T F0 F0T E01 121 （7）式
多因变量偏最小二乘算法推导
易知， 是矩阵 它要求取最大值。
E F F E 的特征向量，对应的T特征值为T 。 是目标函数，
Y ( y1, y2 ,
yq )nq
F0 (F01, , F0q )nq
多因变量偏最小二乘算法推导
t 第一步：记 是 的第一个成分，
向量,即有
。
1
E，0是
t E 记 是 的第一个成分
，
E 是 的1第一个轴，0它是1一个单1位
0
的第一个轴，它是一个单位
向量，即
。
1 1
u1 F0
u1 F0c1
，
和 对 与 的三个回归方1 程
1
t1 E01 u1 F0c1
E0 F0
t1 u1
。然后，分别求
多因变量偏最小二乘算法推导
E0 t1 p1T E1 F0 u1q1T F1*
其中
F0 t1r1T F1
p1
E0T t1 t1 2
r1
F0T t1 t1 2
q1
F0T u1 u1 2
多因变量偏最小二乘算法推导
c1 F0
c1 1
多因变量偏最小二乘算法推导
如果要使 ， 能很好的代表 与 中的数据变异信息，根据主成分分析
t u X 原理，应该有 Y。
，1 1
Var u1 max
Var t1 max
多因变量偏最小二乘算法推导
另一方面，由于回归建模的需要，又要求 对 有最大的解释能力，由典 型相关分析的思路，与 的相关度应达到最大值，即
此方法的优点：
（4）偏最小二乘回归方法与其他的建模方法相比，具有计算简单、预测精 度高，易于定性解释的优点。
多因变量偏最小二乘算法推导
首先将数据做标准化处理。
原自变量数据表 经标准化后的数据矩阵记为
X (x1, x2 , xp )n p
E0 (E01,
原因变量数据表 经标准化后的数据矩阵记
, E0 p )n p
yk* F0k
x*j E0 j
yk* k1x1* kp x*p Fmk k 1, 2, , q
F是残差矩阵 的第 列。 mk
Fm
k
偏最小二乘回归的简化算法
（1）求矩阵
t1
其中
E F F E 最大特征值所对T应的单位T 特征向量 ，求成分 ，得 0 00 0 1
t1 E01
E1 E0 t1 p1T
（8）式
多因变量偏最小二乘算法推导
如此计算下去，如果的 秩是 ，则会有
X
m
E0 t1 p1T tm pmT
F0 t1r1T tmrmT Fm
t , , t 由于
均可以表示成
的线性组合。1
m
E01, , E0 p
多因变量偏最小二乘算法推导
因此，（8）式还可以还原成
关于
的回归方程形式，即
E F F 而 ， ， 分别是*三个回归方程的残差矩阵。
1
11
多因变量偏最小二乘算法推导
E F 第二步：用残差矩阵 和 取代 和 。然后，求第二个轴 和
以及第二个成分 ， ，有
1
1
E0 F0
c2
2
t2 u2
t2 E12
u2 F1c2
2 t2,u2 2T E1T F1c2
多因变量偏最小二乘算法推导
t1 u1
t1 u1
r t1,u1 max
多因变量偏最小二乘算法推导
因此，综合起来，在偏最小二乘回归中，我们要求 与 的协方差达到 最大，即
t1 u1
Cov t1,u1 Var t1 Var u1 r t1,u1 max
多因变量偏最小二乘算法推导
正规的数学表述应该是求解下列优化问题，即
p1
E0T t1 t1 2
偏最小二乘回归的简化算法
（2）求矩阵
t2
其中
最大特征值所E对1T应F的0 单F0位T E特1征向量 ，求成分 ，得
2
t2 E12
E2 E1 t2 p2T
p2
E1T t2 t2 2
……
偏最小二乘回归的简化算法
至第h步，求成分 向量。
EhT1F0 F0T Eh1
，是
t E 矩阵最大特征值所对应的特征
211
0
（1）式
s c1
F0T E01
22c1
0
（2）式
s
1
1T1 1
0
（3）式
s
2
c1T c1 1
0
（4）式
多因变量偏最小二乘算法推导
由上述四个式子可以推出
21 22 1T E0T F0c1 E01, F0c1
记 1 21 ，2所以2 正是1T优E化0T F问0题c1的目标函数值。 1
h
h1 h
h
如果根据交叉有效性，确定共抽取h个主成分 预测模型。
t1, , th
可以得到一个满意的
偏最小二乘回归的简化算法
t , , t F 则求 在
上的普通最小二乘回归方程为
0
max
1 ,c1
E01, F0c1
s.t
c11TT
1
c1
1 1
多因变量偏最小二乘算法推导
采用拉格朗日算法，记
s 1T E0T F0c1 1 1T1 1 2 c1T c1 1
s c 对 分别求关于 ， ，和 的偏导数，并令之为零，有
1
11
2
多因变量偏最小二乘算法推导
wk.baidu.com
s
1
E0T F0c1
偏最小二乘回讲归演方人：法
简言之
偏最小二乘回归是一种集多元线性回归分析、典型相关分析和主成分分 析的基本功能为一体的新型多元统计分析方法。
此方法的优点：
（1）能在自变量存在严重多重相关性的条件下进行回归建模； （2）允许在样本点个数少于自变量个数的条件下进行回归建模；
此方法的优点：
（3）偏最小二乘回归在最终模型中将包含原有的所有自变量，易于辨识 系统信息与噪声，而且其自变量的回归系数也将更容易解释。
1
0 00 0
12 1
所以， 是对应于矩阵 1
E F F 的最大特征值的单位特征向T量。 T 0 00
E0
同理，可得
F0T E0 E0T F0c1 12c1
多因变量偏最小二乘算法推导
c 易知， 是对应于矩阵 1
F E E F 的最大特征值 的单位特征向T量。 T 0 00 0
12
c 求得轴 和 后，即可得到成分