基于偏最小二乘法的故障检测

u1
Y0v1
yn1
y1
p
v11
u11
.
ynp v1 p un1
16
第一对成分T1 和U 1的协方差Cov(T1 ,U1 )可用第一 对成分的得分向量t1和u1的内积来计算。故而以上两个 要求可化为数学上的条件极值问题
t1 u 1 X w0 Y1 v 01 wT X T1Y v 0 0m1 a x
Yˆj j0 + j1 X1 jm Xm， j 1, 2, , p
23
（5）交叉有效性检验。 一般情况下，偏最小二乘法并不需要选用存在的 r
个成分t1, t2 , , tr来建立回归式，而像主成分分析一样， 只选用前l 个成分（l r ），即可得到预测能力较好的 回归模型。对于建模所需提取的成分个数l ，可以通过 交叉有效性检验来确定。
偏最小二乘回归提供一种多对多线性回归建模的 方法，特别当两组变量的个数很多，且都存在多重相 关性，而观测数据的数量（样本量）又较少时，用偏 最小二乘回归建立的模型具有传统的经典回归分析等 方法所没有的优点。
4
偏最小二乘回归分析在建模过程中集中了主成分 分析，典型相关分析和线性回归分析方法的特点，因 此在分析结果中，除了可以提供一个更为合理的回归 模型外，还可以同时完成一些类似于主成分分析和典 型相关分析的研究内容，提供一些更丰富、深入的信 息。
, p，
26
另外，再采用所有的样本点，拟合含h个成分的回 归方程。这时，记第i 个样本点的预测值为bˆij (h)，则可 以定义Yj 的误差平方和为
n
SS j (h) (bij bˆij (h))2 ， i 1
定义 的误差平方和为
p
SS(h) SS j (h). j1
27
当 PRESS(h)达到最小值时，对应的 h 即为所求的 成分个数l 。通常，总有PRESS(h)大于SS(h)，而SS(h) 则小于SS(h 1)。因此，在提取成分时，总希望比值 PRESS(h) SS(h 1)越小越好；一般可设定限制值为 0.05，即当
身高 143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164
腿长 88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102
以身高 x 为横坐标，以腿长 y 为纵坐标将这些数据
点（xi，yi）在平面直角坐标系上标出。
偏最小二乘回归≈多元线性回归分析+典型相关 分析+主成分分析
5
目录
6
多元线性回归分析: 在实际问题中我们常常会遇到多个变量同处于一
个过程之中,它们互相联系、互相制约.在有的变量间有 完全确定的函数关系,例如电压 V、电阻 R 与电流 I 之间 有关系式:V=IR;在圆面积 S 与半径 R 之间有关系式 S=π R^2。
有
Q w1
X 0TY0v1
21w1
0
Q v1
X 0TY0w1
22v1
0
Q
1
w1T w1
1
0
Q
2
v1T v1
1
0
18
可得， X0TY0Y0T X0w1 12w1 Y0T X 0 X 0TY0v1 12v1
可见，w1是矩阵 X0TY0Y0T X0的特征向量，对应的特
征值为12。所以w1是对应于矩阵 X0TY0Y0T X0最大特征 值为12的单位特征向量。v1是对应于矩阵Y0T X0 X0TY0最 大特征值为12的单位特征向量。
s.t.
w1T w1 w1 2 1,
v1T v1
v1
2 1.
17
利用Lagrange乘数法，问题化为求单位向量 w1 和
v1，使1 w1T X0TY0v1达到最大的有约束条件的极值问
题。
Q(w1,v1 ) w1T X0TY0v1 1(w1T w1 1) 2(v1Tv1 1) 对Q分别求关于c1, w1,1,2和的偏导并令之为零，
25
对i 1, 2, ,n重复以上的验证，即得抽取h个成
分时第 j 个因变量Yj ( j 1,2, , p)的预测误差平方和 为
n
PRESS j (h) (bij bˆ(i) j (h))2 ， j 1, 2, i 1
Y [Y1, ,Yp ]T 的预测误差平方和为
p
PRESS(h) PRESS j (h). i 1
y1
1
Y
...
X
1
...
y
n
，
...
1
x11 x21 ... xn1
x12 x22 ... xn2
... ... ... ...
x1m
x2
m
0
1
1
2
... xnm
，
...
m
，
...
n
y 0 1x1 ... mxm 称为回归平面方程。
9
典型相关分析: 为了从总体上把握两组指标之间的相关关系，分别
10
目录
11
考 虑 p 个 因 变 量 Y1,Y2, ,Yp 与 m 个 自 变 量 X1, X 2 , , X m 的建模问题。
偏最小二乘回归的基本作法是首先在自变量集中 提出第一成分T1（T1是 X1, , Xm 的线性组合，且尽可 能多地提取原自变量集中的变异信息）；
同时在因变量集中也提取第一成分U1，并要求T1 与U1相关程度达到最大。
X
* i
(i
1,
, p),Yi*( j 1,
, p)表示标准化变量，把
Tk
wk1
X
*Hale Waihona Puke 1wkmX* m
（k
1, 2,
,r ），
代入
Y
* j
1 jT1
rjTr ,( j 1, 2,
, p)，
即得 p个因变量的偏最小二乘回归方程式
Yˆ
* j
* j1
X1*
* jm
X
* m
，
j
1, 2,
, p.
然后再还原为原始变量的偏最小二乘回归方程：
分别为 X ,Y 的第二对成分的负荷量。
这时有
X0
t11T
t2
T 2
E2 ,
Y0
t11T
t
2
T 2
F2 .
22
（4）设n m数据阵 X 的秩为r min(n 1,m)，则
存在r 个成分t1, t2 , , tr，使得
X0
t1
T 1
t
r
T r
Er ,
Y0
t11T
tr
T r
Fr .
设
t1
t1 2
T 1
Y0T t1 t1 2
称1 和 1 为模型效应负荷量。
20
(3)用残差阵 E1和F1代替 X0和Y0重复以上步骤
记
Xˆ 0
t11T
，Yˆ0
t1
T 1
，则残差阵
E1 X0 Xˆ 0，F1 Y0 Yˆ0。
如果残差阵F1中元素的绝对值近似为 0，则认为用第
一个成分建立的回归式精度已满足需要了，可以停止
24
每次舍去第i 个观测数据（i 1,2, ,n），对余下 的n 1个观测数据用偏最小二乘回归方法建模，并考 虑抽取h（h r ）个成分后拟合的回归式，然后把舍 去的自变量组第i 个观测数据代入所拟合的回归方程 式，得到Yj ( j 1,2, , p) 在第 i 个观测点上的预测值 bˆ(i) j (h)。
1T [11,
X0 t11T E1,
Y0
t1
T 1
F1 ,
,1m
]，
T 1
[11,
, 1 p ]分别是多对一的回
归模型中的参数向量， E1和F1是残差阵。
回归系数向量1 和 1 的最小二乘估计为
11TT
(t1T t1 )1 t1T X 0 (t1T t1 )1 t1TY0
或
1T
X
T 0
然后建立因变量Y1, ,Yp与T1的回归，如果回归方 程已达到满意的精度，则算法中止。
12
否则继续第二对成分的提取，直到能达到满意的 精度为止。若最终对自变量集提取r 个成分T1,T2 , ,Tr ， 偏最小二乘回归将通过建立Y1, ,Yp与T1,T2 , ,Tr 的回 归式，然后再表示为Y1, ,Yp 与原自变量的回归方程 式，即偏最小二乘回归方程式。
29
解 x1, x 2, x 分3 别表示自变量指标体重、腰围、脉 搏， y1, y2 , y3分别表示因变量指标单杠、弯曲、跳高， 自变量的观测数据矩阵记为 A (aij )203，因变量的观测 数据矩阵记为 B (bij )203。
30
（1）数据标准化
将各指标值aij转换成标准化指标值aij ，
基于偏最小二乘法的 故障检测
1
目录
2
目录
3
在实际问题中，经常遇到需要研究两组多重相关 变量间的相互依赖关系，并研究用一组变量（常称为 自变量或预测变量）去预测另一组变量（常称为因变 量或响应变量），除了最小二乘准则下的经典多元线 性回归分析（MLR），提取自变量组主成分的主成分 回归分析（PCR）等方法外，还有近年发展起来的偏最 小二乘（PLS）回归方法。
自然界众多的变量之间,除了以上所说的那种确定 性的关系外,还有一类重要的关系,即所谓的相关关系. 比如,人的身高与体重之间的关系.虽然一个人的身高并 不能确定体重,但是总的说来,身高者,体重也大.我们称 身高与体重这两个变量具有相关关系。
7
一元线性回归分析: 例 测 16 名成年女子的身高与腿长所得数据如下：
102
100
98
96 94
y01x
92
90
88
86
84
140
145
150
155
160
165
8
多元线性回归分析:
y 0 1x1 ... m xm ;
yi 0 1xi1 2xi2 mxim i , i 1, 2, , n
Y X
一般称 E( ) 0,COV (, ) 2 In 为高斯—马尔可夫线性模型(m 元线性回归模型)， 并简记为 (Y , X , 2 I n ) 。
在两组变量中提取有代表性的两个综合变量 T1 和 U1 （分别为两个变量组中各变量的线性组合），利用这两 个综合变量之间的相关关系来反映两组指标之间的整 体相关性。 主成分分析：
通过构造原变量的适当的线性组合，以产生一系列 互不相关的新变量，从中选出少数几个新变量并使它们 尽可能多地包含原变量的信息（降维），从而使得用这 几个新变量替代原变量分析问题成为可能。
aij
aij
(1) j
s(1) j
，i
1,2,
,20， j 1,2,3，
其中
(1) j
1 20
20 i 1
aij
，
s(1) j
1 20
1
n i 1
(aij
i）T1和U1各自尽可能多地提取所在变量组的变异信 息；
ii）T1和U1的相关程度达到最大。
15
由两组变量集的标准化观测数据矩阵 X0和Y0，可
以计算第一对成分的得分向量，记为t1和u1
x11
t1
X 0 w1
xn1
x1m w11 t11
，
xnm w1m tn1
y11
由两组变量集的标准化观测数据矩阵0x和0y可以计算第一对成分的得分向量记为1t和1u1111111101111mnnmmnxxwttxwxxwt???????????????????????????????????????????????1111111101111pnnppnyyvuuyvyyvu????????????????????????????????????????????????????????????????????????
假设从两组变量分别提出第一对成分为T1和U1，T1 是自变量集 X [ x1, , xm ]T 的线性组合
T1 w11 X1 w1m Xm w1T X ， U1是因变量集Y [ y1, , y p ]T 的线性组合
U1 v11Y1 v1 pYp v1TY 。 为了回归分析的需要，要求
也就是说，问题的求解只须通过计算m m 矩阵
M X0TY0Y0T X0
的特征值和特征向量，且 M 的最大特征值为12，
相应的单位特征向量就是所求的解 w1 ，而 v1 也可由 w1 计算得到
v1
1
1
Y0T
X 0w1
19
(2) 建立Y1, ,Yp对T1的回归及 X1, , Xm 对T1的回归
假定回归模型为
13
为了方便起见，不妨假定 p个因变量Y1, ,Yp与m 个自变量 X1, , Xm 均为标准化变量。自变量组和因变 量组的n次标准化观测数据矩阵分别记为
y11
Y0
yn1
y1m
，
X
0
x11
ynm
xn1
偏最小二乘回归分析建模的具体步骤如下
x1 p
.
xnp
14
（1）分别提取两变量组的第一对成分，并使之相关性 达最大。
抽取成分。否则用残差阵 E1和F1代替 X0和Y0重复以上 步骤即得
w2 [w21, , w2m ]T ，v2 [v21, ,v2 p ]T ，
分别为第二对成分T2 和U 2 的权重。
21
而t2 E1w2，u2 F1v2为第二对成分的得分向量，
2 E1T t2 t2 2 ，2 F1T t2 t2 2
PRESS(h) SS(h 1) (1 0.05)2 0.952 时，增加成分uh有利于模型精度的提高。
28
案例分析 采用兰纳胡德（Linnerud）给出的关于体能训练的
数据进行偏最小二乘回归建模。在这个数据系统中被 测的样本点，是某健身俱乐部的 20 位中年男子。被测 变量分为两组。第一组是身体特征指标 X ，包括体重、 腰围、脉搏。第二组变量是训练结果指标Y ，包括单 杠、弯曲、跳高。