基于偏最小二乘法的故障检测
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
偏最小二乘回归≈多元线性回归分析+典型相关 分析+主成分分析
目录
多元线性回归分析: 在实际问题中我们常常会遇到多个变量同处于一
个过程之中,它们互相联系、互相制约.在有的变量间有 完全确定的函数关系,例如电压 V、电阻 R 与电流 I 之间 有关系式:V=IR;在圆面积 S 与半径 R 之间有关系式 S=π R^2。
身高 143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164
腿长 88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102
以身高 x 为横坐标，以腿长 y 为纵坐标将这些数据
点（xi，yi）在平面直角坐标系上标出。
目录
考 虑 p 个 因 变 量 Y1,Y2,L ,Yp 与 m 个 自 变 量 X1, X2 ,L , X m 的建模问题。
偏最小二乘回归的基本作法是首先在自变量集中 提出第一成分T1（T1是 X1,L , Xm 的线性组合，且尽可 能多地提取原自变量集中的变异信息）；
同时在因变量集中也提取第一成分U1，并要求T1 与U1相关程度达到最大。
102
100
98
96 94
y01x
92
90
88
86
84
140
145
150
155
160
165
多元线性回归分析:
y 0 1x1 ... m xm ;
yi 0 1xi1 2xi2 L mxim i , i 1, 2,L , n
Y X
一般称 E( ) 0,COV (, ) 2 In 为高斯—马尔可夫线性模型(m 元线性回归模型)， 并简记为 (Y , X , 2 I n ) 。
s.t.
w1T w1 w1 2 1,
v1T v1
v1
2 1.
（1）分别提取两变量组的第一对成分，并使之相关性 达最大。
假设从两组变量分别提出第一对成分为T1和U1，T1 是自变量集 X [ x1,L , xm ]T 的线性组合
T1 w11 X1 L w1m Xm w1T X ， U1是因变量集Y [ y1,L , yp ]T 的线性组合
U1 v11Y1 L v1 pYp v1TY 。 为了回归分析的需要，要求
为了方便起见，不妨假定 p个因变量Y1,L ,Yp与m 个自变量 X1,L , Xm 均为标准化变量。自变量组和因变 量组的n次标准化观测数据矩阵分别记为
y11 L
Y0
M
yn1 L
y1m
M
，
X
0
x11 M
LFra Baidu bibliotek
ynm
xn1 L
偏最小二乘回归分析建模的具体步骤如下
x1 p M . xnp
基于偏最小二乘法的 故障检测
目录
目录
在实际问题中，经常遇到需要研究两组多重相关 变量间的相互依赖关系，并研究用一组变量（常称为 自变量或预测变量）去预测另一组变量（常称为因变 量或响应变量），除了最小二乘准则下的经典多元线 性回归分析（MLR），提取自变量组主成分的主成分 回归分析（PCR）等方法外，还有近年发展起来的偏最 小二乘（PLS）回归方法。
y1
1
Y
...
X
1
...
y
n
，
...
1
x11 x21 ... xn1
x12 x22 ... xn2
... ... ... ...
x1m
x2
m
0
1
1
2
... xnm
，
...
m
，
...
n
y 0 1x1 ... mxm 称为回归平面方程。
典型相关分析: 为了从总体上把握两组指标之间的相关关系，分别
然后建立因变量Y1,L ,Yp与T1的回归，如果回归方 程已达到满意的精度，则算法中止。
否则继续第二对成分的提取，直到能达到满意的 精度为止。若最终对自变量集提取r 个成分T1,T2 ,L ,Tr ， 偏最小二乘回归将通过建立Y1,L ,Yp与T1,T2 ,L ,Tr 的回 归式，然后再表示为Y1,L ,Yp 与原自变量的回归方程 式，即偏最小二乘回归方程式。
i）T1和U1各自尽可能多地提取所在变量组的变异信 息；
ii）T1和U1的相关程度达到最大。
由两组变量集的标准化观测数据矩阵 X0和Y0，可
以计算第一对成分的得分向量，记为t1和u1
x11 L
t1
X 0 w1
M
xn1 L
x1m w11 t11
M
M
M ，
xnm w1m tn1
y11 L
u1
Y0v1
M
yn1 L
y1 p
M
vM11
u11
M .
ynp v1 p un1
第一对成分T1 和U 1的协方差Cov(T1 ,U1 )可用第一 对成分的得分向量t1和u1的内积来计算。故而以上两个 要求可化为数学上的条件极值问题
t1 u 1 X w0 Y1 v 01 wT X T1Y v 0 0m1 a x
偏最小二乘回归提供一种多对多线性回归建模的 方法，特别当两组变量的个数很多，且都存在多重相 关性，而观测数据的数量（样本量）又较少时，用偏 最小二乘回归建立的模型具有传统的经典回归分析等 方法所没有的优点。
偏最小二乘回归分析在建模过程中集中了主成分 分析，典型相关分析和线性回归分析方法的特点，因 此在分析结果中，除了可以提供一个更为合理的回归 模型外，还可以同时完成一些类似于主成分分析和典 型相关分析的研究内容，提供一些更丰富、深入的信 息。
自然界众多的变量之间,除了以上所说的那种确定 性的关系外,还有一类重要的关系,即所谓的相关关系. 比如,人的身高与体重之间的关系.虽然一个人的身高并 不能确定体重,但是总的说来,身高者,体重也大.我们称 身高与体重这两个变量具有相关关系。
一元线性回归分析: 例 测 16 名成年女子的身高与腿长所得数据如下：
在两组变量中提取有代表性的两个综合变量 T1 和 U1 （分别为两个变量组中各变量的线性组合），利用这两 个综合变量之间的相关关系来反映两组指标之间的整 体相关性。 主成分分析：
通过构造原变量的适当的线性组合，以产生一系列 互不相关的新变量，从中选出少数几个新变量并使它们 尽可能多地包含原变量的信息（降维），从而使得用这 几个新变量替代原变量分析问题成为可能。
目录
多元线性回归分析: 在实际问题中我们常常会遇到多个变量同处于一
个过程之中,它们互相联系、互相制约.在有的变量间有 完全确定的函数关系,例如电压 V、电阻 R 与电流 I 之间 有关系式:V=IR;在圆面积 S 与半径 R 之间有关系式 S=π R^2。
身高 143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164
腿长 88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102
以身高 x 为横坐标，以腿长 y 为纵坐标将这些数据
点（xi，yi）在平面直角坐标系上标出。
目录
考 虑 p 个 因 变 量 Y1,Y2,L ,Yp 与 m 个 自 变 量 X1, X2 ,L , X m 的建模问题。
偏最小二乘回归的基本作法是首先在自变量集中 提出第一成分T1（T1是 X1,L , Xm 的线性组合，且尽可 能多地提取原自变量集中的变异信息）；
同时在因变量集中也提取第一成分U1，并要求T1 与U1相关程度达到最大。
102
100
98
96 94
y01x
92
90
88
86
84
140
145
150
155
160
165
多元线性回归分析:
y 0 1x1 ... m xm ;
yi 0 1xi1 2xi2 L mxim i , i 1, 2,L , n
Y X
一般称 E( ) 0,COV (, ) 2 In 为高斯—马尔可夫线性模型(m 元线性回归模型)， 并简记为 (Y , X , 2 I n ) 。
s.t.
w1T w1 w1 2 1,
v1T v1
v1
2 1.
（1）分别提取两变量组的第一对成分，并使之相关性 达最大。
假设从两组变量分别提出第一对成分为T1和U1，T1 是自变量集 X [ x1,L , xm ]T 的线性组合
T1 w11 X1 L w1m Xm w1T X ， U1是因变量集Y [ y1,L , yp ]T 的线性组合
U1 v11Y1 L v1 pYp v1TY 。 为了回归分析的需要，要求
为了方便起见，不妨假定 p个因变量Y1,L ,Yp与m 个自变量 X1,L , Xm 均为标准化变量。自变量组和因变 量组的n次标准化观测数据矩阵分别记为
y11 L
Y0
M
yn1 L
y1m
M
，
X
0
x11 M
LFra Baidu bibliotek
ynm
xn1 L
偏最小二乘回归分析建模的具体步骤如下
x1 p M . xnp
基于偏最小二乘法的 故障检测
目录
目录
在实际问题中，经常遇到需要研究两组多重相关 变量间的相互依赖关系，并研究用一组变量（常称为 自变量或预测变量）去预测另一组变量（常称为因变 量或响应变量），除了最小二乘准则下的经典多元线 性回归分析（MLR），提取自变量组主成分的主成分 回归分析（PCR）等方法外，还有近年发展起来的偏最 小二乘（PLS）回归方法。
y1
1
Y
...
X
1
...
y
n
，
...
1
x11 x21 ... xn1
x12 x22 ... xn2
... ... ... ...
x1m
x2
m
0
1
1
2
... xnm
，
...
m
，
...
n
y 0 1x1 ... mxm 称为回归平面方程。
典型相关分析: 为了从总体上把握两组指标之间的相关关系，分别
然后建立因变量Y1,L ,Yp与T1的回归，如果回归方 程已达到满意的精度，则算法中止。
否则继续第二对成分的提取，直到能达到满意的 精度为止。若最终对自变量集提取r 个成分T1,T2 ,L ,Tr ， 偏最小二乘回归将通过建立Y1,L ,Yp与T1,T2 ,L ,Tr 的回 归式，然后再表示为Y1,L ,Yp 与原自变量的回归方程 式，即偏最小二乘回归方程式。
i）T1和U1各自尽可能多地提取所在变量组的变异信 息；
ii）T1和U1的相关程度达到最大。
由两组变量集的标准化观测数据矩阵 X0和Y0，可
以计算第一对成分的得分向量，记为t1和u1
x11 L
t1
X 0 w1
M
xn1 L
x1m w11 t11
M
M
M ，
xnm w1m tn1
y11 L
u1
Y0v1
M
yn1 L
y1 p
M
vM11
u11
M .
ynp v1 p un1
第一对成分T1 和U 1的协方差Cov(T1 ,U1 )可用第一 对成分的得分向量t1和u1的内积来计算。故而以上两个 要求可化为数学上的条件极值问题
t1 u 1 X w0 Y1 v 01 wT X T1Y v 0 0m1 a x
偏最小二乘回归提供一种多对多线性回归建模的 方法，特别当两组变量的个数很多，且都存在多重相 关性，而观测数据的数量（样本量）又较少时，用偏 最小二乘回归建立的模型具有传统的经典回归分析等 方法所没有的优点。
偏最小二乘回归分析在建模过程中集中了主成分 分析，典型相关分析和线性回归分析方法的特点，因 此在分析结果中，除了可以提供一个更为合理的回归 模型外，还可以同时完成一些类似于主成分分析和典 型相关分析的研究内容，提供一些更丰富、深入的信 息。
自然界众多的变量之间,除了以上所说的那种确定 性的关系外,还有一类重要的关系,即所谓的相关关系. 比如,人的身高与体重之间的关系.虽然一个人的身高并 不能确定体重,但是总的说来,身高者,体重也大.我们称 身高与体重这两个变量具有相关关系。
一元线性回归分析: 例 测 16 名成年女子的身高与腿长所得数据如下：
在两组变量中提取有代表性的两个综合变量 T1 和 U1 （分别为两个变量组中各变量的线性组合），利用这两 个综合变量之间的相关关系来反映两组指标之间的整 体相关性。 主成分分析：
通过构造原变量的适当的线性组合，以产生一系列 互不相关的新变量，从中选出少数几个新变量并使它们 尽可能多地包含原变量的信息（降维），从而使得用这 几个新变量替代原变量分析问题成为可能。