多元线性回归分析简介[专业知识]

于是， 0 , 1, , p 的最小二乘估计为
l1p
l
pp
ˆ0 y p ˆ j x j
j 1
ˆ1 ˆ p
L1
l1
y
lpy
，且 Q
ˆ0 , ˆ1,
p
, ˆp lyy ˆ jl jy
j 1
高等教育
20
三、回归方程的显著性检验---F 检验 在 p 元回归分析问题中，回归系数的显著性检验 问题是要检验 ： H0 : 1 p 0
ˆ j 表示 j , j 0,1, , p 的估计值。
称
y ˆ0 ˆ1x1 ˆp xp
为 y 关于 x 的多元线性经验回归方程（函数），它表示 p+1 维空间中的一个超平面（经验回归平面）。
高等教育
6
引进矩阵的形式：
设
y
y1
y2
，
X
1 1
x11 x21
yn
1 xn1
0, 1, p
（ i 1,, n ），由此可得： y1, y2 ,, yn 相互独立，且
yi ~ N (0 1xi1 p xip , 2 ) ，（i 1,, n ）
高等教育
8
二、参数0, 1, , p, 2的估计
普通最小二乘估计(OLSE) 定义离差平方和
n
Q(0, 1, , p ) ˆ ( yi 0 1xi1 p xip )2
i 1
采用最小二乘法估计 0, 1, , p 的准则是：
寻找 ˆ0, ˆ1, , ˆp ，使
Q(ˆ0 , ˆ1,
ˆp )
min
0 ,1 , , p
Q(0,
1,
,p)
高等教育
9
定理 4.1＇在 p 元回归分析问题中， 的最小
二乘估计量为 ˆ X X 1 X Y 。
高等教育
10
误差方差的估计：
函数关系为 y 0 1x1 p xp ，其中 0 , 1, , p 待定，称 1, , p 为这个 p 元线性 回归函数的回归系数。
高等教育
3
类似于一个自变量的情形，可以把自变量 x1, , xp 与因变量Y 之间的相关关系表示成 Y 0 1x1 p xp ，其中随机误差项
（2）
1
2
Q
ˆ0 , ˆ1,
, ˆp
nˆ 2 2
n
p 1ˆ 2
2
~
2 n
p 1
（3） ˆ 与 ˆ 2 （或ˆ 2 ）相互独立。
高等教育
14
定理 4.3＇ 在 p 元回归分析问题中，最小二乘
估计量 ˆ j 是 j 的无偏估计， j 0,1, , p ；ˆ 2 是 2 的无偏估计。
高等教育
15
i 1
（ xi1, , xip , yi ）（ i 1,2,, n ）到回归平面
y ˆ0 ˆ1x1 ˆp xp 的距离的大小。
高等教育
12
一元回归分析中的结论全部可以推广到多 元的情形中来。
高等教育
13
定理 4.2＇ 在 p 元回归分析问题中，（1） ˆ 服从 p+1 维正态分
布，它的均值向量为 ，协方差矩阵为 2 X X 1 ，
最小二乘估计量 ˆj j 0,1, , p 都是样本Y1, ,Yn
的线性函数，因此它们都是线性估计。高斯-马尔科夫 证明了最小二乘估计具有下列优良性质。
高等教育
16
定理 4.6 在 p 元回归分析问题中，对任意的已知
p
p
常数 a0 , a1, , ap ， a j ˆ j 总是待估函数 a j j
当对Y与X进行n次独立观测后,可取得n 组观测值
( xi1, xip , yi ), i 1, 2, , n
于是
有Yi 0 1xi1 p xip i ，i 1, n 。
高等教育
5
回归分析的主要任务是通过 n 组样本观测值
xi1, , xip; yi , i 1,2,, n ，对 0, 1, p 进行估计。一般用
j0
j0
的最优线性无偏估计量。
由此可知：
高等教育
17
定理 4.4＇ 在 p 元回归分析问题中，最小二乘
估计量 ˆ j 是 j 的最优线性无偏估计量，
j 0,1, , p 。
高等教育
18
一些有用的计算公式，类似于一元回归分析问题。
记
xj
1 n
n i 1
xij ,
j 1,
, p;
y
1 n
n i 1
yi
n
l jk (xij x j )(xik xk ), j, k 1, , p i 1
n
l jy (xij x j )( yi y ), j 1, , p i 1
n
lyy ( yi y )2
i 1
高等教育
19
记矩阵
L
l11
lp1
l1 p
l11
L1
lpp
l
p1
则多元线性回归模型来自百度文库表示为：
x1p
x2
p
，
1 2
，
xnp
n
y X
G
M
条件
E( Var( )
)0
2
I
n
其中 I n 为 n 阶单位阵。 高等教育
7
为了得到 ˆ0, ˆ1, , ˆp 更好的性质，我们对 给出进
一步的假设（强假设）
设 1, 2 ,, n 相 互 独 立 ， 且 i ~ N (0, 2 ) ，
ˆ 2 1 Q n
ˆ0 , ˆ1,
, ˆp
ˆ 2 1 Q n p 1
ˆ0 , ˆ1,
, ˆp
当 n 较小时
高等教育
11
称
yˆi ˆ0 ˆ1xi1
ˆp xip
为 yi 的回归拟合值， ei yi yˆi 为 yi 的残差（ i 1,2,, n ），
n
Q(ˆ0, ˆ1, , ˆp ) ei2 从整体上刻化了 n 组样本观测值
高等教育
21
F-检验是根据平方和分解公式，直接从 回归效果来检验回归方程的显著性。和 一元情形类似
~ N 0, 2 。于是，Y ~ N 0 1x1 pxp, 2
其中 0, 1, , p, 2 均未知， 0, 1, , p , 2 0。
高等教育
4
一、多元线性回归模型的一般形式
Y 0 1x1 p xp
多元线性回归方程为：
E ( y) 0 1x1 p x p
高等教育
1
一、多元线性回归的估计和检验
在实际问题中，往往要考虑多个自变量与一个 因变量之间的相关关系．例如，一个人的身高 不仅受到父亲身高的影响，还受到母亲等其他 直系长辈的影响．
高等教育
2
一般地，我们需要研究 p 个自变量 x1, , xp 与 因变量Y 之间相关关系的数量表示。假定自变
量 x1, , xp 与因变量Y 的均值 E Y y 之间的