多元线性回归模型PPT优秀课件

0 11 22
kk
解释变量 Xi 是确定性变量，不是随机变量；解释变量 之间互不相关，即无多重共线性。
随机误差项具有0均值和同方差 随机误差项不存在序列相关关系 随机误差项与解释变量之间不相关 随机误差项服从0均值、同方差的正态分布
7
多元模型的解析表达式
YbbXbX bXu
0
11
22
kk
多元线性回归模型
1
主要内容
多元线性回归模型的一般形式 参数估计（ OLS估计） 假设检验 预测
2
一. 多元线性回归模型
问题的提出 解析形式 矩阵形式
3
问题的提出
现实生活中引起被解释变量变化的因素并非仅 只一个解释变量，可能有很多个解释变量。
例如，产出往往受各种投入要素——资本、劳 动、技术等的影响；销售额往往受价格和公司 对广告费的投入的影响等。
14
正规方程
矩阵形式
n
XX
X 1i
X 1i
X2 1i
X 2i
XX 2i 1i
X ki
XX ki 1i
X ki
XX 1i ki
XX 2i ki
X2 ki
bˆ
0
bˆ
Bˆ
1
bˆ
2
bˆ
k
X
Y
Y
X
i
Y
1i i
X
Y
ki i
X XBˆ X Y Bˆ (X X )1 X Y
Y Y 2 Bˆ X Y Bˆ X XBˆ
Q Bˆ
0
X Y X XBˆ 0
Bˆ X X 1 X Y
ˆ 2 ee n k 1
16
2.2最小二乘估计量的性质
（1）线性（估计量都是被解释变量观测值的线性组合） （2）无偏性（估计量的数学期望=被估计的真值） （3）有效性（估计量的方差是所有线性无偏估计中最
Y1 1 Y21 Yn 1
X1 1 X1 2
X1n
b X X u 21
b X X u 22 b
X X b u 2n
kkk12n
k102
1 2 n
YXB U
9
矩阵形式
Y XB U
Y 1
Y
Y 2
Y n
b 0
B
b b
1 2
b k
X X X 1
11
21
k 1
X X X X
Xki
X 0 ki
求参数估计值的实质是求一个k+1元方程组
13
正规方程
变成矩阵形式
nbˆ bˆ X bˆ X bˆ X Y
0 1
1i
2
2i
k
ki
i
bˆ0 X1 i bˆ1 X 12i bˆ2
XX bˆ
2i 1i
k
XX ki 1i
XY 1i i
bˆ0
X bˆ ki 1
15
最小二乘法的矩阵表示
Yˆ XBˆ
Y XB U
U ~ N (0, 2)
e n
Q
n
2
i
2
yi yˆ i
i 1
i 1
E Y Yˆ Y XBˆ
ee (Y XBˆ )(Y XBˆ )
Q (Y Bˆ X )(Y XBˆ )
( Y Y Y XBˆ Bˆ X Y Bˆ X XBˆ ) 为什么 Y XBˆ Bˆ X Y ？
是Y的线性函数 j 正态）
ቤተ መጻሕፍቲ ባይዱ
18
线性
Bˆ(XX)1XY
19
无偏性
E(Bˆ) E[(XX )1 XY] E[(XX )1 X(XB N)] E[(XX )1 XXB(XX )1 XN] B(XX )1 E(XN) B
20
有效性
回忆：Cov(x) E(x E(x) )2
Cov(Bˆ) E[(Bˆ E(Bˆ)(Bˆ E(Bˆ))]
5
多元线性回归模型表示方法
多元回归模型:含两个以上解释变量的回归模 型
多元线性回归模型:一个应变量与多个解释变 量之间设定的是线性关系
多元线性回归模型一般形式为：
Y b b X b X b X u
0 11 22
kk
6
多元线性回归模型的假设
Y b b X b X b X u
1
12
22
k2
X X X 1
1n
2n
kn
u 1
U
u
2
u n
10
二. 参数估计(OLS)
参数值估计 参数估计量的性质 偏回归系数的含义 正规方程 样本容量问题
11
2.1参数值估计(OLS)
e n
Q
n
2
i
yi
2
yˆi
i1
i1
n
2
Yi bˆ0bˆ1 X1i bˆk Xki
小的）
结论：在古典 OL 假 估 S定 计下 式 是， 最佳线
无偏估B计 LU ） （ E
17
OLS估计量的性质（续）
(4)在古典假定下，j ~ N( j ,Var( j )), j 1,2,...,k
其中，Var( j ) 2cjj,cjj是（X'X）1中对角线上第j
个元素。
（ui正态,Y是ui的线性函数 Y正态，又 j
i1
Q
bˆ 0
0
Q
bˆ 1
0
Q
bˆ 2
0
Q
bˆ k
0
12
得到下列方程组
Yi bˆ0bˆ1 X1i bˆk Xki 0
Yi Yi
X1i X2i
bˆ0 bˆ0
bˆ1 bˆ1
X1i X1i
bˆk bˆk
Xki Xki
X 0 1i
X 0 2i
Yi
xkibˆ0bˆ1 X1i bˆk
所以在一元线性模型的基础上，提出多元线性 模型——解释变量个数≥ 2
4
社会经济现象的复杂性 ！
● 对人均国民生产总值（Y）的 影响因素（X）有： 人口变动因素、固定资产数、货币供给量、 物价指数、国内国际市场供求关系等
● 对汽车需求量（Y）的 影响因素（X）有： 收入水平、汽车价格、 汽油价格等
XX bˆ 1i ki 2
XX bˆ
2i ki
k
X2 ki
XY ki i
n
X 1i
X 1i
X2 1i
X 2i
X X 2i 1i
bˆ
X ki
XX ki 1i
0 bˆ bˆ12
Y X1iiYi
X ki
XX 1i ki
XX 2i ki
X2 ki
bˆk
XkYi i
( k 1) ( k 1)
E[(Bˆ B)(Bˆ B)]
E[((X X )1 X Y B)((X X )1 X Y B)]
E[((X X )1 X ( XB N ) B)((X X )1 X ( XB N ) B)]
n个样本 (Y,X 观 ,X, 测 ,X)值 i1,2, ,n
i
1i
2i
ki
得Y： bbXbX bXu
i
0 1 1i
2 2i
k ki i
Y1 b0 b1X11b2X21bkXk1u1 Y2 b 0 b 1X 12b2X22bkXk2 u2 Yn b0 b1X1n b2X2n bkXknun
8
多元模型的矩阵表达式