多元线性回归模型ppt课件

XX 2i 1i
X ki
XX ki 1i
X ki
XX 1i ki
XX 2i ki
X2 ki
bˆ
0
bˆ
Bˆ
1
bˆ
2
bˆ
k
X
Y
Y
X
i
Y
1i i
X
Y
ki i
X XBˆ X Y Bˆ (X X )1 X Y
.
最小二乘法的矩阵表示
Yˆ XBˆ
Y XB ቤተ መጻሕፍቲ ባይዱU
i
1i
2i
ki
得Y： bbXbXbXu
i
0
1 1i
2 2i
k ki i
Y1 b0 b1X11b2X21bkXk1u1 Y2 b0 b1X12b2X22bkXk2 u2 Yn b0 b1X1n b2X2n bkXknun
.
多元模型的矩阵表达式
Y X
1
1
11
Y X
21
12
Y X
n
1
1n
X21 X22
是Y的线性函数 j 正态）
.
线性
Bˆ(XX)1XY
.
无偏性
E(Bˆ) E[(XX )1 XY] E[(XX )1 X(XB N)] E[(XX )1 XXB(XX )1 XN] B(XX )1 E(XN) B
.
有效性
回忆：Cov(x) E(x E(x) )2
Cov(Bˆ) E[(Bˆ E(Bˆ)(Bˆ E(Bˆ))]
小的）
结论：在古典 OL 假 估 S定 计下 式 是， 最佳线
无偏估B计 LU ） （ E
.
OLS估计量的性质（续）
(4)在古典假定下，j ~ N( j ,Var( j )), j 1,2,...,k
其中，Var( j ) 2cjj,cjj是（X'X）1中对角线上第j
个元素。
（ui正态,Y是ui的线性函数 Y正态，又 j
多元线性回归模型
.
主要内容
多元线性回归模型的一般形式 参数估计（ OLS估计） 假设检验 预测
.
一. 多元线性回归模型
问题的提出 解析形式 矩阵形式
.
问题的提出
现实生活中引起被解释变量变化的因素并非仅 只一个解释变量，可能有很多个解释变量。
例如，产出往往受各种投入要素——资本、劳 动、技术等的影响；销售额往往受价格和公司 对广告费的投入的影响等。
0 11 2 2
kk
解释变量 Xi 是确定性变量，不是随机变量；解释变量 之间互不相关，即无多重共线性。
随机误差项具有0均值和同方差 随机误差项不存在序列相关关系
随机误差项与解释变量之间不相关
随机误差项服从0均值、同方差的正态分布
.
多元模型的解析表达式
YbbXbXbXu
0
11
22
kk
n个样本 (Y,观 X,X测 ,,X 值 ) i1,2,,n
( k 1) ( k 1)
E[(Bˆ B)(Bˆ B)]
E[((X X )1 X Y B)((X X )1 X Y B)]
E[((X X )1 X ( XB N ) B)((X X )1 X ( XB N ) B)]
X k2
X kn
.
二. 参数估计(OLS)
参数值估计 参数估计量的性质 偏回归系数的含义 正规方程 样本容量问题
.
2.1参数值估计(OLS)
e n
Q
n
2
i
yi
2
yˆi
i1
i1
n
2
Yi bˆ0bˆ1 X1i bˆk Xki
i1
.
Q
bˆ 0
0
Q
bˆ 1
0
Q
X2n
X X X bbbb uuu kkk12n
k102
1 2 n
YXB U
.
矩阵形式
Y XB U
Y 1
Y
Y 2
Y n
b 0
B
b b
1 2
b k
X 1
11
X X
1
12
X 1
1n
X 21 X 22
X 2n
u 1
U
u2
u n
X k1
n
X 1i
X 1i
X2 1i
X 2i
X X 2i 1i
bˆ
X ki
XX ki 1i
0 bˆ bˆ12
Y X1iiYi
X ki
XX 1i ki
XX 2i ki
X2 ki
bˆk
XkYi i
.
正规方程
矩阵形式
n
XX
X 1i
X 1i
X2 1i
X 2i
所以在一元线性模型的基础上，提出多元线性 模型——解释变量个数≥ 2
.
社会经济现象的复杂性 ！
● 对人均国民生产总值（Y）的 影响因素（X）有： 人口变动因素、固定资产数、货币供给量、 物价指数、国内国际市场供求关系等
● 对汽车需求量（Y）的 影响因素（X）有： 收入水平、汽车价格、 汽油价格等
bˆ 2
0
Q
bˆ k
0
得到下列方程组
Yi bˆ0bˆ1 X1i bˆk Xki 0
Yi Yi
X1i X2i
bˆ0 bˆ0
bˆ1 bˆ1
X1i X1i
bˆk bˆk
Xki Xki
X 0 1i
X 0 2i
Yi
xkibˆ0bˆ1 X1i
bˆk
Xki
X 0 ki
求参数估计值的实质是求一个k+1元方程组
U ~ N (0, 2)
e n
Q
n
2
i
2
yi yˆ i
i 1
i 1
E Y Yˆ Y XBˆ
ee (Y XBˆ )(Y XBˆ )
Q (Y Bˆ X )(Y XBˆ )
( Y Y Y XBˆ Bˆ X Y Bˆ X XBˆ ) 为什么 Y XBˆ Bˆ X Y ？
.
多元线性回归模型表示方法
多元回归模型:含两个以上解释变量的回归模 型
多元线性回归模型:一个应变量与多个解释变 量之间设定的是线性关系
多元线性回归模型一般形式为：
Y b b X b X b X u
0 11 2 2
kk
.
多元线性回归模型的假设
Y b b X b X b X u
.
正规方程
变成矩阵形式
nbˆ bˆ X bˆ X bˆ X Y
0 1
1i
2
2i
k
ki
i
bˆ0
X bˆ
1i
1
X2 bˆ
1i
2
XX bˆ
2i 1i
k
XX ki 1i
XY 1i i
bˆ0
X bˆ ki 1
XX bˆ 1i ki 2
XX bˆ
2i ki
k
X2 ki
XY ki i
Y Y 2 Bˆ X Y Bˆ X XBˆ
Q Bˆ
0
X Y X XBˆ 0
Bˆ X X 1 X Y
ˆ 2 ee n k 1
.
2.2最小二乘估计量的性质
（1）线性（估计量都是被解释变量观测值的线性组合） （2）无偏性（估计量的数学期望=被估计的真值） （3）有效性（估计量的方差是所有线性无偏估计中最