多元线性回归模型

(
( (
)
) )
(
)
求参数估计值的实质是求一个k+1元方程组
正规方程
变成矩阵形式
ˆ ìn ˆ0 + b å 1 i + b åX i +L + b åX = åY b ˆ X ˆ 1 2 2 k ki i ï ˆ ˆ ˆ ïb åX i + b åX 2 + b åX i X i +L + b åX X i = åX i Y ï ˆ 0 1 1 2 2 1 k ki 1 1 i 1 i í ïL L L L L L L L L ï ˆ 2 ˆ ˆ ˆ ïb åX + b åX i X + b åX i X +L + b åX = åX Y ki 1 1 ki 2 2 ki k ki i ki î 0
X X X
11
12
X X X
21
L L L
22
X X
M
1 n
M
2 n
ö ÷ k 2 ÷ M ÷ ÷ X kn ÷ ø
k 1
二. 参数估计(OLS)
n n n n n
参数值估计 参数估计量的性质 偏回归系数的含义 正规方程 样本容量问题
2.1参数值估计(OLS)
-1 -1 -1
-1
有效性
回忆：Cov x = E ( x - E ( x ) ( ) ) ˆ )( ˆ ˆ ) ¢ Cov B = E B - E ( B B - E ( B ) ] ( ˆ ) [( ˆ
2
( k + 1 ´ ( k + 1 ) )
åX X åX X
ú ú 2 åX ki ú û L
ˆ éb ù 0 ê ú ˆ êb ú 1 ˆ ˆ B = êb ú ê 2 ú êM ú ê ˆ ú k ëb û
é å i ù Y ê ú X 1i Y ú å i X ¢Y = ê ê M ú ê ú êå X ki Y ú i û ë
-1 ˆ B = ( X ¢X ) X ¢Y
ˆ s
2
=
¢ e e n - k - 1
2.2最小二乘估计量的性质
n
（1）线性（估计量都是被解释变量观测值的线性组 合） （2）无偏性（估计量的数学期望=被估计的真值） （3）有效性（估计量的方差是所有线性无偏估计中最 小的）
n n
结论：在古典假定下， OLS 估计式 b 是最佳线性 无偏估计（ BLUE ）
= 0 = 0 = 0 L L = 0
得到下列方程组
ì å ˆ ˆ ˆ Y i - å b 0 + b X 1 i + L + b k X ki = 0 1 ï ï å Y i X 1 i - å b + b X 1 i + L + b X ki X 1 i = 0 ˆ ˆ ˆ 0 1 k ï ï å Y i X 2 i - å ˆ + ˆ X 1 i + L + ˆ X ki X 2 i = 0 b 0 b b k 1 í M ï ï M ï ˆ ˆ ˆ ï å Y i x - å b + b X 1 i + L + b X ki X ki = 0 ki 0 1 k î
2.2 OLS回归线的性质
n
完全同一元情形：
Ù Ù Ù Ù
（ ）回归线过样本均值 1 Y = b 1 + b 2 X 2 i + b 3 X 3 i ... + b k X ki ( ) 2 估计值 Y i 的均值等于实际观测值Y 的均值 i ( ) 3 剩余项（残差）e 的均值为0 i （4 ）应变量估计值 Y i 与残差e 不相关； i （5 ）解释变量X i 与残差e 不相关 i
Y = b + b X 1 + b X 2 + L + b X k + u 0 1 2 k
多元线性回归模型的假设
Y = b + b X + b X 2 + L + b X k + u 0 1 1 2 k
n
解释变量 X 是确定性变量，不是随机变量；解释变量 i 之间互不相关，即无多重共线性。 随机误差项具有0均值和同方差 随机误差项不存在序列相关关系 随机误差项与解释变量之间不相关 随机误差项服从0均值、同方差的正态分布
Ù Ù j Ù Ù Ù
线性
- ˆ = ( X ¢X ) 1 X ¢Y B
无偏性
- ˆ ) = E X ¢X ) 1 X ¢Y ] E( B [(
= E X ¢X ) X ¢( XB + N )] [( = E X ¢X ) X ¢XB + ( X ¢X ) X ¢N ] [( = B + ( X ¢X ) E X ¢N ) ( = B
n
Q = å
i = 1 n
e
i
2
i
=
ˆ å (y - y )
i i
n
2
i = 1
=
ˆ ˆ å (Y - (b + b X
0 1
1 i
ˆ + L + b k X ki
i = 1
))
2
ì ¶ Q ï ¶ b ˆ 0 ï ï ¶ Q ï ˆ ï ¶ b 1 ï ¶ Q ï í ˆ ï ¶ b 2 ïL L ï ï ¶ Q ï ¶ b ˆ k ï ï î
é n ê êå X 1 i ê L ê êå X ki ë
å X å X
L
1 i
1 i 2
1 i
å X å X X
2 i 2 i
1 i
L
ki 2 i ki
å X X å X X
ˆ éb ù L X ki ù ê 0 ú é å Y ù å ú ˆ ê i ú 1 L å X ki X 1 i ú êb ú êå X 1 i Y ú i êb ú = ˆ ú ê 2 ú ê M ú L L úê M ê ú ú 2 L X ki ú ê ú êå X ki Y ú å û b ë i û ˆ ë k û
X ¢X ˆ = X ¢Y B ˆ B = ( X ¢X ) -1 X ¢Y
最小二乘法的矩阵表示
ˆ Y = X ˆ B
n 2 i =1
Y = XB + U
n i =1
U ~ N ( , ) 0 s ˆ E = Y - Y = Y - X ˆ B
2
Q = å ei = å y - y ˆ i i
(
)
2
ˆ ¢ Y ˆ ¢ = e e = ( - X B ) ( - X B ) Y Q = ( ¢ - B ¢X ¢)( - X ˆ ) Y ˆ Y B ˆ ˆ ˆ ˆ = ( Y ¢Y - Y ¢X B - B ¢X ¢Y + B ¢X ¢X B ) ˆ ˆ = Y ¢Y - 2 B ¢X ¢Y + B ¢X ¢X ˆ B ¶ Q = 0 ˆ ¶ B - X ¢Y + X ¢X ˆ = 0 B 为什么 Y ¢X ˆ = B ¢X ¢Y ？ B ˆ
正规方程
矩阵形式
é n ê 1 êåX i X¢X = ê L ê êåX ki ë X å åX åX åX X
1 i 2 i 2 1 i 2 i
L L L L
1 i
åX ù ú X X ú å
ki ki 1 i
L
1 i ki
L
2 i ki
Y = XB + U
矩阵形式
Y = XB + U æ Y 1 ö ç ÷ ç ÷ Y = ç Y 2 ÷ M ç ÷ ç ÷ è Y n ø æ b ö ç 0 ÷ ç b ÷ 1 ç ÷ B = b ç 2 ÷ ç M÷ ç ÷ k è b ø æ 1 ç ç 1 X = ç M ç ç 1 è æ u ö ç 1 ÷ ç 2 ÷ U = ç u ÷ M ç ÷ ç ÷ n è u ø
Ù
OLS估计量的性质（续）
( ) 4 在古典假定下， j ~ N ( b j , ( b j )), j = 1 2 k b Var , ,..., 其中， Var ( b j ) = s 2 c jj , c jj 是（ X ' X -1 ） 中对角线上第 j 个元素。 （ u 正态 , Y u 的线性函数 Þ Y 正态，又 b 是 i i 是 Y 的线性函数 Þ b j 正态）
= E B - B B - B ¢] [( ˆ )( ˆ )
-1 -1 = E X ¢X ) X ¢Y - B X ¢X ) X ¢Y - B ¢] [(( )(( ) -1 -1 = E X ¢X ) X ¢( XB + N ) - B X ¢X ) X ¢( XB + N ) - B ¢] [(( )(( ) -1 -1 = E X ¢X ) X ¢N ¢X ( X ¢X ) ] [( N -1 -1 = ( X ¢X ) X ¢E ( N ¢) X ( X ¢X ) N -1 -1 = E ( N ¢)( X ¢X ) X ¢X ( X ¢X ) N -1 = s ( X ¢X ) 2
n
n
社会经济现象的复杂性 ！
● 对人均国民生产总值（Y）的 影响因素（X）有： 人口变动因素、固定资产数、货币供给量、 物价指数、国内国际市场供求关系等
● 对汽车需求量（Y）的 影响因素（X）有： 收入水平、汽车价格、 汽油价格等
多元线性回归模型表示方法
n
n
n
多元回归模型:含两个以上解释变量的回归模 型 多元线性回归模型:一个应变量与多个解释变 量之间设定的是线性关系 多元线性回归模型一般形式为：
多元线性回归模型
主要内容
n n n n
多元线性回归模型的一般形式 参数估计（ OLS估计） 假设检验 预测
一. 多元线性回归模型
n n n
问题的提出 解析形式 矩阵形式
问题的提出
n
现实生活中引起被解释变量变化的因素并非仅 只一个解释变量，可能有很多个解释变量。 例如，产出往往受各种投入要素——资本、劳 动、技术等的影响；销售额往往受价格和公司 对广告费的投入的影响等。 所以在一元线性模型的基础上，提出多元线性 模型——解释变量个数≥ 2
wk.baidu.com
多元模型的矩阵表达式
æ Y 1 ö æ 1 ç ÷ ç ç Y 2 ÷ ç 1 ç M ÷ = ç M ç ÷ ç ç ÷ ç 1 è Y n ø è
X X X
11
12
X X X
21 22
L L L
M
1 n
M
2 n
æ 0 ö ö ç b ÷ æ u ö X k 1 ÷ ç ÷ ç 1 ÷ 1 X k 2 ÷ ç b ÷ + ç u 2 ÷ 2 M ÷ ç b ÷ ç M÷ ÷ ÷ ç M÷ ç ÷ ç ÷ ç ÷ è u ø X kn ø è b k ø n
n n n n
多元模型的解析表达式
Y = b + b X 1 + b X 2 + L + b X k + u 0 1 2 k n 个样本观测值 ( i , X 1 i , X 2 i , , X ki ) Y L i = 1 2 L , n , , 得： Y = b + b X 1 i + b X 2 i + L + b X ki + u i 0 1 2 k i ìY1 = b + b X 11 + b X 21 + L + b X k 1 + u 0 1 2 k 1 ïY = b + b X + b X + L + b X + u ï 2 0 1 12 2 22 k k 2 2 í ïL L L L L L ïY = b + b X 1 n + b X 2 n + L + b X kn + u 2 k n î n 0 1