2.3 多元回归模型

βˆ j , j = 0 ,1 , 2 , L , k
•正规方程组的矩阵形式 正规方程组的 正规方程组
n ∑ X 1i L ∑ X ki
∑X ∑X
1i 2 1i
L ∑ X ki X 1i
L L L L
∑X ∑X X
ki
ˆ β 0 1 ˆ X 11 1i ki β1 = L L L 2 ˆ X ki β k X k1 ∑
µ1 E ( µ1 ) E (μ = E M = M = 0 ) µ E (µ ) n n µ1 µ12 L µ1 µ n E (μ ′ ) = E M (µ1 L µ n ) = E M μ O M µ µ µ L µ2 n n n 1
i i
M ∑ X µ Ki i
1i
i
M ∑ X E (µ ) Ki i
1i
i
假设4，向量µ 有一多维正态分布，即
μ~ N (0, σ 2 I )
同一元回归一样，多元回归还具有如下两个重要假设： 同一元回归一样，多元回归还具有如下两个重要假设： 假设5，样本容量趋于无穷时，各解释变量的方差趋于有 ， 界常数，即n→∞时，
Y1 Y Y = 2 M Yn n×1
µ1 µ 2 μ= M µn n×1
样本回归函数与样本回归模型
• 从一次抽样中获得的总体回归函数的近似，称为样 从一次抽样中获得的总体回归函数的近似，称为样 本回归函数（sample regression function）。 本回归函数（ ） • 样本回归函数的随机形式，称为样本回归模型 样本回归函数的随机形式，称为样本回归模型 model） （sample regression model）。
i =1 n
∂ ˆ ˆ ( Y − X β) ′( Y − X β) = 0 ˆ ∂ β
∂ ˆ′ ˆ ˆ′ ˆ ( Y ′Y − β X ′Y − Y ′X β+ β X ′X β) = 0 ˆ ∂β ˆ − X ′Y + X ′ X β = 0
ˆ X ′Y = X ′X β
ˆ β = ( X ′X ) −1 X ′Y
i =1 i =1 n n
ˆ ˆ ˆ ˆ = ∑ (Yi − ( β 0 + β1 X 1i + β 2 X 2i + L + β k X ki ))
i =1
n
2
Min Q
ˆ ˆ ˆ ˆ Σ ( β 0 + β 1 X 1i + β 2 X 2 i + L + β k X ki ) = Σ Yi ˆ ˆ ˆ ˆ Σ ( β 0 + β 1 X 1i + β 2 X 2 i + L + β k X ki ) X 1i = Σ Yi X 1i ˆ ˆ ˆ ˆ Σ ( β 0 + β 1 X 1i + β 2 i X 2 i + L + β k X ki ) X 2 i = Σ Yi X 2 i M ˆ ˆ ˆ ˆ Σ ( β 0 + β 1 X 1i + β 2 X 2 i + L + β k X ki ) X ki = Σ Yi X ki
1 1 x 2 = ∑ ( X ji − X j ) 2 → Q j ∑ ji n n
或
1 x ′x → Q n
其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量 的离差为元素组成的n×k阶矩阵
x11 L x k1 x= M L M x 1n L x kn
假设6，回归模型的设定是正确的。
总体回归模型的矩阵表示
Y = Xβ+ μ β
1 X 11 1 X 12 X= M M 1 X 1n X 21 L X k1 X 22 L X k 2 M M X 2n L X kn n×( k +1)
β 0 β 1 β= β 2 M β k ( k +1)×1
βj称为回归参数（regression coefficient）。 称为回归参数 回归参数（ ）。
总体回归函数
• 总体回归函数：描述在给定解释变量Xi条件下 总体回归函数：描述在给定解释变量 被解释变量Y 的条件均值。 被解释变量 i的条件均值。
E(Yi | X1i , X 2i ,LX ki ) = β0 + β1 X1i + β2 X 2i + ⋅ ⋅ ⋅ + βk X ki
多元线性回归模型的估计
一、普通最小二乘估计 二、最大或然估计 三、矩估计 四、参数估计量的性质 五、样本容量问题 六、估计实例
说 明
估计方法： 估计方法： – 3大类方法：OLS、ML或者 大类方法： 或者MM 大类方法 、 或者 – 在经典模型中多应用 在经典模型中多应用OLS – 在非经典模型中多应用 在非经典模型中多应用ML或者 或者MM 或者
-973 1314090 1822500 947508 -929 975870 1102500 863784 -445 334050 562500 198381 -412 185580 202500 170074 -159 23910 22500 25408 28 4140 22500 762 402 180720 202500 161283 511 382950 562500 260712 1018 1068480 1102500 1035510 963 1299510 1822500 926599 5769300 7425000 4590020
= μ− X(X′X) X′μ
βj也被称为偏回归系数(partial regression 也被称为偏回归系数 偏回归系数(partial
coefficients)，表示在其他解释变量保持不变 ， 的情况下， 每变化1个单位时 个单位时， 的均值 的情况下，Xj每变化 个单位时，Y的均值 E(Y)的变化。 的变化。 的变化 给出了X 的单位变化对Y均值的 或者说βj给出了 j的单位变化对 均值的 直接” 不含其他变量）影响。 “直接”或“净”（不含其他变量）影响。
var(µ1 ) L cov(µ1 , µ n ) σ 2 L 0 = M O M = M O M = σ 2I cov(µ , µ ) L var(µ n ) 0 L σ 2 n 1
假设3，E(X’µ)=0，即 ∑ µ ∑ E (µ ) X µ ∑ X E (µ ) ∑ = =0 E
640000 352836 1210000 407044 1960000 1258884 2890000 1334025 4000000 1982464 5290000 2544025 6760000 3876961 8410000 4318084 10240000 6682225 12250000 6400900 53650000 29157448
一、普通最小二乘估计(OLS) 普通最小二乘估计(OLS)
1、普通最小二乘估计
• 最小二乘原理：根据被解释变量的所有观测值 最小二乘原理： 与估计值之差的平方和最小的原则求得参数估 计量。 计量。
• 步骤： 步骤：
(Y i , X ji ), i = 1, 2 , L , n , j = 0 ,1, 2 , L k
1 X 12 L X k2
L 1 Y1 L X 1n Y2 L L L L X kn Yn
ˆ (X′X)β= X′Y
条件？ 条件？
ˆ β = ( X ′X ) −1 X ′Y
• OLS估计的矩阵表示 OLS估计的矩阵表示
Q = ˆ ˆ e i2 = e ′e = ( Y − X β) ′( Y − X β) ∑
可支配收入例2.2.1：在上述家庭可支配收入-消费支出 ： 可支配收入 消费支出例中，对 于所抽出的一组样本数，参数估计的计算可通过下面的 表2.2.1进行。
表 2.2.1 参数估计的计算表
Xi
Yi
xi
yi
xi y i
xi2
y i2
X i2
Yi 2
1 800 594 -1350 2 1100 638 -1050 3 1400 1122 -750 4 1700 1155 -450 5 2000 1408 -150 6 2300 1595 150 7 2600 1969 450 8 2900 2078 750 9 3200 2585 1050 10 3500 2530 1350 求和 21500 15674 平均 2150 1567
2.3
经典单方程计量经济学模型： 经典单方程计量经济学模型：多元 线性回归模型 Multiple Linear Regression Model
本节内容
• • • • • 多元线性回归模型概述 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 可化为线性的非线性模型
总体回归模型
已知 假定
∂ ∂β ˆ 0 ∂ ∂β ˆ 1 ∂ ˆ ∂β 2 ∂ ∂β ˆ k Q=0 Q=0 Q=0 M Q=0
ˆ ˆ ˆ ˆ ˆ Yi = β 0 + β 1 X 1i + β 2 X 2 i + L + β ki X Ki
ˆ Q = ∑ ei2 = ∑ (Yi − Yi ) 2
ˆ ˆ ˆ ˆ ˆ Yi = β 0 + β 1 X 1i + β 2 X 2 i + L + β ki X ki ˆ ˆ ˆ ˆ Yi = β 0 + β 1 X 1i + β 2 X 2 i + L + β ki X ki + ei