第四讲参数的估计(2)统计检验(1)

度量不对称的因果关系
2 R 取值 0≦ ≦1 有非负性
说明两变量线性依存程度
度量对称的相关关系 取值 -1≦r≦1 可正可负
25
三、回归系数的区间估计 二、变量的显著性检验
为什么要作区间估计？
运用OLS法可以估计出参数的一 个估计值，但OLS估计只是通过样本得到的点估计，它不一定等 于真实参数，还需要寻求真实参数的可能范围，并说明其可靠性。
19
变差分解的图示(以某一个观测值为例)
Y
Yi

(Y i Y ) yi 变差
Yi
ˆ ) e =来自残差 (Yi Y i i
SRF
ˆ Y i
Y
ˆ Y ) y ˆi 来自回归 (Y i
X
Xi
ˆ Y ) e Yi Y (Y i i
2 y i
2 ˆ y i
2 ˆ var 1 2 x i

ˆ se 1


2 x i
ˆ var 0
n x
2 i
2 X i
2
ˆ se 0

n x
2 X i 2 i

4
2 ˆ var 1 2 x i

ˆ var 0
ˆ和 ˆ 的方差（以及他们的标准误）有如下特点 0 1
y
2 i

( xi yi ) 2 ( x )
2 2 i
x y i i 2 2 2 2 ( xi )( yi ) ( xi )( yi ) r2 ( xi yi ) 2
24
区别：
可决系数
是就模型而言
相关系数
是就两个变量而言
说明解释变量对被解释 变量的解释程度
回
3、最小二乘估计量的性质：
顾
1、最小二乘估计法过程及其相关结论，参数估计量的离差形式 2、基本假设的内容（6条）（高斯-马尔科夫假设4条+2条）
高斯-马尔科夫定理的内容；
ˆ 是 Y 的一个线性函数的具体形式 i 1 权数 k i 的一些性质
ˆ ? 有效性中 var 1

1
§2.3

8
因为Yi是相互独立的，所以所有样本观测值的联合 概率，也即似然函数(likelihood function)为：
L 0 , 1 , 2 P Y1 , Y2 , L , Yn 1
2 2n
n 2
e

1 2
2
Yi 0 1 X i
2
将该似然函数极大化，即可求得到模型 参数的极大似然估计量。
●可决系数取值范围： 0
R 1
2
R
2
ˆ y y
2 i
●随抽样波动，样本可决系数 R 2 是随抽样而变动的随机变量。
对可决系数的统计可靠性也应进行检验，这将在第3章中进行。
22
在例2.1.1的收入-消费支出例中，
2 2 x ( 0 . 670 ) 7425000 i ˆ2 R2 0.9935 1 2 3354955 yi
一、拟合优度检验 三、参数的置信区间估计 二、变量的显著性检验
16
一、拟合优度的度量
概念：
Y
样本回归线是对样本数据的 一种拟合。 ●不同的模型（不同函数形式) 可拟合出不同的样本回归线 ●相同的模型用不同方法去估计 X 参数，也可以拟合出不同的回归线 拟合的回归线与样本观测值总是有偏离。样本回归线 对样本观测数据拟合的优劣程度，可称为拟合优度。 如何度量拟合优度呢？ 拟合优度的度量建立在对 Y 的总变差分解的基础上 17
Yi N 0 1 X i ,
1、
2

ˆ 0
ˆ , ˆ 也是正态分布的。即 0 1 2 X ˆ1 N 1 , N , 2 x n x i
0 2 i 2 i 2
3
问题：一个估计量的精密度由？来衡量。 （它的标准误）
一、总变差的分解
ˆ 与平均值 Y 有以下关系 分析Y的观测值 Yi 、估计值 Y i
ˆ Y ˆ (Y ˆ Y ) (Y Y ˆ) Yi Y (Yi Y ) Y i i i i i
i
将上式两边平方加总，可证得（提示：交叉项
(Yˆ Y )e 0）
i
2 2 2 ˆ ˆ ( Y Y ) ( Y Y ) ( Y Y ) i i i i
一元线性回归模型的参数估计（2）
四、参数估计量的概率分布及随机干扰项 方差的估计 五、参数估计的最大似然法(ML) 六、参数估计的矩法（MM）
2
四、参数估计量的概率分布及随机干扰项方 差的估计
1、若假定
i
遵从以0为均值 2 为方差的正态分布，则
Yi 也遵循正态分布，即
在
i
的正态性假定下，我们可以得到
或者表示为
2 y i

2 ˆ y i

2 e i
总变差 总平方和
解释了的变差 回归平方和
未解释的变差 残差平方和
18
TSS yi2 (Yi Y )2
总离差平方和（Total Sum of Squares）
被解释变量Y的观测值与其平均值的离差平方和 (说明 Y 的总变动程度）
ˆ Y )2 ˆi2 (Y ESS y i
回归平方和（Explained Sum of Squares）
被解释变量Y的估计值与其平均值的离差平方和
ˆ )2 RSS ei2 (Yi Y i
残差平方和（Residual Sum of Squares ）
被解释变量观测值与估计值之差的平方
9
由于似然函数的极大化与似然函数的对数的极 大化是等价的，所以，取对数似然函数如下：
n 1 2 2 L ln L ln 2 2 Yi 0 1 X i 2 2
*
10
解得模型的参数估计量为：
ˆ X i2 Yi X i Yi X i 0 nX i2 (X i ) 2 ˆ nYi X i Yi X i 1 2 2 n X ( X ) i i
-973 1314090 1822500 947508 -929 975870 1102500 863784 -445 334050 562500 198381 -412 185580 202500 170074 -159 23910 22500 25408 28 4140 22500 762 402 180720 202500 161283 511 382950 562500 260712 1018 1068480 1102500 1035510 963 1299510 1822500 926599 5769300 7425000 4590020
可见，在满足一系列基本假设的情况下， 模型结构参数的最大似然估计量与普通最小 二乘估计量是相同的。
11
在最大似然估计法中，
因此， 2 的最大似然估计量不具无偏性， 但却具有一致性。
12
六、参数估计的矩法

矩估计的基本原理是用相应的样本矩来估计总体矩。 在基本假设中，已经给出了两个基本的总体矩条件
拟合优度0.9935说明X的变化可以解释Y的99.35%的变化。
23
可决系数与相关系数的关系
联系：数值上可决系数是相关系数的平方
R
2 2 ˆ y i
y
2 i

ˆ x )2 ( 2i
2 y i
ˆx ˆi y 2 i

2 y i 2 2 x i

2 ˆ2 x 2 i



5
2、随机误差项的方差2的估计 2又称为总体方差。
由于随机项i不可观测，只能从i的估计——残 差ei出发，对总体方差进行估计。
可以证明，2的最小二乘估计量为
ˆ2
2 e wk.baidu.comi
n2
6
它是关于2的无偏估计量。
五、参数估计的最大似然法(ML)
最大似然法(Maximum Likelihood,简称ML)，是
2 i 2 i
21
可决系数的作用
在给定样本中，TSS不变， 如果实际观测点离样本回归线越近，则ESS在TSS中占的比重越大 可决系数越大，说明在总变差中由模型作出了解释的部分占的 比重越大，模型拟合优度越好。反之可决系数越小，说明模型 对样本观测值的拟合程度越差。 可决系数的特点： 2
●可决系数是非负的统计量
2 e i
(Yi Y )
2

2 ˆ ( Y Y ) i i 2 ( Y Y ) i
定义：回归平方和（解释了的变差ESS） 表示:
2 中所占的比重称为可决系数，用 2 差（TSS） R yi
2 ˆ y i 在总变
R
2
ˆ y y
2 2 i
或
R
2
e 1 y
E i 0
Cov Xi , i E Xi i 0
于是相应的样本矩条件可写成
1 n ˆ ˆ X 0 Yi 0 1 i n i 1 1 n ˆ ˆ X X 0 Yi 0 1 i i n i 1


同普通最小二乘法的正规方程组，故得到的估计量一致
随机抽取n组样本观测值（Xi, Yi）（i=1,2,…n）。
由于Yi服从如下的正态分布：
Yi N 0 1 X i , 2
于是，Y的概率函数为
1 P Yi e 2

1 2
2 Y X 0 1 i 2 i
, i 1, 2,L , n （i=1,2,…n）
（ 1）
n x
2 X i i
2 2
ˆ 1
的方差与

2
成正比，而与
ˆ 和 （2） 由于 0
ˆ 是估计量，他们不仅从一个样本变到另 1
x
2 i 成反比。
一个样本而且对给定的一个样本，他们还可能是互相依赖的。
这种依赖性将由他们之间的协方差来衡量，事实上
2 ˆ , ˆ X var ˆ X cov 0 1 1 x2 i
14
ˆ
1
xy x
i 2 i
i
4974750 0.670 7425000
ˆ Y ˆ X 1583 0.670* 2150 142.4 0 1
因此，由该样本估计的回归方程为：
ˆ 142.4 0.670X Y i i
15
2.4 一元线性回归模型的统计检验
13
例：在上述家庭可支配收入-消费支出例中，对于所 抽出的一组样本数，参数估计的计算可通过下面的表 2.2.1进行。
表 2.2.1 参数估计的计算表
Xi
Yi
xi
yi
xi y i
xi2
y i2
X i2
Yi 2
1 800 594 -1350 2 1100 638 -1050 3 1400 1122 -750 4 1700 1155 -450 5 2000 1408 -150 6 2300 1595 150 7 2600 1969 450 8 2900 2078 750 9 3200 2585 1050 10 3500 2530 1350 求和 21500 15674 平均 2150 1567
640000 352836 1210000 407044 1960000 1258884 2890000 1334025 4000000 1982464 5290000 2544025 6760000 3876961 8410000 4318084 10240000 6682225 12250000 6400900 53650000 29157448
2 e i
20
二、可决系数
2 ˆ Y )2 (Y Y ˆ )2 两边： 以TSS同除总变差等式 (Yi Y ) (Y i i i
2 ( Y Y ) i
或
(Yi Y )
1
2 ˆ y
2

2 ˆ ( Y Y ) i
y
2 i

2 y i
不同于最小二乘法的另一种参数估计方法，是从最 大似然原理出发发展起来的其它估计方法的基础。 基本原理： 对于最大似然法，当从模型总体随机抽取n组样
本观测值后，最合理的参数估计量应该使得从模型
中抽取该n组样本观测值的概率最大。
7
在满足基本假设条件下，对一元线性回归模型：
Yi 0 1 X i i