第四讲参数的估计(2)统计检验(1)

不同于最小二乘法的另一种参数估计方法，是从最 大似然原理出发发展起来的其它估计方法的基础。 基本原理： 对于最大似然法，当从模型总体随机抽取n组样
本观测值后，最合理的参数估计量应该使得从模型
中抽取该n组样本观测值的概率最大。
7
在满足基本假设条件下，对一元线性回归模型：
Yi 0 1 X i i
回
3、最小二乘估计量的性质：
顾
1、最小二乘估计法过程及其相关结论，参数估计量的离差形式 2、基本假设的内容（6条）（高斯-马尔科夫假设4条+2条）
高斯-马尔科夫定理的内容；
ˆ 是 Y 的一个线性函数的具体形式 i 1 权数 k i 的一些性质
ˆ ? 有效性中 var 1

1
§2.3

-973 1314090 1822500 947508 -929 975870 1102500 863784 -445 334050 562500 198381 -412 185580 202500 170074 -159 23910 22500 25408 28 4140 22500 762 402 180720 202500 161283 511 382950 562500 260712 1018 1068480 1102500 1035510 963 1299510 1822500 926599 5769300 7425000 4590020
度量不对称的因果关系
2 R 取值 0≦ ≦1 有非负性
说明两变量线性依存程度
度量对称的相关关系 取值 -1≦r≦1 可正可负
25
三、回归系数的区间估计 二、变量的显著性检验
为什么要作区间估计？
运用OLS法可以估计出参数的一 个估计值，但OLS估计只是通过样本得到的点估计，它不一定等 于真实参数，还需要寻求真实参数的可能范围，并说明其可靠性。
9
由于似然函数的极大化与似然函数的对数的极 大化是等价的，所以，取对数似然函数如下：
n 1 2 2 L ln L ln 2 2 Yi 0 1 X i 2 2
*
10
解得模型的参数估计量为：
ˆ X i2 Yi X i Yi X i 0 nX i2 (X i ) 2 ˆ nYi X i Yi X i 1 2 2 n X ( X ) i i
一、拟合优度检验 三、参数的置信区间估计 二、变量的显著性检验
16
一、拟合优度的度量
概念：
Y
样本回归线是对样本数据的 一种拟合。 ●不同的模型（不同函数形式) 可拟合出不同的样本回归线 ●相同的模型用不同方法去估计 X 参数，也可以拟合出不同的回归线 拟合的回归线与样本观测值总是有偏离。样本回归线 对样本观测数据拟合的优劣程度，可称为拟合优度。 如何度量拟合优度呢？ 拟合优度的度量建立在对 Y 的总变差分解的基础上 17
●可决系数取值范围： 0
R 1
2
R
2
ˆ y y
2 i
●随抽样波动，样本可决系数 R 2 是随抽样而变动的随机变量。
对可决系数的统计可靠性也应进行检验，这将在第3章中进行。
22
在例2.1.1的收入-消费支出例中，
2 2 x ( 0 . 670 ) 7425000 i ˆ2 R2 0.9935 1 2 3354955 yi
2 i 2 i
21
可决系数的作用
在给定样本中，TSS不变， 如果实际观测点离样本回归线越近，则ESS在TSS中占的比重越大 可决系数越大，说明在总变差中由模型作出了解释的部分占的 比重越大，模型拟合优度越好。反之可决系数越小，说明模型 对样本观测值的拟合程度越差。 可决系数的特点： 2
●可决系数是非负的统计量
ˆ Y )2 ˆi2 (Y ESS y i
回归平方和（Explained Sum of Squares）
被解释变量Y的估计值与其平均值的离差平方和
ˆ )2 RSS ei2 (Yi Y i
残差平方和（Residual Sum of Squares ）
被解释变量观测值与估计值之差的平方
可见，在满足一系列基本假设的情况下， 模型结构参数的最大似然估计量与普通最小 二乘估计量是相同的。
11
在最大似然估计法中，
因此， 2 的最大似然估计量不具无偏性， 但却具有一致性。
12
六、参数估计的矩法

矩估计的基本原理是用相应的样本矩来估计总体矩。 在基本假设中，已经给出了两个基本的总体矩条件



5
2、随机误差项的方差2的估计 2又称为总体方差。
由于随机项i不可观测，只能从i的估计——残 差ei出发，对总体方差进行估计。
可以证明，2的最小二乘估计量为
ˆ2
2 e i
n2
6
它是关于2的无偏估计量。
五、参数估计的最大似然法(ML)
最大似然法(Maximum Likelihood,简称ML)，是
19
变差分解的图示(以某一个观测值为例)
Y
Yi

(Y i Y ) yi 变差
Yi
ˆ ) e =来自残差 (Yi Y i i
SRF
ˆ Y i
Y
ˆ Y ) y ˆi 来自回归 (Y i
X
Xi
ˆ Y ) e Yi Y (Y i i
2 y i
2 ˆ y i
640000 352836 1210000 407044 1960000 1258884 2890000 1334025 4000000 1982464 5290000 2544025 6760000 3876961 8410000 4318084 10240000 6682225 12250000 6400900 53650000 29157448
E i 0
Cov Xi , i E Xi i 0
于是相应的样本矩条件可写成
1 n ˆ ˆ X 0 Yi 0 1 i n i 1 1 n ˆ ˆ X X 0 Yi 0 1 i i n i 1


同普通最小二乘法的正规方程组，故得到的估计量一致
2 ˆ var 1 2 x i

ˆ se 1


2 x i
ˆ var 0
n x
2 i
2 X i
2
ˆ se 0

n x
2 X i 2 i

4
2 ˆ var 1 2 x i

ˆ var 0
ˆ和 ˆ 的方差（以及他们的标准误）有如下特点 0 1
8
因为Yi是相互独立的，所以所有样本观测值的联合 概率，也即似然函数(likelihood function)为：
L 0 , 1 , 2 P Y1 , Y2 , L , Yn 1
2 2n
ቤተ መጻሕፍቲ ባይዱ
n 2
e

1 2
2
Yi 0 1 X i
2
将该似然函数极大化，即可求得到模型 参数的极大似然估计量。
Yi N 0 1 X i ,
1、
2

ˆ 0
ˆ , ˆ 也是正态分布的。即 0 1 2 X ˆ1 N 1 , N , 2 x n x i
0 2 i 2 i 2
3
问题：一个估计量的精密度由？来衡量。 （它的标准误）
14
ˆ
1
xy x
i 2 i
i
4974750 0.670 7425000
ˆ Y ˆ X 1583 0.670* 2150 142.4 0 1
因此，由该样本估计的回归方程为：
ˆ 142.4 0.670X Y i i
15
2.4 一元线性回归模型的统计检验
一元线性回归模型的参数估计（2）
四、参数估计量的概率分布及随机干扰项 方差的估计 五、参数估计的最大似然法(ML) 六、参数估计的矩法（MM）
2
四、参数估计量的概率分布及随机干扰项方 差的估计
1、若假定
i
遵从以0为均值 2 为方差的正态分布，则
Yi 也遵循正态分布，即
在
i
的正态性假定下，我们可以得到
13
例：在上述家庭可支配收入-消费支出例中，对于所 抽出的一组样本数，参数估计的计算可通过下面的表 2.2.1进行。
表 2.2.1 参数估计的计算表
Xi
Yi
xi
yi
xi y i
xi2
y i2
X i2
Yi 2
1 800 594 -1350 2 1100 638 -1050 3 1400 1122 -750 4 1700 1155 -450 5 2000 1408 -150 6 2300 1595 150 7 2600 1969 450 8 2900 2078 750 9 3200 2585 1050 10 3500 2530 1350 求和 21500 15674 平均 2150 1567
y
2 i

( xi yi ) 2 ( x )
2 2 i
x y i i 2 2 2 2 ( xi )( yi ) ( xi )( yi ) r2 ( xi yi ) 2
24
区别：
可决系数
是就模型而言
相关系数
是就两个变量而言
说明解释变量对被解释 变量的解释程度
（ 1）
n x
2 X i i