第3章 双变量模型：假设检验
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（2）推导各个估计量的方差，并确定哪个是最小的（如果有的话）？
证明：
（1）因 满足所有的基本假定，所以有
因此，可得：
（2）因
所以
3.4 OLS估计量的抽样分布或概率分布
1．两个定理
（1）中心极限定理 大量独立同分布的随机变量的累计结果倾向于正态分布。
（2）引理 任何正态分布变量的线性组合也呈现正态分布。
则可得到B2的两个不同的估计值：
，
（2）在基本假设E(ui)=0下， 和 均为无偏估计量。
（3）拟合线 通常不会经过均值点（ ），但拟合线 则经过。
（4）只有 是B2的OLS估计量。
证明：
（1）由第一个正规方程 ，得
或
求解，得
由第二个正规方程 ，得
或
求解，得
（2）对于 ，求期望
对于 ，求期望
（3）要想拟合线 通过点（ ）， 必须等于 。但
2．随机误差项的分布
在总体回归函数 中，根据经典假设，误差项 服从均值为0，方差为 的正态分布。即
3．估计量b1和b2的分布
由于OLS估计量是随机误差项的线性组合，根据中心极限定理及其引理，可得
3.5 假设检验
1．假设检验的含义
首先假定解释变量X对被解释变量Y没有影响，即
如果零假设为真，则没有必要把X纳入模型。
(1)假定给定下列信息
Yi= B1+B2Xi+ ui
=1.5 +2.0Xi+ ui
这里，ui~N(0, 4)
(2)假定再给Xi的10个值：1,2,3,4,5,6,7,8,9,10；
(3)使用统计软件产生均值为零和方差为4的随机误差项ui的10个随机数；
(4)利用上面所给的方程得到Y的10个值；
(5)将Yi对X进行回归，得到b1, b2,和 ；
2．置信区间检验
为了确定估计的bi对真实的Bi的“靠近”程度，可设法找出两个正数δ和α（其中0<α<1），以使得区间（bi-δ,bi+δ）包含真实Bi的概率为1-α。用符号表示为
这样的区间如果存在，就称为B2的置信区间。其中，1-α称为置信系数或置信概率，α称为显著性水平，bi-δ和bi+δ分别称为下置信限和上置信限。
证明：
（这里， ）
其中， 。
同样可得：
其中， 。
(2)b1和b2是无偏估计量，即E(b1)=B1，E(b2)=B2。
①对于b2，证明
易知， ，
所以
故得
②对于b1，证明
易知， ， 。
所以
故得
(3)b1和b2是有效估计量，即在所有线性无偏估计量中最小二乘估计量b1和b2具有最小方差。
①b1和b2方差求解
第3章 双变量模型：假设检验
本章主要讲授如下内容：
3.1 经典线性回归模型
3.2 OLS估计量的方差与标准差
3.3 OLS估计量的性质
3.4 OLS估计量的抽样分布或概率分布
3.5 假设检验
3.6 拟合优度检验：判定系数R2
3.7 正态性检验
3源自文库8 预测
3.1 经典线性回归模型
经典线性回归模型有如下假定：
通常不等于 。因此，点（ ）不太可能位于直线 上。
相反地，由于 ，所以直线 经过点（ ）。
（4）OLS方法要求残差平方和最小，即
对 求偏导，得
经整理，得
可见， 是B2的OLS估计量。
例题2对一元线性回归模型
试证明
证明：
例题3在一元线性回归模型 中
（1）用不为零的常数δ去乘每一个X值，这样会不会改变Y的拟合值和残差？
例题5令bYX和bXY分别为Y对X回归和X对Y的回归中的斜率，证明：
bYXbXY=r2
其中，r为X与Y之间的线性相关系数。
证：
容易知道，在上述两个回归中，斜率项分别为
，
于是
例题6对于过原点的回归模型 ， ，试证明
证明：
模型 的参数b2的OLS估计量为：
可得
故
例题7证明：仅当 时，Y对X的线性回归的斜率估计量等于X对Y的线性回归的斜率估计量的倒数。
证明：
设 ，则有
再设 ，则有
于是
所以，
即两斜率互为倒数。
例题8证明：相关系数的另一个表达式是
其中，b2为一元线性回归模型一次项系数的估计值，SX、SY分别为样本标准差。
证明：因
所以
例题9设回归模型为 ，这里 满足所有的基本假设。现提出B的三个估计量：
， ，
请回答以下问题：
（1）证明三个估计量都是B的无偏估计量；
如图3-3所示。
6．回归模型是正确设定的。
3.2 OLS估计量的方差与标准差
3.3 OLS估计量的性质
1．高斯—马尔柯夫定理
如果满足经典线性回归模型的基本假定，则在所有线性估计量中，OLS估计量具有最小方差性。即OLS估计量是最优线性无偏估计量（BLUE）。
2．OLS估计量的性质
(1)b1和b2是线性估计量，即它们是随机变量Y的线性函数。
(6)重复上述步骤21次，得到如表3-2所示（Table 3-2）的结果。
结论：假如反复利用最小二乘法求解参数的估计值，所估计出的参数的平均值将等于其真值。也就是说，OLS估计量是无偏的。
例题
例题1没有截距项的一元回归模型
称之为过原点回归。试证明：
（1）如果通过相应的样本回归模型可以得到通常的正规方程组
②证明：
假设 是用其他方法得到的关于B2的线性无偏估计量， ， 。
由无偏性 ，可得：
比较等式两边，得：
，
而且有：
故：
同理，可证得：
(4)误差方差的OLS估计量是无偏的，即 。
证明：
前面已经提及 ，现在要证明 。
对于模型 ，其离差形式为：
根据样本回归函数 ，其离差形式为：
所以
故有：
因为
所以
从而
3．蒙特卡罗实验
1．回归模型是参数线性的，但不一定是变量线性的。
2．解释变量与扰动误差项不相关，即cov(Xi，ui)=0。
3．给定Xi，扰动项的期望或均值为0，即E(u|Xi)=0。
如图3-1所示。
4．ui的方差为常数（或同方差），即var(ui)=σ2。
如图3-2所示。
5．无自相关假定，即cov(ui, uj)=0, i≠j。
，
于是，新模型的回归参数分别为
在新的回归模型下，Y的拟合值与残差分别为
可见，对每个X都加大一个非零常数δ，也不会改变Y的拟合值和残差。
例题4假设有人做了如下的回归
其中，yi，xi分别为Yi，Xi关于各自均值的离差。问b1和b2将分别取何值？
解：
记 ， ，则易知
于是
可见，在离差形式下，没有截距项，只有斜率项。
（2）如果对每个X都加大一个非零常数δ，会不会改变Y的拟合值和残差？
解：
（1）记原总体模型对应的样本回归模型为
则有
，
Yi的拟合值与残差分别为
记 ，则有
记新总体模型对应的样本回归模型为
则有
于是，在新的回归模型下，Y的拟合值与残差分别为
可见，对X乘非零常数后，不改变Y的拟合值与模型的残差。
（2）如果记
则有
证明：
（1）因 满足所有的基本假定，所以有
因此，可得：
（2）因
所以
3.4 OLS估计量的抽样分布或概率分布
1．两个定理
（1）中心极限定理 大量独立同分布的随机变量的累计结果倾向于正态分布。
（2）引理 任何正态分布变量的线性组合也呈现正态分布。
则可得到B2的两个不同的估计值：
，
（2）在基本假设E(ui)=0下， 和 均为无偏估计量。
（3）拟合线 通常不会经过均值点（ ），但拟合线 则经过。
（4）只有 是B2的OLS估计量。
证明：
（1）由第一个正规方程 ，得
或
求解，得
由第二个正规方程 ，得
或
求解，得
（2）对于 ，求期望
对于 ，求期望
（3）要想拟合线 通过点（ ）， 必须等于 。但
2．随机误差项的分布
在总体回归函数 中，根据经典假设，误差项 服从均值为0，方差为 的正态分布。即
3．估计量b1和b2的分布
由于OLS估计量是随机误差项的线性组合，根据中心极限定理及其引理，可得
3.5 假设检验
1．假设检验的含义
首先假定解释变量X对被解释变量Y没有影响，即
如果零假设为真，则没有必要把X纳入模型。
(1)假定给定下列信息
Yi= B1+B2Xi+ ui
=1.5 +2.0Xi+ ui
这里，ui~N(0, 4)
(2)假定再给Xi的10个值：1,2,3,4,5,6,7,8,9,10；
(3)使用统计软件产生均值为零和方差为4的随机误差项ui的10个随机数；
(4)利用上面所给的方程得到Y的10个值；
(5)将Yi对X进行回归，得到b1, b2,和 ；
2．置信区间检验
为了确定估计的bi对真实的Bi的“靠近”程度，可设法找出两个正数δ和α（其中0<α<1），以使得区间（bi-δ,bi+δ）包含真实Bi的概率为1-α。用符号表示为
这样的区间如果存在，就称为B2的置信区间。其中，1-α称为置信系数或置信概率，α称为显著性水平，bi-δ和bi+δ分别称为下置信限和上置信限。
证明：
（这里， ）
其中， 。
同样可得：
其中， 。
(2)b1和b2是无偏估计量，即E(b1)=B1，E(b2)=B2。
①对于b2，证明
易知， ，
所以
故得
②对于b1，证明
易知， ， 。
所以
故得
(3)b1和b2是有效估计量，即在所有线性无偏估计量中最小二乘估计量b1和b2具有最小方差。
①b1和b2方差求解
第3章 双变量模型：假设检验
本章主要讲授如下内容：
3.1 经典线性回归模型
3.2 OLS估计量的方差与标准差
3.3 OLS估计量的性质
3.4 OLS估计量的抽样分布或概率分布
3.5 假设检验
3.6 拟合优度检验：判定系数R2
3.7 正态性检验
3源自文库8 预测
3.1 经典线性回归模型
经典线性回归模型有如下假定：
通常不等于 。因此，点（ ）不太可能位于直线 上。
相反地，由于 ，所以直线 经过点（ ）。
（4）OLS方法要求残差平方和最小，即
对 求偏导，得
经整理，得
可见， 是B2的OLS估计量。
例题2对一元线性回归模型
试证明
证明：
例题3在一元线性回归模型 中
（1）用不为零的常数δ去乘每一个X值，这样会不会改变Y的拟合值和残差？
例题5令bYX和bXY分别为Y对X回归和X对Y的回归中的斜率，证明：
bYXbXY=r2
其中，r为X与Y之间的线性相关系数。
证：
容易知道，在上述两个回归中，斜率项分别为
，
于是
例题6对于过原点的回归模型 ， ，试证明
证明：
模型 的参数b2的OLS估计量为：
可得
故
例题7证明：仅当 时，Y对X的线性回归的斜率估计量等于X对Y的线性回归的斜率估计量的倒数。
证明：
设 ，则有
再设 ，则有
于是
所以，
即两斜率互为倒数。
例题8证明：相关系数的另一个表达式是
其中，b2为一元线性回归模型一次项系数的估计值，SX、SY分别为样本标准差。
证明：因
所以
例题9设回归模型为 ，这里 满足所有的基本假设。现提出B的三个估计量：
， ，
请回答以下问题：
（1）证明三个估计量都是B的无偏估计量；
如图3-3所示。
6．回归模型是正确设定的。
3.2 OLS估计量的方差与标准差
3.3 OLS估计量的性质
1．高斯—马尔柯夫定理
如果满足经典线性回归模型的基本假定，则在所有线性估计量中，OLS估计量具有最小方差性。即OLS估计量是最优线性无偏估计量（BLUE）。
2．OLS估计量的性质
(1)b1和b2是线性估计量，即它们是随机变量Y的线性函数。
(6)重复上述步骤21次，得到如表3-2所示（Table 3-2）的结果。
结论：假如反复利用最小二乘法求解参数的估计值，所估计出的参数的平均值将等于其真值。也就是说，OLS估计量是无偏的。
例题
例题1没有截距项的一元回归模型
称之为过原点回归。试证明：
（1）如果通过相应的样本回归模型可以得到通常的正规方程组
②证明：
假设 是用其他方法得到的关于B2的线性无偏估计量， ， 。
由无偏性 ，可得：
比较等式两边，得：
，
而且有：
故：
同理，可证得：
(4)误差方差的OLS估计量是无偏的，即 。
证明：
前面已经提及 ，现在要证明 。
对于模型 ，其离差形式为：
根据样本回归函数 ，其离差形式为：
所以
故有：
因为
所以
从而
3．蒙特卡罗实验
1．回归模型是参数线性的，但不一定是变量线性的。
2．解释变量与扰动误差项不相关，即cov(Xi，ui)=0。
3．给定Xi，扰动项的期望或均值为0，即E(u|Xi)=0。
如图3-1所示。
4．ui的方差为常数（或同方差），即var(ui)=σ2。
如图3-2所示。
5．无自相关假定，即cov(ui, uj)=0, i≠j。
，
于是，新模型的回归参数分别为
在新的回归模型下，Y的拟合值与残差分别为
可见，对每个X都加大一个非零常数δ，也不会改变Y的拟合值和残差。
例题4假设有人做了如下的回归
其中，yi，xi分别为Yi，Xi关于各自均值的离差。问b1和b2将分别取何值？
解：
记 ， ，则易知
于是
可见，在离差形式下，没有截距项，只有斜率项。
（2）如果对每个X都加大一个非零常数δ，会不会改变Y的拟合值和残差？
解：
（1）记原总体模型对应的样本回归模型为
则有
，
Yi的拟合值与残差分别为
记 ，则有
记新总体模型对应的样本回归模型为
则有
于是，在新的回归模型下，Y的拟合值与残差分别为
可见，对X乘非零常数后，不改变Y的拟合值与模型的残差。
（2）如果记
则有