4多元回归分析：推断
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
y
f(y|x)
.
Normal distributions
. E(y|x) = b + b x
0 1
x1
x2
Introductory Econometrics 16 of 94
定理4.1 正态样本分布
在CLM假设下，条件于解释变量的样 ˆ ~ Normal b ,Var b ˆ ,故 本值有b j j j ˆ b b j j ~ Normal 0,1 ˆ sd b j
28 of 94
The t Test (cont)
t统计量 t bˆ 度量了估计值 bˆ j 相对0偏离了 多少个估计的标准离差。 ˆ 相同 它的符号与 b j 注意我们检验的是关于总体参数的假设， 而不是关于来自某一特定样本的估计值的 假设。
j
Introductory Econometrics
Introductory Econometrics
35 of 94
例子：学生表现与学校规模
^math10=2.274+0.00046totcomp+0.048staff – 0.0002enroll (6.113) (0.0001) (0.04) (0.00022) 变量含义： math10：通过MEAP标准化10年级数学测验的学生 百分比 totcomp：平均教师年度补偿 staff：每千个学生对应的工作人员数目 enroll：学生录取
32 of 94
单边替代假设
yi = b0 + b1xi1 + … + bkxik + ui H0: bj = 0
Fail to reject
H 1: bj > 0
1 a 0
Introductory Econometrics
reject
a
cຫໍສະໝຸດ Baidu
33 of 94
t分布与正态分布
注意：当t分布的自由度增大时，t分
Introductory Econometrics
11 of 94
假设MLR.6 （正态性）
我们已经知道当Gauss－Markov假设成立 时，OLS是最优线性无偏估计。 为了进行经典的假设检验，我们要在 Gauss－Markov假设之外增加另一假设。 假设MLR.6 （正态性）：假设u与x1, x2,…, xk独立，且u服从均值为0，方差为2的正 态分布。
19 of 94
假设检验背景知识回顾
被检验的假设称为零假设
假设检验利用数据将零假设和另一个假设 （替代假设）进行比较
Introductory Econometrics
20 of 94
背景知识回顾
替代假设给出在零假设不成立时的真实情 况。 我们的目的：利用一个随机选取的样本提 供给我们的证据来决定是否应当接受零假 设。
中心极限定理
假设y1 , y2 ,... , yn独立同分布，均值为， 方差为 ，其中0 。当n ，
2 y 2 y
( y ) / 的分布可以被标准正态分
2 y
布近似得任意好。
Introductory Econometrics
9 of 94
中心极限定理
这个定理说明，在一般条件下，如果
Introductory Econometrics
21 of 94
背景知识回顾
在假设检验中存在两种可能的错误。 第一类错误：当零假设为真时拒绝零假设 （弃真） 第二类错误：当零假设为假时未拒绝零假 设（取伪）
Introductory Econometrics
22 of 94
背景知识回顾
~ tn k 1
2 ˆ 注意这是一个 t 分布，因为我们要用 来
注意自由度：n k 1
Introductory Econometrics 26 of 94
t检验
知道标准化估计量的样本分布后，便可以 进行假设检验 由零假设出发 例如， H0: bj=0 如果接受零假设，则认为控制x其它分量 后， xj对y没有边际影响。
29 of 94
t检验：单边替代假设
除了零假设外，我们需要替代假设H1，并 设定显著性水平 H1可以是单边或双边的 H1: bj > 0 和 H1: bj < 0 是单边的 H1: bj 0是双边替代假设
Introductory Econometrics
30 of 94
单边替代假设
Introductory Econometrics
27 of 94
The t Test (cont)
ˆ 的t统计量： 为了进行检验，我们首 先要构造b j t bˆ
j
ˆ b j
ˆ se b j
然后利用t统计量和拒绝条件来 决定是否接受零假设， H0
Introductory Econometrics
Introductory Econometrics 37 of 94
例子：学生表现与学校规模
如果我们同样感兴趣是否高收入的教
师会使学生表现更好，我们可以检验： H0 :βtotcomp=0 versus H1 :βtotcomp>0 计算得到的t统计量为4.6。由于4.6 >2.326，故在1%显著水平下拒绝零假 设。
样本足够大，标准化的样本均值的样 本分布可以由标准正态分布近似
Introductory Econometrics
10 of 94
OLS估计量的样本分布
我们已经讨论了OLS估计量的期望和
方差，但是为了进行统计推断，我们 仍希望知道样本分布。 OLS估计量的样本分布依赖于对误差 项分布的假设。
Introductory Econometrics 13 of 94
经典线性模型假设
根据对总体的经典线性模型假设有： y|x ~ Normal(b0 + b1x1 +…+ bkxk, 2) 尽管现在我们假设了正态，但有时候并不 是这种情况 为什么可以假设误差服从正态分布， u~Normal(0, 2)。 P110
如果我们愿意在5％的概率上错误地拒绝 实际上为真的零假设，则说我们的显著水 平为5％ 取定显著性水平a后，找到自由度为n – k – 1的t分布的(1 – a)分位数c，即临界值
Introductory Econometrics
31 of 94
One-Sided Alternatives (cont)
ˆ 服从正态分布，因为它是误差的线性组合 b j
Introductory Econometrics 17 of 94
定理4.1 正态样本分布
可以扩展定理4.1。 ˆ ,b ˆ ,...,b ˆ 的任意线性组合服从正态分布， b 0 1 k ˆ ,b ˆ ,...,b ˆ b 0 1 k 的 任意子集服从联合正态。
布趋近于标准正态分布。
Introductory Econometrics
34 of 94
例子：学生表现与学校规模(meap93.raw)
问题：是不是较大的班级意味着较差
的学生表现？
应用1993年408个密歇根州中学的数
据，进行如下回归
Reg math10 totcomp staff enroll
背景知识回顾
检验统计量的临界值是使得零假设刚好在 给定显著性水平上被拒绝的统计量的值。 假设检验中，使得零假设被拒绝的检验统 计量的取值范围称为拒绝域，使得零假设 不能被拒绝的检验统计量的取值范围成为 接受域。
Introductory Econometrics
24 of 94
背景知识回顾
3 of 94
样本分布：复习
样本分布在统计学和计量经济学发展中具 有核心地位,它是指一个估计量在其所有可 能取值上的概率分布 刻画样本分布的两种方式：“准确”方式 和“近似”方式
Introductory Econometrics
4 of 94
样本分布：复习
“准确”方式需要对任何n的取值都得到样 本分布的精确表达式。 这样的分布被称为小样本（有限样本）的 准确 分布 例如，如果y1, y2, …, yn服从正态分布，且 y1, y2, …, yn 独立同分布，则其均值恰好服 从正态分布
个检验统计量（T）是关于随机样本的一个 函数。当我们用某一特定样本计算此统计 量时，我们得到这个检验统计量的一个实 现（t）。
Introductory Econometrics
25 of 94
定理4.2: 标准化估计量的t分布
在CLM假设下，有
估计 。
2
ˆ b b j j
ˆ se b j
两个重要工具：大数定律，中心极限
定理
Introductory Econometrics
7 of 94
大数定律
大数定律：在一般情形下，当样本量
充分大时，样本均值将以很高的概率 逼近总体均值。
本课中，为了应用大数定律，我们假
设y为独立同分布具有有限方差的随机 取样。
Introductory Econometrics 8 of 94
Introductory Econometrics 12 of 94
经典线性模型假设
假设MLR.1-MLR.被称为经典线性模型假设 我们将满足这六个假设的模型称为经典线
性模型 在经典线性模型假设下，OLS不仅是BLUE， 而且是最小方差无偏估计量，即在所有线 性和非线性的估计量中，OLS估计量具有 最小的方差。
我们建立一些假设检验的规则使发生第一 类错误的概率非常小。 一个检验的显著性水平是发生第一类错误 的概率。 通常设定的限制性水平为：0.1,0.05,0.01。 如果为0.05意味着研究者愿意在5％的检验 中错误地拒绝零假设。
Introductory Econometrics 23 of 94
Introductory Econometrics 36 of 94
例子：学生表现与学校规模
确定被检验的假设 H0 :βenroll=0 versus H1 :βenroll<0 计算t统计量 t=-0.0002/0.00022=-0.91 由于n-k-1=404，我们使用标准正态的临界 值。在5％显著水平下，临界值位－1.65 由于-0.91>-1.65，我们不能拒绝零假设
Introductory Econometrics
14 of 94
经典线性模型假设
如果正态假设不成立怎么办？
通过变换，特别是通过取自然对数，
往往可以得到接近于正态的分布。 大样本允许我们放弃正态假设（近似 方式）
Introductory Econometrics
15 of 94
同方差正态分布——单解释变量情形
如果H0: bj = 0对H1: bj > 0，当 时 我们拒绝H0，当 t bˆ c ，则不能拒绝 H0
j
t bˆ c
j
由于t分布是对称的，如果H0: bj = 0对H1: bj < 0,当 tbˆ c 时我们拒绝H0， 当 tbˆ c ，则不能拒绝H0
j
j
Introductory Econometrics
Introductory Econometrics
2 of 94
样本分布：复习
简单随机抽样是指从总体中随机取样n次， 使得总体中的每个元素在样本中出现的可 能性相同。
如果y1, y2,…, yn 来自于同一分布且相互独 立，则称这一组随机变量独立同分布 （i.i.d.）
Introductory Econometrics
四、多元回归分析：推断
估计量的样本分布 单个总体参数的假设检验：t检验 置信区间 参数线性组合的假设检验（一维情形） 多个线性约束的假设检验：F检验 报告回归结果
Introductory Econometrics
1 of 94
本课提纲
样本分布：复习 经典假设与OLS估计量的样本分布 假设检验的背景知识 单边与双边t检验 计算p值
我们将利用这些事实来进行假设检验
Introductory Econometrics
18 of 94
对单个总体参数的假设检验：t检验
考虑总体中满足CLM的模型
y b0 b1x1 ... bk xk u 我们现在研究如何对一个特定的b j 进行假设检验
Introductory Econometrics
Introductory Econometrics 5 of 94
样本分布:复习
―近似”方式对样本分布进行大样本下
的近似。
对样本分布的大样本近似常称为渐近
分布。
Introductory Econometrics
6 of 94
样本分布:复习
只要样本量足够大，渐近分布就是对
准确分布的很好的近似。
f(y|x)
.
Normal distributions
. E(y|x) = b + b x
0 1
x1
x2
Introductory Econometrics 16 of 94
定理4.1 正态样本分布
在CLM假设下，条件于解释变量的样 ˆ ~ Normal b ,Var b ˆ ,故 本值有b j j j ˆ b b j j ~ Normal 0,1 ˆ sd b j
28 of 94
The t Test (cont)
t统计量 t bˆ 度量了估计值 bˆ j 相对0偏离了 多少个估计的标准离差。 ˆ 相同 它的符号与 b j 注意我们检验的是关于总体参数的假设， 而不是关于来自某一特定样本的估计值的 假设。
j
Introductory Econometrics
Introductory Econometrics
35 of 94
例子：学生表现与学校规模
^math10=2.274+0.00046totcomp+0.048staff – 0.0002enroll (6.113) (0.0001) (0.04) (0.00022) 变量含义： math10：通过MEAP标准化10年级数学测验的学生 百分比 totcomp：平均教师年度补偿 staff：每千个学生对应的工作人员数目 enroll：学生录取
32 of 94
单边替代假设
yi = b0 + b1xi1 + … + bkxik + ui H0: bj = 0
Fail to reject
H 1: bj > 0
1 a 0
Introductory Econometrics
reject
a
cຫໍສະໝຸດ Baidu
33 of 94
t分布与正态分布
注意：当t分布的自由度增大时，t分
Introductory Econometrics
11 of 94
假设MLR.6 （正态性）
我们已经知道当Gauss－Markov假设成立 时，OLS是最优线性无偏估计。 为了进行经典的假设检验，我们要在 Gauss－Markov假设之外增加另一假设。 假设MLR.6 （正态性）：假设u与x1, x2,…, xk独立，且u服从均值为0，方差为2的正 态分布。
19 of 94
假设检验背景知识回顾
被检验的假设称为零假设
假设检验利用数据将零假设和另一个假设 （替代假设）进行比较
Introductory Econometrics
20 of 94
背景知识回顾
替代假设给出在零假设不成立时的真实情 况。 我们的目的：利用一个随机选取的样本提 供给我们的证据来决定是否应当接受零假 设。
中心极限定理
假设y1 , y2 ,... , yn独立同分布，均值为， 方差为 ，其中0 。当n ，
2 y 2 y
( y ) / 的分布可以被标准正态分
2 y
布近似得任意好。
Introductory Econometrics
9 of 94
中心极限定理
这个定理说明，在一般条件下，如果
Introductory Econometrics
21 of 94
背景知识回顾
在假设检验中存在两种可能的错误。 第一类错误：当零假设为真时拒绝零假设 （弃真） 第二类错误：当零假设为假时未拒绝零假 设（取伪）
Introductory Econometrics
22 of 94
背景知识回顾
~ tn k 1
2 ˆ 注意这是一个 t 分布，因为我们要用 来
注意自由度：n k 1
Introductory Econometrics 26 of 94
t检验
知道标准化估计量的样本分布后，便可以 进行假设检验 由零假设出发 例如， H0: bj=0 如果接受零假设，则认为控制x其它分量 后， xj对y没有边际影响。
29 of 94
t检验：单边替代假设
除了零假设外，我们需要替代假设H1，并 设定显著性水平 H1可以是单边或双边的 H1: bj > 0 和 H1: bj < 0 是单边的 H1: bj 0是双边替代假设
Introductory Econometrics
30 of 94
单边替代假设
Introductory Econometrics
27 of 94
The t Test (cont)
ˆ 的t统计量： 为了进行检验，我们首 先要构造b j t bˆ
j
ˆ b j
ˆ se b j
然后利用t统计量和拒绝条件来 决定是否接受零假设， H0
Introductory Econometrics
Introductory Econometrics 37 of 94
例子：学生表现与学校规模
如果我们同样感兴趣是否高收入的教
师会使学生表现更好，我们可以检验： H0 :βtotcomp=0 versus H1 :βtotcomp>0 计算得到的t统计量为4.6。由于4.6 >2.326，故在1%显著水平下拒绝零假 设。
样本足够大，标准化的样本均值的样 本分布可以由标准正态分布近似
Introductory Econometrics
10 of 94
OLS估计量的样本分布
我们已经讨论了OLS估计量的期望和
方差，但是为了进行统计推断，我们 仍希望知道样本分布。 OLS估计量的样本分布依赖于对误差 项分布的假设。
Introductory Econometrics 13 of 94
经典线性模型假设
根据对总体的经典线性模型假设有： y|x ~ Normal(b0 + b1x1 +…+ bkxk, 2) 尽管现在我们假设了正态，但有时候并不 是这种情况 为什么可以假设误差服从正态分布， u~Normal(0, 2)。 P110
如果我们愿意在5％的概率上错误地拒绝 实际上为真的零假设，则说我们的显著水 平为5％ 取定显著性水平a后，找到自由度为n – k – 1的t分布的(1 – a)分位数c，即临界值
Introductory Econometrics
31 of 94
One-Sided Alternatives (cont)
ˆ 服从正态分布，因为它是误差的线性组合 b j
Introductory Econometrics 17 of 94
定理4.1 正态样本分布
可以扩展定理4.1。 ˆ ,b ˆ ,...,b ˆ 的任意线性组合服从正态分布， b 0 1 k ˆ ,b ˆ ,...,b ˆ b 0 1 k 的 任意子集服从联合正态。
布趋近于标准正态分布。
Introductory Econometrics
34 of 94
例子：学生表现与学校规模(meap93.raw)
问题：是不是较大的班级意味着较差
的学生表现？
应用1993年408个密歇根州中学的数
据，进行如下回归
Reg math10 totcomp staff enroll
背景知识回顾
检验统计量的临界值是使得零假设刚好在 给定显著性水平上被拒绝的统计量的值。 假设检验中，使得零假设被拒绝的检验统 计量的取值范围称为拒绝域，使得零假设 不能被拒绝的检验统计量的取值范围成为 接受域。
Introductory Econometrics
24 of 94
背景知识回顾
3 of 94
样本分布：复习
样本分布在统计学和计量经济学发展中具 有核心地位,它是指一个估计量在其所有可 能取值上的概率分布 刻画样本分布的两种方式：“准确”方式 和“近似”方式
Introductory Econometrics
4 of 94
样本分布：复习
“准确”方式需要对任何n的取值都得到样 本分布的精确表达式。 这样的分布被称为小样本（有限样本）的 准确 分布 例如，如果y1, y2, …, yn服从正态分布，且 y1, y2, …, yn 独立同分布，则其均值恰好服 从正态分布
个检验统计量（T）是关于随机样本的一个 函数。当我们用某一特定样本计算此统计 量时，我们得到这个检验统计量的一个实 现（t）。
Introductory Econometrics
25 of 94
定理4.2: 标准化估计量的t分布
在CLM假设下，有
估计 。
2
ˆ b b j j
ˆ se b j
两个重要工具：大数定律，中心极限
定理
Introductory Econometrics
7 of 94
大数定律
大数定律：在一般情形下，当样本量
充分大时，样本均值将以很高的概率 逼近总体均值。
本课中，为了应用大数定律，我们假
设y为独立同分布具有有限方差的随机 取样。
Introductory Econometrics 8 of 94
Introductory Econometrics 12 of 94
经典线性模型假设
假设MLR.1-MLR.被称为经典线性模型假设 我们将满足这六个假设的模型称为经典线
性模型 在经典线性模型假设下，OLS不仅是BLUE， 而且是最小方差无偏估计量，即在所有线 性和非线性的估计量中，OLS估计量具有 最小的方差。
我们建立一些假设检验的规则使发生第一 类错误的概率非常小。 一个检验的显著性水平是发生第一类错误 的概率。 通常设定的限制性水平为：0.1,0.05,0.01。 如果为0.05意味着研究者愿意在5％的检验 中错误地拒绝零假设。
Introductory Econometrics 23 of 94
Introductory Econometrics 36 of 94
例子：学生表现与学校规模
确定被检验的假设 H0 :βenroll=0 versus H1 :βenroll<0 计算t统计量 t=-0.0002/0.00022=-0.91 由于n-k-1=404，我们使用标准正态的临界 值。在5％显著水平下，临界值位－1.65 由于-0.91>-1.65，我们不能拒绝零假设
Introductory Econometrics
14 of 94
经典线性模型假设
如果正态假设不成立怎么办？
通过变换，特别是通过取自然对数，
往往可以得到接近于正态的分布。 大样本允许我们放弃正态假设（近似 方式）
Introductory Econometrics
15 of 94
同方差正态分布——单解释变量情形
如果H0: bj = 0对H1: bj > 0，当 时 我们拒绝H0，当 t bˆ c ，则不能拒绝 H0
j
t bˆ c
j
由于t分布是对称的，如果H0: bj = 0对H1: bj < 0,当 tbˆ c 时我们拒绝H0， 当 tbˆ c ，则不能拒绝H0
j
j
Introductory Econometrics
Introductory Econometrics
2 of 94
样本分布：复习
简单随机抽样是指从总体中随机取样n次， 使得总体中的每个元素在样本中出现的可 能性相同。
如果y1, y2,…, yn 来自于同一分布且相互独 立，则称这一组随机变量独立同分布 （i.i.d.）
Introductory Econometrics
四、多元回归分析：推断
估计量的样本分布 单个总体参数的假设检验：t检验 置信区间 参数线性组合的假设检验（一维情形） 多个线性约束的假设检验：F检验 报告回归结果
Introductory Econometrics
1 of 94
本课提纲
样本分布：复习 经典假设与OLS估计量的样本分布 假设检验的背景知识 单边与双边t检验 计算p值
我们将利用这些事实来进行假设检验
Introductory Econometrics
18 of 94
对单个总体参数的假设检验：t检验
考虑总体中满足CLM的模型
y b0 b1x1 ... bk xk u 我们现在研究如何对一个特定的b j 进行假设检验
Introductory Econometrics
Introductory Econometrics 5 of 94
样本分布:复习
―近似”方式对样本分布进行大样本下
的近似。
对样本分布的大样本近似常称为渐近
分布。
Introductory Econometrics
6 of 94
样本分布:复习
只要样本量足够大，渐近分布就是对
准确分布的很好的近似。