04假设检验与模型选择
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 检验结果位于拒绝域或接受域的边界 • 无法考虑其他检验结果
• 贝叶斯检验：从先验概率到后验概率
2. 两种检验方法
• 线性回归模型的一般约束： Rβ q • 约束举例：
• • • • R=[0,…,1,…0]，q=0，βj=0 R=[0,…,1,…,-1,…,0]，q=0，βj=βk R=[0,1,1,1,…,0]，q=1， β2+β3+β4=1 β2+β3+β4=1，β4+β6=0，β5+β6=0
• 其中
c( ) c ( ) ˆ ˆ Var[c( )] Var[ ]
6. 非嵌套模型选择
• 非嵌套模型
H 0 : y Xβ 0 H1 : y Zγ 1
• 建立综合模型： y • λ的识别：
• 原假设所对应的模型是备择假设所对应模型的特殊情形，我们说一个模 型嵌套在另一个模型中
• 嵌套模型检验
• 传统检验方法：接受域/拒绝域
1. 基本概念
• 检验水平(size of a test)：犯第一类错误的概率 • 检验功效(power of a test)：1 – 犯第二类错误的概率 • 一致性检验(consistent test)：样本容量趋于无穷时检验功效趋于1 • 传统检验方法的问题
(1 )Xβ (Zγ)
• 用y对Z回归得到y的拟合值 • 用y对X以及y的拟合值进行回归
• 检验：对第二步回归中y的拟合值进行显著性检验
7. 模型设定检验(Specification Test)
• 模型设定检验：检验模型设定是否存在问题 • 原假设H0：模型设定正确；备择假设H1：模型设定有误
假设检验与模型选择
1. 基本概念
• 假设检验：验证数据和假设（观点、理论）的一致性 • 假设（hypothesis）：对模型施加的约束条件
• 原假设：Null hypothesis，受限模型 • 备择假设：Alternative hypothesis，一般模型
• 嵌套模型（nested models）
• 拟合优度检验
• 检验施加约束后拟合优度下降的幅度
3. 沃尔德检验
• 单个系数检验统计量
Wk bk k0 tk bk k0 s 2 S kk ~ t (n K )
2 S kk
~ N (0,1)
• 多个约束的联合检验，定义 m Rb q • 因为 E (m | X) RE (b | X) q) Rβ q 0
2 2 (e e e e ) / J ( R R * * * )/ J F[ J , n K ] ee / (n K ) (1 R 2 ) / (n K )
5. 检验非线性约束
c( ) q • 原假设H0： • 检验统计量： ˆ) q c( z ˆ )) Var (c(
4. 拟合优度检验
• 令 e* y Xb* 表示有约束模型的残差 • 则 e* y Xb X(b* b) e X(b* b)
e *e* e e (b* b) X X(b* b)
1 1 e e e e ( Rb q ) [ R ( X X ) R ] (Rb q) 拟合优度的损失为 * *
• 注意，这种设定没有明确的备择假设形式，因此既不属于嵌套模型检验 ，也不属于非嵌套模型检验
• 例：Ramsay’s RESET test • 检验模型：
2 3 ˆ ˆ y Xβ 1y 2y
• 对此回归模型中的系数λ进行联合检验
Var (m | X) Var (Rb q | X) 2R(XX)1 R
3. 沃尔德检验
• 所以
W m Var[m | X] m
1来自百度文库
(Rb q)[ 2 R (XX)1 R]1 (Rb q) ~ 2[ J ]
W 2 (Rb q)[R ( XX) 1 R ]1 (Rb q) 1 2 ( n K ) F 2 2 2 J s J s (n K ) (Rb q)[ 2 R ( XX) 1 R ]1 (Rb q) / J [(n K ) s 2 / 2 ] / (n K )
0 1 1 0 0 0 , R 0 0 0 1 0 1 0 0 0 0 1 1 1 q 0 0
2. 两种检验方法
• 原假设：Rβ q 0
• 备择假设： Rβ q 0
• 沃尔德检验（Wald Test）
• 检验 Rβ q 和 0有多远
• 贝叶斯检验：从先验概率到后验概率
2. 两种检验方法
• 线性回归模型的一般约束： Rβ q • 约束举例：
• • • • R=[0,…,1,…0]，q=0，βj=0 R=[0,…,1,…,-1,…,0]，q=0，βj=βk R=[0,1,1,1,…,0]，q=1， β2+β3+β4=1 β2+β3+β4=1，β4+β6=0，β5+β6=0
• 其中
c( ) c ( ) ˆ ˆ Var[c( )] Var[ ]
6. 非嵌套模型选择
• 非嵌套模型
H 0 : y Xβ 0 H1 : y Zγ 1
• 建立综合模型： y • λ的识别：
• 原假设所对应的模型是备择假设所对应模型的特殊情形，我们说一个模 型嵌套在另一个模型中
• 嵌套模型检验
• 传统检验方法：接受域/拒绝域
1. 基本概念
• 检验水平(size of a test)：犯第一类错误的概率 • 检验功效(power of a test)：1 – 犯第二类错误的概率 • 一致性检验(consistent test)：样本容量趋于无穷时检验功效趋于1 • 传统检验方法的问题
(1 )Xβ (Zγ)
• 用y对Z回归得到y的拟合值 • 用y对X以及y的拟合值进行回归
• 检验：对第二步回归中y的拟合值进行显著性检验
7. 模型设定检验(Specification Test)
• 模型设定检验：检验模型设定是否存在问题 • 原假设H0：模型设定正确；备择假设H1：模型设定有误
假设检验与模型选择
1. 基本概念
• 假设检验：验证数据和假设（观点、理论）的一致性 • 假设（hypothesis）：对模型施加的约束条件
• 原假设：Null hypothesis，受限模型 • 备择假设：Alternative hypothesis，一般模型
• 嵌套模型（nested models）
• 拟合优度检验
• 检验施加约束后拟合优度下降的幅度
3. 沃尔德检验
• 单个系数检验统计量
Wk bk k0 tk bk k0 s 2 S kk ~ t (n K )
2 S kk
~ N (0,1)
• 多个约束的联合检验，定义 m Rb q • 因为 E (m | X) RE (b | X) q) Rβ q 0
2 2 (e e e e ) / J ( R R * * * )/ J F[ J , n K ] ee / (n K ) (1 R 2 ) / (n K )
5. 检验非线性约束
c( ) q • 原假设H0： • 检验统计量： ˆ) q c( z ˆ )) Var (c(
4. 拟合优度检验
• 令 e* y Xb* 表示有约束模型的残差 • 则 e* y Xb X(b* b) e X(b* b)
e *e* e e (b* b) X X(b* b)
1 1 e e e e ( Rb q ) [ R ( X X ) R ] (Rb q) 拟合优度的损失为 * *
• 注意，这种设定没有明确的备择假设形式，因此既不属于嵌套模型检验 ，也不属于非嵌套模型检验
• 例：Ramsay’s RESET test • 检验模型：
2 3 ˆ ˆ y Xβ 1y 2y
• 对此回归模型中的系数λ进行联合检验
Var (m | X) Var (Rb q | X) 2R(XX)1 R
3. 沃尔德检验
• 所以
W m Var[m | X] m
1来自百度文库
(Rb q)[ 2 R (XX)1 R]1 (Rb q) ~ 2[ J ]
W 2 (Rb q)[R ( XX) 1 R ]1 (Rb q) 1 2 ( n K ) F 2 2 2 J s J s (n K ) (Rb q)[ 2 R ( XX) 1 R ]1 (Rb q) / J [(n K ) s 2 / 2 ] / (n K )
0 1 1 0 0 0 , R 0 0 0 1 0 1 0 0 0 0 1 1 1 q 0 0
2. 两种检验方法
• 原假设：Rβ q 0
• 备择假设： Rβ q 0
• 沃尔德检验（Wald Test）
• 检验 Rβ q 和 0有多远