回归模型的统计检验 - 第三节回归模型的统计检验
多元线性回归的统计检验
2
R
1
(1
R2 )
n 1
n k 1
2.方程总体线性的显著性检验（F检验）
方程显著性F检验的模型：
Yi 0 1X1i 2 X 2i ... k X ki ui
检验参数k是否显著为零。 按照假设检验的原理和程序，原假设与备择假
2是随机干扰项的方差，实际计算中用 代
替。
服从正态分布如下：
j
j N(j, 2cjj )
t j j
S
j
j j
c jj
ee n k 1
t(n k 1)
t 检验
在变量显著性检验中，针对 假设为：
设X j计的原假设和备择
H0 : j 0
给定一个显著H性1：水平j α，0得到临界值t 2
或者
2
R
F
k
2
(1 R )
(n k 1)
变量的显著性检验（ t 检验）
多元线性回归模型，方程的总体线性关系式显 著的，并不能说明每个解释变量对被解释变量 的影响都是显著的。因此必须对每个解释变量 进行显著性检验，以决定是否作为解释变量被 保留在模型中。
t 统计量
参数估计量的方差：
cCoj表jv(示) 矩 2阵(X( XXX)1)主1 V对ar角(线j) 上 的2c jj第j个元素。 2
因此，在多元回归模型之家比较拟合优度，R2 不是一个合适的指标。
可调整的可决系数
思路：在样本容量一定的情况下，增加解释变 量必定使得自由度减少，所以要将残差平方和 与总离差平方和分别除以各自的自由度，剔除 变量个数对拟合优度的影响。公式如下：
RSS
2
第三节：多元线性相关与回归分析
第三节 多元线性相关与回归分析一、标准的多元线性回归模型上一节介绍的一元线性回归分析所反映的是１个因变量与１个自变量之间的关系。
但是，在现实中，某一现象的变动常受多种现象变动的影响。
例如，消费除了受本期收入水平的影响外，还会受以往消费和收入水平的影响；一个工业企业利润额的大小除了与总产值多少有关外，还与成本、价格等有关。
这就是说，影响因变量的自变量通常不是一个，而是多个。
在许多场合，仅仅考虑单个变量是不够的，还需要就一个因变量与多个自变量的联系来进行考察，才能获得比较满意的结果。
这就产生了测定与分析多因素之间相关关系的问题。
研究在线性相关条件下，两个和两个以上自变量对一个因变量的数量变化关系，称为多元线性回归分析，表现这一数量关系的数学公式，称为多元线性回归模型。
多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型相类似，只是在计算上比较麻烦一些而已。
限于本书的篇幅和程度，本节对于多元回归分析中与一元回归分析相类似的内容，仅给出必要的结论，不作进一步的论证。
只对某些多元回归分析所特有的问题作比较详细的说明。
多元线性回归模型总体回归函数的一般形式如下：t kt k t t u X X Y ++⋯++=βββ221 (7.51)上式假定因变量Y 与(k-1)个自变量之间的回归关系可以用线性函数来近似反映.式中，Y t 是变量Y 的第ｔ个观测值；X jt 是第j 个自变量X j 的第ｔ个观测值(j=1,2,……，k)；u t 是随机误差项；β1，β2，… ，βk 是总体回归系数。
βj 表示在其他自变量保持不变的情况下，自变量X j 变动一个单位所引起的因变量Y 平均变动的数额，因而又叫做偏回归系数。
该式中，总体回归系数是未知的，必须利用有关的样本观测值来进行估计。
假设已给出了ｎ个观测值，同时1ˆβ，2ˆβ…，k βˆ为总体回归系数的估计，则多元线性回归模型的样本回归函数如下：t kt k t t e X X Y ++⋯++=βββˆˆˆ221 (7.52)(t ＝1,2,…,n)式中，e t 是Y t 与其估计t Y ˆ之间的离差，即残差。
第三章--回归模型的检验
对于中国居民人均消费支出的例子：
一元模型：F=285.92
二元模型：F=2057.3 给定显著性水平 =0.05，查分布表，得到临界 值：
一元例：F(1,21)=4.32 二元例： F(2,19)=3.52 显然有 F F(k,n-k-1) 即二个模型的线性关系在95%的水平下显著成立。
99.4
96.9
2758.9
1637.2
157.0
117.7
1999 4615.9 1932.1
98.7
95.7
2723.0
1566.8
169.5
123.3
2000 4998.0 1958.3
100.8
97.6
2744.8
1529.2
182.1
128.1
2001 5309.0 2014.0
100.7
2、关于拟合优度检验与方程显著性检
验关系的讨论
由
R2 1 RSS
TSS
与
F
ESS / k
RSS / n k
1
可推出： R2
kF
n k 1 kF
或
F
R2 / k
1 R2 / n k 1
三、变量的显著性检验（t检验）
方程的总体线性关系显著每个解释变量对被 解释变量的影响都是显著的
因此，必须对每个解释变量进行显著性检验， 以决定是否作为解释变量被保留在模型中。
问题：
由增加解释变量个数引起的R2的增大与拟合 好坏无关，R2需调整。
调整的可决系数（adjusted coefficient of determination）
多元线性回归模型
第二节 多元线性回归模型的参数估计
一、多元线性回归参数的最小二乘估计
二、最小二乘估计量的数值性质
三、最小二乘估计量的统计性质
四、参数的估计误差与置信区间
二 、最小二乘估计量的数值性质
ˆ ˆ ˆ 1.样本均值点在样本平面上，即Y 0 1 X 1 2 X 2
2.剩余项（残差）ei的均值为零，即 e
另外两个要求 假定8：无设定偏误，模型被正确地设定。
假定9：解释变量之间不存在完全共线性，没有精确的线性
关系。
三、多元线性回归模型的基本假定
无多重共线性假定： 各解释变量之间不存在严格的线性关系，或者说各解
释变量之间线性无关；亦即解释变量之间不存在精确的线
性关系，即是说不存在一列不全为0的数 1 , 2 , , k ， 能使下式成立：
其中，残差项ei是随机扰动项ui的估计。
二 、样本线性回归模型
特别地，当K=2时，二元线性样本回归函数为
ˆ ˆ ˆ ˆ Yi 0 1 X 1i 2 X 2i
二元线性样本回归模型为：
ˆ ˆ ˆ Yi 0 1 X 1i 2 X 2i ei
2 ei ˆ X X ) 0 2X 2i Yi ( 0 1 1i 2 2i ˆ 2
e i 0 ei X 1i 0 e i X 2 i 0
2.化简得正规方程
ˆ ˆ ˆ n 0 X 1i X 2i Y i
四、参数的估计误差与置信区间
三、最小二乘估计量的统计性质
在古典线性回归模型的基本假定下，一元线性回 归模型的OLS估计量是最优线性无偏估计量，这个性
多元线性回归模型的统计检验
上的线性关系不显著。
12ቤተ መጻሕፍቲ ባይዱ
❖F检验只是把模型作为一个整体，对总体 线性关系进行检验；
❖方程在总体上存在显著的线性关系 每个解释变量对被解释变量都具有显著影响
❖还应对模型中的各个解释变量进行显著性 检验，以决定它们是否应当作为解释变量 被保留在模型之中。
可决系数R2 ESS 1 RSS
TSS
TSS
R2越接近于1，模型的拟合效果越好。
2
问题
❖ 如果在模型中增加一个解释变量，R2往往会 增大（Why?）
❖ 容易产生错觉：要使模型拟合得好，只要增 加解释变量即可。
❖ 但实际上，通过增加解释变量引起的R2的增 大与拟合好坏无关。
❖ R2度量模型拟合效果失真，R2需调整 。
9
若H0 成立，则有：
F
ESS / k
RSS /n k
1
~
F (k
,
n
k
1)
由样本数据求出F统计量的值。
（3）给定显著性水平，查表得到临界
值F(k , n-k-1)。
10
F检验的拒绝域
f (F)
1-
F F
11
（4）比较、判断 ❖ 若F F (k , n-k-1)，拒绝H0，接受H1 ，模型
开关
类型，尽量选择平头
键
类的按键，以防按键
下陷。
2.开关按键和塑胶按
F检验的思想来自于TSS的分解： TSS = ESS + RSS
其中，ESS表示X对Y的线性作用结果。
考虑比值：ESS / RSS 如果这个比值较大，则X对Y的解释程 度较高，可认为二者在总体上存在线性 关系；
《计量经济学》课程标准
《计量经济学》课程标准1. 课程的性质与设计思路1.1课程的性质《计量经济学》是教育部规定经济类专业核心课程之一, 是经济类专业的专业必修课。
在经济类的各个专业的教学中占有非常重要的地位。
《计量经济学》课程的主要特点是理论与实际应用并重, 既要认真学习基本理论知识, 又要注重经济计量方法在实践中的应用。
在教学中可以抛开复杂的数学计算以及繁琐的推导和证明, 但要将深入浅出的理论分析贯彻始终。
其目的是, 通过学习、掌握计量经济学的基本原理和常用方法, 研究经济中的有关问题, 训练学生运用计量方法、经济计量模型进行创造的思维方法。
并在此基础上, 培养学生利用经济计量学的方法, 学习和实践现代经济学的基本理论以及用定量的方法分析、解决实际经济生活中有关经济学问题的能力。
课程在内容与应用上与概率论与数理统计、统计学、时间序列分析、经济学等课程有关联。
所以, 学习本课程, 必须要先学习《微积分》、《线性代数》、《概率论和数理统计》、《西方经济学》等课程, 同时, 学习者要关注在经济计量学领域的一些最新发展。
只有这样, 才能在更好地理解和掌握课程内容与方法的基础上使经济计量模型的应用更具实践性。
1.2设计思路《计量经济学》建立在经济、统计学和数理统计的基础上, 是经济学中的一门重要的独立学科。
计量经济学结合数量方法来对经济活动进行认识分析, 并辅助于计算机专门软件, 具有较强的应用性和可操作性。
本课程主要介绍了计量经济学的一般概念及工作步骤、模型估计的基本方法、模型检验与修正方法, 典型计量经济模型专题讨论、联立方程组模型的基本知识（包括模型的识别、估计、检验及应用）、计量经济模型的应用案例。
学生在学习本课程之前, 应先学习了《微积分》、《线性代数》、《经济学》（包含微观经济学和宏观经济学）、《概率论与数理统计》和《经济统计学》等课程。
教师在讲授本课程时, 首先应特别注重对经济理论的认识和经济现象的分析, 强调已学的《经济学》基础；其次突出计量经济建模基本思想的讲授, 侧重在计量经济学研究对象的理解和《经济学》、《经济统计学》与《数学》相结合的知识背景上；再次应避免在理论部分的繁杂的纯数学证明, 但对于表述基本原理和模型应用分析中的数学推导是必要的, 故应强调《微积分》、《线性代数》与《概率论与数理统计》的基础知识；最后应加强对计量经济学概念的总结和应用实例的分析, 包括计量经济专门分析软件（Eviews）的应用操作。
最大似然估计及三大检验(Wald-LM-LR)资料
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
一元线性回归模型的统计检验
3. 怎样进行拟合优度检验 （1）总离差平方和的分解 已知有一组样本观测值( Xi ,Yi )(i 1, 2, , n)，得到 如下样本回归直线：
Yˆi ˆ0 ˆ1Xi
Y的第i个观测值与样本均值的离差yi Yi Y 可分 解为两部分之和：
yi Yi Y Yi Yˆi Yˆi Y ei yˆi (1)
规则：p值越小，越能拒绝原假设H0.
三、回归系数的置信区间
对参数作出的点估计虽然是无偏估计，但一 次抽样它并不一定等于真实值，所以需要找到包 含真实参数的一个范围，并确定这个范围包含参 数真实值的可靠程度。
在变量的显著性检验中已经知道：
t ˆi i ~ t(n 2) i=0,1
Sˆi
给出置信度1，查自由度为(n 2)的t分布表，
假设检验的步骤： （1）提出原假设和备择假设； （2）根据已知条件选择检验统计量； （3）根据显著性水平确定拒绝域或临界值； （4）计算出统计量的样本值并作出判断。
（2）变量的显著性检验
对于最小二乘估计量ˆ1，已经知道它服从正态分布
ˆ1 ~ N(1,
2
xi2 )
由于真实的 2未知，在用它的无偏估计量ˆ 2
在上述收入——消费支出的例子中，如果给定
=0.01，查表得：
t 2 (n 2) t0.005 (8) 3.355
由于
Sˆ1 0.042
Sˆ0 98.41
于是，计算得到1、0的置信区间分别为：
(0.6345,0.9195)
(-433.32,226.98)
则
TSS RSS ESS
Y的观测值围绕其均值的总离差可分解为两部 分：一部分来自回归线(RSS)，另一部分则来自随 机势力(ESS)。因此，我们可以用回归平方和RSS 占Y的总离差平方和TSS的比例来度量样本回归线 与样本观测值的拟合优度。
回归模型的统计检验 - 第三节回归模型的统计检验
t 如果
t ) (n k 1 ＜ 2 ，则在(1－α )的置
信概率下接受原假设 H0，表明在(1－α ) 的置信概率下，与 0 没有什麽差别， 即变量 Xi 对被解释变量的影响是不显著 的。
用P值判定参数的显著性
假设检验的p值 p值是根据既定的样本数据所计算的统计量，拒绝原 假设的最小显著性水平。 统计软件中（EViews,SPSS,SAS）通常都给出了检验的 p值。 方法：将给定的的显著性水平与p值比较： 若>p, 则在显著性水平下拒绝原假设H0，即认为X对Y 有显著影响。 若<=p, 则在显著性水平下接受原假设H0，即认为X对 Y没有显著影响。 规则：当p< 时，p值越小，越能拒绝原假设H0。
i
标准差。Biblioteka 2 ˆ n k 1 2 2 2 ˆ e y y i i i
2 2 2 2 2 ˆ ˆ ˆ yi 1 x1i 2 x2i
2 e
计算出 t 统计量后，要选定一个显著性水平 ， 结合自由度 (n k 1) ，由 t 分布表（见书后附表） ，
2 1 2 2 1 2 2 1 2 2 1 2 2 1 2
2 2 x 2ˆ
2
2
然后根据样本观测值和估计值，构造计算统计量：
ˆ i t i ˆ S i
该统计量服从自由度为 (n k 1) 的 t 分布，即
t ~ t (n k 1)
ˆ 在 t 统计量的算式中， i 为总体回归系数， i ˆ 为相应的参数估计量， S ˆ 为参数估计量 i的
在应用过程中我们会发现，如果在模型中增加一 个解释变量，模型的解释功能增强了，可决系数 R 2 计
2 ˆ y y 算公式中的分子——回归平方和 i 就会增大，
试谈回归模型的统计检验
ESS RSS
如果这个比值较大，则X的联合体对Y的解释 程度高，可认为总体存在线性关系，反之总体上 可能不存在线性关系。
因此,可通过该比值的大小对总体线性关系进 行推断。
根据数理统计学中的知识，在原假设H0成 立的条件下，统计量
F ESS / k RSS /(n k 1)
回归分析是要判断解释变量X是否是被解释 变量Y的一个显著性的影响因素。
在一元线性模型中，就是要判断X是否对Y 具有显著的线性性影响。这就需要进行变量的 显著性检验。
变量的显著性检验所应用的方法是数理统计学 中的假设检验。
计量经计学中，主要是针对变量的参数真值是 否为零来进行显著性检验的。
1、假设检验
因方程的总体线性关系显著每个解释变 量对被解释变量的影响都是显著的
因此，必须对每个解释变量进行显著性检验， 以决定是否作为解释变量被保留在模型中。
这一检验是由对变量的 t 检验完成的。
1、t统计量
由于可以证明: Cov(βˆ ) 2 (XX)1
以cii表示矩阵(X’X)-1 主对角线上的第i个元素， 于是参数估计量的方差为：
试谈回归模型的统计检 验
2021年8月6日星期五
第三节 回归模型的统计检验
一、模型的拟合优度检验 二、模型的显著性检验 三、解释变量的显著性检验
利用样本数据估计得到的样本回归方程, 只是对总体回归方程的一个近似估计模型 是否能确切反映经济变量间的相互关系还 需要进行检验.
回归分析中主要是通过一些统计检验 方法来保证模型在统计意义上的可靠性.
❖ 所谓假设检验，就是事先对总体参数或总 体分布形式作出一个假设，然后利用样本信息 来判断原假设是否合理，即判断样本信息与原 假设是否有显著差异，从而决定是否接受或否 定原假设。
计量经济学 )多元线性回归模型的统计检验
ˆ) 0 X i1 (Yi Y i
ˆ) 0 X i 2 (Yi Y i
… X (Y Y ˆ) 0 ik i i
所以 从而
ˆ )(Y ˆ Y ) 0 (Y Y
i i
ˆ ) 2 (Y ˆ Y )2 (Y Y ) (Y Y i i i i
解释的那部分离差的大小。
• 那么，TSS、ESS、RSS之间存在的如下关系：
总离差平方和 = 回归平方和 + 残差平方和
TSS
=
ESS
+
RSS
关于TSS=ESS+ RSS的证明过程（教材P73） 证明： 将TSS，即总离差平方和进行分解：
ˆ ) (Y ˆ Y )) 2 TSS (Y Y ) 2 ((Y Y
• 拟合优度检验：检验模型对样本观测值的拟合 程度。
• 在一元回归模型中，拟合优度检验是通过构造 一个可以表征拟合程度的统计量R2来实现。
• 在多元回归模型中，也可以用该统计量来衡量 样本回归线对样本观测值的拟合程度。
总离差平方和、回归平方和及残差平方和
• 定义
TSS (Y Y ) 2
i
2 ˆ y i
y
2 i
1
yi
ei
2 2
检验模型的拟合优度。 R2叫做多重可决系数，也简称为可决系数或判定系数。
毫无疑问，R2越接近于1，模型的拟合优度越高。 但是在应用过程中人们发现，如果在模型中增加一个解释变量， 那么模型的回归平方和随之增大，从而R2也随之增大。 这就给人一个错觉：要使模型拟合得好，就必须增加解释变量。 所以，用来检验拟合优度的统计量必须能够防止这种倾向。
说 明
(卫生统计学)第十九章 Logistic回归分析
结果解释
3个βi的估计值都是正数，表明这三个因素都是危险因素且都有统计学意 义。从优势比OR上可以看出，在因素x2和x3固定不变时，因素x1每增加一个 等级所引起的优势比为增加前的3.034倍；在因素X1和X3固定不变时，因素x2 每增加一个等级所引起的优势比为增加前的2.019倍 。在因素x1和x2固定不变 时，因素x3每增加一个等级所引起的优势比为增加前的2.651倍。同时在考察 因素相对贡献大小时，从标准系数看， β'1> β' 3 > β'2 ，故x1的相对贡献比x2和 x3大。
OR
P1 P0
/1 /1
P1 P0
e i
亦称比数比
反映某一个危险因素 xi在不同暴露水平下发病 与不发病的比。
当阳性率 P 1时， OR RR
二、参数估计
由于Logistic回归是一种概率模型，通常采用最大似然估计法（maximum likelihood estimate）求解模型中的参数βj的估计值 bj (j=0,1,2,….k)。
1. 相对危险度 RR（ Re lative Risk ） RR P1 P0
反映某一个危险因素 xi两个不同暴露水平 1与 0的发病率的比
2. 优势 Odds
Odds P1 P1 1 P1 q1
亦称比数
反映某一个危险因素 xi在暴露水平 1下发病率与不发病率的 比
3. 优势比 OR （ Odds Ratio ）
个例预测
设某AMI患者在症状5小时内送到医院（x3=0），未发生休克（x1=0）， 已有心衰（x2=1），求抢救成功的概率。
多元线性回归模型的公式和参数估计方法以及如何进行统计推断和假设检验
多元线性回归模型的公式和参数估计方法以及如何进行统计推断和假设检验多元线性回归模型是一种常用的统计分析方法，它在研究多个自变量与一个因变量之间的关系时具有重要的应用价值。
本文将介绍多元线性回归模型的公式和参数估计方法，并讨论如何进行统计推断和假设检验。
一、多元线性回归模型的公式多元线性回归模型的一般形式如下：Y = β0 + β1X1 + β2X2 + ... + βkXk + ε其中，Y表示因变量，X1至Xk表示自变量，β0至βk表示模型的参数，ε表示误差项。
在多元线性回归模型中，我们希望通过样本数据对模型的参数进行估计，从而得到一个拟合度较好的回归方程。
常用的参数估计方法有最小二乘法。
二、参数估计方法：最小二乘法最小二乘法是一种常用的参数估计方法，通过最小化观测值与模型预测值之间的残差平方和来估计模型的参数。
参数估计的公式如下：β = (X^T*X)^(-1)*X^T*Y其中，β表示参数矩阵，X表示自变量的矩阵，Y表示因变量的矩阵。
三、统计推断和假设检验在进行多元线性回归分析时，我们经常需要对模型进行统计推断和假设检验，以验证模型的有效性和可靠性。
统计推断是通过对模型参数的估计，来对总体参数进行推断。
常用的统计推断方法包括置信区间和假设检验。
1. 置信区间：置信区间可以用来估计总体参数的范围，它是一个包含总体参数真值的区间。
2. 假设检验：假设检验用于检验总体参数的假设是否成立。
常见的假设检验方法有t检验和F检验。
在多元线性回归模型中，通常我们希望检验各个自变量对因变量的影响是否显著，以及模型整体的拟合程度是否良好。
对于各个自变量的影响，我们可以通过假设检验来判断相应参数的显著性。
通常使用的是t检验，检验自变量对应参数是否显著不等于零。
对于整体模型的拟合程度，可以使用F检验来判断模型的显著性。
F检验可以判断模型中的自变量是否存在显著的线性组合对因变量的影响。
在进行假设检验时，我们需要设定显著性水平，通常是α=0.05。
计量经济学的2.3 一元线性回归模型的统计检验
ˆ ˆ P( ) 1
如果存在这样一个区间，称之为置信区间 （confidence interval）； 1-称为置信系数（置信度） （confidence coefficient）， 称为显著性水平（level of significance）（或犯第I类错误的概率，即拒真的概 率）；置信区间的端点称为置信限（confidence limit） 或临界值（critical values）。置信区间以外的区间称 4 为临界域
由于置信区间一定程度地给出了样本参数估计 值与总体参数真值的“接近”程度，因此置信区间 越小越好。 (i t s , i t s )
2 i 2 i
要缩小置信区间，需要减小 （1）增大样本容量n，因为在同样的置信水平 下， n越大，t分布表中的临界值越小；同时，增大样本 容量，还可使样本参数估计量的标准差减小；
5
如何构造参数值的估计区间？ 通过构造已知分布的统计量
6
构造统计量（1）
回顾： 在正态性假定下
以上统计量服从自由度为n-2的x2分布，n为样本量
7
构造统计量（2）
ˆ ˆ 0 和 1 服从正态分布
ˆ E ( 0 )= 0
ˆ E ( 1 )=1
Var 0） （ˆ
X
i 1 n i 1
§2.3 一元线性回归模型的统 计检验
一、参数的区间估计 二、拟合优度检验 三、参数的假设检验 （对教材内容作了扩充）
1
一、参数的区间估计
参数的两种估计：点估计和区间估计
点估计
通过样本数据得到参数的一个估计值。
（如：最小二乘估计、最大似然估计）
点估计不足：
（1）点估计给出在给定样本下估计出的参数的可能取值，但 它并没有指出在一次抽样中样本参数值到底离总体参数的真 值有多“近”。 （2）虽然在重复抽样中估计值的均值可能会等于真值，但由 于抽样波动，单一估计值很可能不同于真值。 2
计量经济学第三章第3节多元线性回归模型的显著性检验
当增加一个对被解释变量有较大影响的解释变量时， 残差平方和减小的比n-k-1 减小的更显著，拟合优度 就增大，这时就可以考虑将该变量放进模型。 如果增加一个对被解释变量没有多大影响的解释变量， 残差平方和减小没有n-k-1减小的显著，拟合优度会减 小，其说明模型中不应该引入这个不重要的解释变量， 可以将其剔除。
在对话框中输入：
y c x y(-1)
y c x y(-1) y(-2)
字母之间用空格分隔。 注：滞后变量不需重新形成新的时间序列，软件 自动运算实现，k期滞后变量，用y(-k)表示。
• 使用k期滞后变量，数据将损失k个样本观察值， 例如：
序号 2000 2001 2002 2003 2004 2005 2006 2007 2008 y 3 4 5 6 7 8 9 10 11 Y(-1) Y(-2) Y(-3)
2
2
2
*赤池信息准则和施瓦茨准则
• 为了比较所含解释变量个数不同的多元回归模型的 拟合优度，常用的标准还有: 赤池信息准则（Akaike information criterion, AIC） e e 2( k 1) AIC ln n n 施瓦茨准则（Schwarz criterion，SC）
一元、二元模型的系数均大于0，符合经济意义，三元模型 系数的符号与经济意义不符。 用一元回归模型的预测值是1758.7，二元回归模型的预测值 是1767.4，2001年的实际值是1782.2。一元、二元模型预测 的绝对误差分别是23.5、14.8。
3) 三个模型的拟合优度与残差
二元：R2 =0.9954，E2 ei2 13405 三元：R2 =0.9957，E3 ei2 9707
746.5 788.3
实验报告2：多元线性回归模型的估计和统计检验
实验实训报告课程名称：计量经济学实验开课学期：2011-2012学年第一学期开课系（部）: 经济开课实验（训）室：数量经济分析实验室学生姓名：专业班级：_____________________________学号：________________________________重庆工商大学融智学院教务处制实验题目实验概述【实验（训）目的及要求】目的：掌握多元线性回归模型的估计、检验。
要求：在老师指导下完成多元线性回归模型的建立、估计、统计检验，并得到正确的分析结果。
【实验（训）原理】当多元线性回归模型在满足线性模型古典假设的前提下，最小二乘估计结果具有无偏性、有效性等性质，在此基础上进一步对估计所得的模型进行经济意义检验及统计检验。
实验内容【实验（训）方案设计】1、创建工作文件和导入数据；2、完成变量的描述性统计；3、进行多元线性回归估计；4、统计检验：可决系数分析（R2）；（2）参数显著性分析（t检验）；（3）方程显著性分析（F检验）；5、进行变量非线性模型的线性化处理，并比较不同模型的拟合优度（因变量相同时）。
实验背景选择包括中央和地方税收的“国家财政收入”中的“各项税收”（简称“TAX）作为被解释变量，以反映国家税收的增长。
选择“国内生产总值（GDP ”作为经济整体增长水平的代表；选择中央和地方“财政支出”作为公共财政需求的代表（FIN）;选择“商品零售物价指数”作为物价水平的代表（PRIC），并将它们设为影响税收收入的解释变量。
建立中国税收的增长模型，并对已建立的模型进行检验。
【实验（训）过程】（实验（训）步骤、记录、数据、分析）1根据实验数据的相关信息建立Workfile ;在菜单中依次点击File\New\Workfile, 在出现的对话框"Workfile range ”中选择数据频率。
因为本例分析中国1978-2002年度的税收（Tax）与GDR财政支出（FIN）、商品零售物价指数（PRIC）之间关系，因此，在数据频率选项中选择“ Annual ”选项。
第二章 回归分析概要3(一元统计检验)
第二章 回归分析概要第三节 一元线性回归模型的统计检验根据第一章第二节里，我们讲过的计量经济学模型检验规则可知，在利用OLS 法估计了一元线性回归模型的参数，并确定了样本回归线后，首先要根据经济理论及实际问题中X 和Y 的对应关系，对回归系数的符号、大小及相互关系进行直观判断，如果上述检验通过的话，还须对估计值进行统计学检验。
回归分析是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线来替代总体回归线。
尽管，从统计性质上已知，如果有足够多的重复抽样，参数的估计值的期望（均值）就等于总体的参数真值，但是，在一次抽样中，估计值不一定就等于该真值。
那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验，主要包括拟合优度检验、变量的显著性检验以及参数检验的置信区间估计。
一、拟合优度检验拟合优度检验，顾名思义，是检验模型对样本观测值的拟合程度（即回归直线对观测值的拟合程度）。
显然，若样本观测值离回归直线越近，则拟合优度越好，X 对Y 的解释程度越强；反之，则拟合优度差，X 对Y 的解释程度弱。
（参看课本44页图3.2.3）因为样本值太多，分别考察每一个离差是不切实际的，又为了克服绝对值符号在计算上带来的不便，因此，常使用离差平方和来考察总离差（推导过程课本44页）。
被解释变量的总离差平方和TSS可解释平方和（回归平方和）ESS 残差平方和RSS 因此，显然，ESS 在TSS 的构成中所占比例越大，RSS 在TSS 中所占的比例就越小，说明回归参数估计值的显著性越强，即样本回归线与真实回归线的拟合优度就越好。
因此，可以用ESS 在TSS 中所占的比例表示样本回归线与总体回归线的拟合程度。
二、变量的显著性检验 1. 相关系数的检验样本相关系数定义公式：)ˆ()ˆ(t t t t y y y y y y -+-=-RSS ESS TSS uRSS y yESS y y TSS t t t +==-=-=∑∑∑222)ˆ()ˆ()(100,01)()ˆ(22222≤≤∴≤≤≤≤-=--==∑∑R TSS ESS TSS RSS TSSRSS R y y y y TSS ESS R t t样本相关系数的性质：（1） r 的取值介于-1和1之间。
线性回归模型检验方法拓展~三大检验
第四章线性回归模型检验方法拓展——三大检验作为统计推断的核心内容，除了估计未知参数以外，对参数的假设检验是实证分析中的一个重要方面。
对模型进行各种检验的目的是，改善模型的设定以确保基本假设和估计方法比较适合于数据，同时也是对有关理论有效性的验证。
一、假设检验的基本理论及准则假设检验的理论依据是“小概率事件原理”，它的一般步骤是（1）建立两个相对（互相排斥）的假设（零假设和备择假设）。
（2）在零假设条件下，寻求用于检验的统计量及其分布。
（3）得出拒绝或接受零假设的判别规则。
另一方面，对于任何的检验过程，都有可能犯错误，即所谓的第一类错误P（拒绝H0|H0为真）=α和第二类错误P（接受H0|H0不真）=β在下图，粉红色部分表示P（拒绝H0|H0为真）=α。
黄色部分表示P（接受H0|H0不真）=β。
而犯这两类错误的概率是一种此消彼长的情况，于是如何控制这两个概率，使它们尽可能的都小，就成了寻找优良的检验方法的关键。
下面简要介绍假设检验的有关基本理论。
参数显著性检验的思路是，已知总体的分布(,)F X θ，其中θ是未知参数。
总体真实分布完全由未知参数θ的取值所决定。
对θ提出某种假设001000:(:,)H H θθθθθθθθ=≠><或，从总体中抽取一个容量为n 的样本，确定一个统计量及其分布，决定一个拒绝域W ，使得0()P W θα=，或者对样本观测数据X ，0()P X W θα∈≤。
α是显著性水平，即犯第一类错误的概率。
既然犯两类错误的概率不能同时被控制，所以通常的做法是，限制犯第一类错误的概率，使犯第二类错误的概率尽可能的小，即在0()P X W θα∈≤ 0θ∈Θ的条件下，使得()P X W θ∈，0θ∈Θ-Θ达到最大，或1()P X W θ-∈，0θ∈Θ-Θ达到最小。
其中()P X W θ∈表示总体分布为(,)F X θ时，事件W ∈{X }的概率，0Θ为零假设集合（0Θ只含一个点时成为简单原假设，否则称为复杂原假设）。
多元线性回归模型的统计检验
我们所要进行的统计检验包括两个方面，一方面检验回归方程对样本数据的拟合程度，通过可决系数来分析；另一方面检验回归方程的显著性，通过假设检验对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断，包括对回归方程线性关系的检验和对回归系数显著性的检验。
一、拟合优度检验
Testing the Simulation Level
变量显著性检验即对回归系数的显著性进行检验，如果变量是显著的，那么回归系数应该显著地不为0。于是，在变量显著性检验中设计的原假设为：
H0：i=0
而备择假设为：
H1: i0
其中 的下角标i，在一元回归模型中取值1：
在二元回归模型中取值1、2。
可见，Ｆ与R2同向变化：当R2 ＝０时，Ｆ＝０；当R2=时，Ｆ为无穷大；R2越大，Ｆ值也越大。
因此，Ｆ检验是所估计回归总显著性的一个度量，也
是对
的一个显著性检验。即：
检验原假设
，等价于检验
Back
9、静夜四无邻，荒居旧业贫。。10、雨中黄叶树，灯下白头人。。11、以我独沈久，愧君相见频。。12、故人江海别，几度隔山川。。13、乍见翻疑梦，相悲各问年。。14、他乡生白发，旧国见青山。。15、比不了得就不比，得不到的就不要。。。16、行动出成果，工作出财富。。17、做前，能够环视四周；做时，你只能或者最好沿着以脚为起点的射线向前。。9、没有失败，只有暂时停止成功！。10、很多事情努力了未必有结果，但是不努力却什么改变也没有。。11、成功就是日复一日那一点点小小努力的积累。。12、世间成事，不求其绝对圆满，留一份不足，可得无限完美。。13、不知香积寺，数里入云峰。。14、意志坚强的人能把世界放在手中像泥块一样任意揉捏。15、楚塞三湘接，荆门九派通。。。16、少年十五二十时，步行夺得胡马骑。。17、空山新雨后，天气晚来秋。。9、杨柳散和风，青山澹吾虑。。10、阅读一切好书如同和过去最杰出的人谈话。11、越是没有本领的就越加自命不凡。12、越是无能的人，越喜欢挑剔别人的错儿。13、知人者智，自知者明。胜人者有力，自胜者强。14、意志坚强的人能把世界放在手中像泥块一样任意揉捏。15、最具挑战性的挑战莫过于提升自我。。16、业余生活要有意义，不要越轨。17、一个人即使已登上顶峰，也仍要自强不息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
注意的问题
判定系数只是说明列入模型的所有解释变量对被 解释变量的联合的影响程度，不说明模型中每个 解释变量的影响程度（在多元中） 回归的主要目的如果是经济结构分析，不能只追 求高的判定系数，而是要得到总体回归系数可信 的估计量。判定系数高并不一定每个回归系数都 可信。 如果建模的目的只是为了预测被解释变量值，不 是为了正确估计回归系数，一般可考虑有较高的 判定系数。
判定系数与相关系数的关系
联系：数值上判定系数是相关系数的平方。 区别： ⑴前者就模型而言，后者就两个变量而言。 ⑵前者说明解释变量对被解释变量的解释程度， 后者说明两变量线性依存程度。 ⑶前者度量的不对称的因果关系，后者度量的不 含因果关系的对称相关关系。 ⑷前者取值[0,1]非负，后者取值[-1,1]，可正可 负。
2 2 2 ˆ ˆ y y y y y y i i i i
y
yi
ei
yi y
ˆi y y
SRF
y
xi
x
TSS ( yi y ) 2 ˆi y )2 ESS ( y ˆi )2 RSS ( yi y
2
补充：关于假设检验(在进行F/T统计检 验之前)
假设检验是统计推断的一个主要内容，它的基本任务是根 据样本所提供的信息，对未知总体分布的某些方面的假设 作出合理的判断。 假设检验的程序是，先根据实际问题的要求提出一个论断， 称为统计假设；然后根据样本的有关信息，对假设的真伪 进行判断，作出拒绝或接受假设的决策。 假设检验的前提是知道所估计的样本回归系数概率分布性 质，即对总体回归系数某种原假设成立时。 假设检验的基本思想是概率性质的反证法。 概率性质的反证法的根据是小概率事件原理，该原理认为 “小概率事件在一次试验中几乎是不可能发生的,如果该小 概率事件竟然发生了，就认为原假设不正确，而拒绝原假 设，不拒绝备则假设”。 下面讲授的模型的显著性检验及解释变量的显著性检验都 基于此基础。
案例2.4
p45
⒈总变差的分解
设估计的多元线性回归模型为：
ˆ ˆ x ˆ x ˆ x e yi 0 1 1i 2 2i k ki i
分析Y的观测值、估计值和平均值的关系
ˆi y yi y ˆi yi y y
因为 yi y 0 ，将上式两边平方加总，可 证得
H 0 : 1 2 , k 0
即模型线性关系不成立。备择假设为： H1 : 1, 2 ,, k 不全为零
对于一元线性回归模型，假设为： H 0 : 1 0 H1 : 1 0 然后根据样本观测值和估计值，计算 F 统计量 的数值：
F ESS RSS k
Yi 由于Yi 服从正态分布，根据数理统计学中的定义， 的一
组样本的平方和服从 2 分布。所以有：
2 ˆ Y )2 ESS (Y i ～ (k )
2 ˆ )2 RSS (Yi Y i ～ ( n k 1)
即回归平方和、 残差平方和分别服从自由度为k
2
和
( n k 1)
ห้องสมุดไป่ตู้
对于一元回归模型，
S ˆ
1
误差项方差的估计量， 对于二元回归模型，
ˆ2
2 ˆ x ，其中 为随机
2 i
ˆ2
ˆ Yi Y i
n k 1
y
2
2 i
n2
ˆ 2 x2 1 i
ˆ ) SE ( 1 ˆ ) SE ( 2
x x x x x ˆ x x x x
t 如果
t ) (n k 1 ＜ 2 ，则在(1－α )的置
信概率下接受原假设 H0，表明在(1－α ) 的置信概率下，与 0 没有什麽差别， 即变量 Xi 对被解释变量的影响是不显著 的。
用P值判定参数的显著性
假设检验的p值 p值是根据既定的样本数据所计算的统计量，拒绝原 假设的最小显著性水平。 统计软件中（EViews,SPSS,SAS）通常都给出了检验的 p值。 方法：将给定的的显著性水平与p值比较： 若>p, 则在显著性水平下拒绝原假设H0，即认为X对Y 有显著影响。 若<=p, 则在显著性水平下接受原假设H0，即认为X对 Y没有显著影响。 规则：当p< 时，p值越小，越能拒绝原假设H0。
i
标准差。
2 ˆ
n k 1 2 2 2 ˆ e y y i i i
2 2 2 2 2 ˆ ˆ ˆ yi 1 x1i 2 x2i
2 e
计算出 t 统计量后，要选定一个显著性水平 ， 结合自由度 (n k 1) ，由 t 分布表（见书后附表） ，
第三节 回归模型的统计检验
对于样本回归模型拟合总体模型，我们通常要进 行经济检验、统计检验、计量检验等。 统计检验则是在一定概率下求出参数，检验样本 对总体的代表性、影响关系是否显著等问题。主 要通过一些统计检验方法来保证模型在统计意义 上（即以样本推断总体）的可靠性。 我们所要进行的统计检验包括两方面，一方面检 验回归方程对样本数据的拟合程度，通过可决系 数；另一方面检验回归方程的显著性，通过假设 检验对模型中被解释变量与解释变量之间的线性 关系在总体上是否显著成立作出判断，包括对回 归方程线性关系的检验和对回归系数显著性的检 验。
的
分布。
进一步根据数理统计学中的定义，如果构造一个统计量
ESS F RSS k
(n k 1)
则该统计量服从自由度为（k，n-k-1）的F分布。
2、方程显著性 F 检验的步骤
对回归方程线性关系显著性的检验采用 F 检验，检验 依据样本估计的回归方程所体现的被解释变量与解释 变量之间的线性关系在总体上是否显著成立， 即是检验 总体模型 Yi 0 1 X 1i 2 X 2i k X ki i i=1,2,…,n 中的参数是否显著不为 0。 按照假设检验的原理与程序， 首先提出假设，原假设为：
在应用过程中我们会发现，如果在模型中增加一 个解释变量，模型的解释功能增强了，可决系数 R 2 计
2 ˆ y y 算公式中的分子——回归平方和 i 就会增大，
因而 R 就增大。这就给人一种错觉：似乎要使模型拟 合得好，就必须增加解释变量。但是，在样本容量一 定的情况下，增加解释变量必定使得自由度减少。所 以，用以检验拟合优度的统计量必须能够防止这种倾 2 2 R R 向，我们可以用自由度来调整 ，用 来表示调整 后的可决系数，以剔除解释变量数目与样本容量的影 响，使具有不同样本容量和解释变量数目的回归方程 可以进行拟合优度的比较。
F检验与R2的关系
根据二者关系，有需注意的几个问题： ⑴F检验实际上也是判定系数的显著性检验。 ⑵如果模型对样本有较高的拟合优度，F检 验一般都能通过。 ⑶实际应用中不必过分苛求R2值的大小， 重要的是考察模型的经济意义是否合理。
如果所计算的 F ＞ F ( k , n k 1) ，则在(1－ ) 的置信概率下拒绝原假设 H 0 ， 即模型的线性关系显 著成立，模型通过方程显著性检验。如果所计算的
2、拟合优度检验统计量：可决系数(判
定系数)R2和校正可决系数 R2
（1）可决系数
2 R 用可决系数 进行拟合优度检验，可决系
数的计算公式为：
2 ˆ y y R2 i 2 y y i
0 R 2 1 ，该统计量越接近于 1，模型
的拟合优度越高。
判定系数不仅反映了模型拟合程度的优劣，而且有 直观的经济含义：它定量地描述了y的变化中可以 用回归模型来说明的部分，即在被解释变量的变动 中，由模型中解释变量所引起的比例。 见前一节例题，解释意义 判定系数的特点： ⑴判定系数取值范围[0，1]。 ⑵随抽样波动，样本判定系数是随抽样而变动的随 机变量。 ⑶判定系数是非负的统计量。
t ( n k 1) 查得临界值 。
2
t ( n k 1 ) t t 如果计算出的 统计量的绝对值 ＞ ，
2
则在(1－)的置信概率下拒绝原假设 H 0 。表
ˆ 明在(1－)的置信概率下， i 不是由 i 0 这样的
总体产生的，i 显著地不为 0，即变量X i 对被 解释变量的影响是显著的；
一、模型的拟合优度检验
所谓拟合优度，即模型对样本数据的近似 程度。由于实际观察得到的样本数据是对 客观事实的一种真实反映，因此，模型至 少应该能较好的描述这一部分客观实际情 况。为了考察模型的拟合优度，需要构造 一个指标——判定系数（可决系数）。 认识判定系数之前让我们回顾一下关于样 本与总体回归函数，了解总离差分解。
F < F ( k , n k 1) ，则在(1－ )的置信概率下接受
原假设 H 0 ，即模型的线性关系显著不成立，模型未 通过方程显著性检验。
见书例题
三、解释变量的显著性检验
解释变量显著性检验即对回归系数的显著性 进行检验，如果变量是显著的，那么回归系 数应该显著地不为0。于是，在变量显著性 检验中设计的原假设为： H0：i=0 而备择假设为： H1: i0 其中 的下角标i，在一元回归模型中取值1： 在二元回归模型中取值1、2。
2
( n k 1)
ˆi y / k y 2 ˆ y y i i / n k 1
R /k F 2 1 R / n k 1
2
k 为模型中解释变量的个数， R 2 为判定系数， 其中，
n 为样本容量。
F 统计量服从自由度为 ( k , n k 1) 的 F 分布。选定 一个显著性水平 ，查 F 分布表（见本书附录） ， 可以得到一个临界值 F ( k , n k 1) 。