线性回归的显著性检验
线性回归的显著性检验
线性回归的显着性检验1.回归方程的显着性在实际问题的研究中，我们事先并不能断定随机变量y与变量人,乂2，…，x p之间确有线性关系，在进行回归参数的估计之前，我们用多元线性回归方程去拟合随机变量y与变量X「X2，…，X p之间的关系，只是根据一些定性分析所作的一种假设。
因此，和一元线性回归方程的显着性检验类似，在求出线性回归方程后，还需对回归方程进行显着性检验。
设随机变量丫与多个普通变量x1, x2^ ,x p的线性回归模型为其中；服从正态分布N（0,；「2）对多元线性回归方程的显着性检验就是看自变量若接受X i,X2，…,X p从整体上对随机变量y是否有明显的影响。
为此提出原假设如果H。
被接受，则表明随机变量y与x「X2，…，X p的线性回归模型就没有意义。
通过总离差平方和分解方法，可以构造对H o进行检验的统计量。
正态随机变量y i,y2/ , y n的偏差平方和可以分解为：n n nS r f （y—y）2为总的偏差平方和，S R=為（懈-y）2为回归平方和，S E f （% - ？）2为残i 1i# im差平方和。
因此，平方和分解式可以简写为：回归平方和与残差平方和分别反映了b = 0所引起的差异和随机误差的影响。
构造F检验统计量则利用分解定理得到：在正态假设下，当原假设H o ：b i =0, b2 =0，…，b p =0成立时，F服从自由度为（p,n -p-1）的F分布。
对于给定的显着水平［，当F大于临界值（p, n-p-1）时，拒绝H。
，说明回归方程显着，x与y有显着的线性关系。
实际应用中，我们还可以用复相关系数来检验回归方程的显着性。
复相关系数R定义为：平方和分解式可以知道，复相关系数的取值范围为0空R乞1。
R越接近1表明S E越小，回归方程拟合越好。
2.回归系数的显着性若方程通过显着性检验，仅说明b o，b i，b2,…b p不全为零，并不意味着每个自变量对y的影响都显着，所以就需要我们对每个自变量进行显着性检验。
线性回归的显著性检验
线性回归的显着性检验1.回归方程的显着性在实际问题的研究中,我们事先并不能断定随机变量y 与变量p x x x ,,,21 之间确有线性关系,在进行回归参数的估计之前,我们用多元线性回归方程去拟合随机变量y 与变量p x x x ,,,21 之间的关系,只是根据一些定性分析所作的一种假设;因此,和一元线性回归方程的显着性检验类似,在求出线性回归方程后,还需对回归方程进行显着性检验;设随机变量Y 与多个普通变量p x x x ,,,21 的线性回归模型为其中ε服从正态分布),0(2σN对多元线性回归方程的显着性检验就是看自变量若接受p x x x ,,,21 从整体上对随机变量y 是否有明显的影响;为此提出原假设如果0H 被接受,则表明随机变量y 与p x x x ,,,21 的线性回归模型就没有意义;通过总离差平方和分解方法,可以构造对0H 进行检验的统计量;正态随机变量n y y y ,,,21 的偏差平方和可以分解为：∑=-=n i i T y y S 12)(为总的偏差平方和,∑=-=n i i R y y S 12)ˆ(为回归平方和,∑=-=n i i i E yy S 12)ˆ(为残差平方和;因此,平方和分解式可以简写为： 回归平方和与残差平方和分别反映了0≠b 所引起的差异和随机误差的影响;构造F 检验统计量则利用分解定理得到：在正态假设下,当原假设0,,0,0:210===p b b b H 成立时,F 服从自由度为)1,(--p n p 的F 分布;对于给定的显着水平α,当F 大于临界值)1,(--p n p 时,拒绝0H ,说明回归方程显着,y x 与有显着的线性关系;实际应用中,我们还可以用复相关系数来检验回归方程的显着性;复相关系数R 定义为：平方和分解式可以知道,复相关系数的取值范围为10≤≤R ;R 越接近1表明E S 越小,回归方程拟合越好;2.回归系数的显着性若方程通过显着性检验,仅说明p b b b b ,,,210不全为零,并不意味着每个自变量对y 的影响都显着,所以就需要我们对每个自变量进行显着性检验;若某个系数0=j b ,则j x 对y 影响不显着,因此我们总想从回归方程中剔除这些次要的,无关的变量;检验i x 是否显着,等于假设已知])(,[~ˆ12-'X X B N B σ,p j i c X X ij ,,2,1,0,)(1 =='-）（记,可知],[~ˆ2σijj j c b N b ,,,2,1,0p j =据此可构造t 统计量 其中回归标准差为当原假设0:0=j j b H 成立时,则j t 统计量服从自由度为1--p n 的t 分布,给定显着性水平α,当2αt t j ≥时拒绝原假设0:0=j j b H ,认为j x 对y 影响显着,当2αt t j <时,接受原假设0:0=j j b H ,认为j x 对y 影响不显着;。
多元线性回归模型的各种检验方法
多元线性回归模型的各种检验方法多元线性回归模型是常用于数据分析和预测的方法，它可以用于研究多个自变量与因变量之间的关系。
然而，仅仅使用多元线性回归模型进行参数估计是不够的，我们还需要对模型进行各种检验以确保模型的可靠性和有效性。
下面将介绍一些常用的多元线性回归模型的检验方法。
首先是模型的整体显著性检验。
在多元线性回归模型中，我们希望知道所构建的模型是否能够显著解释因变量的变异。
常见的整体显著性检验方法有F检验和显著性检查表。
F检验是通过比较回归模型的回归平方和和残差平方和的比值来对模型的整体显著性进行检验。
若F值大于一定的临界值，则可以拒绝原假设，即模型具有整体显著性。
通常，临界值是根据置信水平和自由度来确定的。
显著性检查表是一种常用的汇总表格，它可以提供关于回归模型的显著性水平、标准误差、置信区间和显著性因素的信息。
通过查找显著性检查表，我们可以评估模型的显著性。
其次是模型的参数估计检验。
在多元线性回归模型中，我们希望知道每个自变量对因变量的影响是否显著。
通常使用t检验来对模型的参数估计进行检验。
t检验是通过对模型的回归系数进行检验来评估自变量的影响是否显著。
与F检验类似，t检验也是基于假设检验原理，通过比较t值和临界值来决定是否拒绝原假设。
通常，临界值可以通过t分布表或计算机软件来获取。
另外，我们还可以使用相关系数来评估模型的拟合程度。
相关系数可以用来衡量自变量与因变量之间的线性关系强度，常见的相关系数包括Pearson相关系数和Spearman相关系数。
Pearson相关系数适用于自变量和因变量都是连续变量的情况，它衡量的是两个变量之间的线性关系强度。
取值范围为-1到1，绝对值越接近1表示关系越强。
Spearman相关系数适用于自变量和因变量至少有一个是有序变量或者都是有序变量的情况，它衡量的是两个变量之间的单调关系强度。
取值范围也是-1到1，绝对值越接近1表示关系越强。
最后，我们还可以使用残差分析来评估模型的拟合程度和误差分布。
回归方程及回归系数的显著性检验
§ 3回归方程及回归系数的显著性检验1、回归方程的显著性检验（1）回归平方和与剩余平方和建立回归方程以后，回归效果如何呢？因变量丿与自变量旳=乜严\茂更是否确实存在线性关系呢？这是需要进行统计检验才能加以肯定或否定，为此，我们要进一步研究因变量丿取值的变化规律。
丿的每次取值找优■1,2严诃）是有波动的，这种波动常称为变差，每次观测值的变差大小，常用该次观侧值戸=』^^与觅次观测值的平均值” j 的差丿鸟-P（称为离差）来表示，而全部n次观测值的总变差可由总的离差平方和3护=另0丘-』卩=2。
氐-A?十刀庆-/PJU1 JU1其中:31 称为回归平方和，是回归值丿化与均值7之差的平方和，它反映了自变量xwr的变化所引起的丿的波动,其自由度f戸-E （帆为自变量的个数）。
Z 称为剩余平方和（或称残差平方和）,是实测值丿代与回归值之差的平方和，它是由试验误差及其它因素引起的，其自由度巾。
总的离差平方和g邓的自由度为播-1。
如果观测值给定，则总的离差平方和'a是确定的，即2+B是确定的，因此^大则e小，反之，卩小则2大，所以了与e都可用来衡量回归效果，且回归平方和*^越大则线性回归效果越显著，或者说剩余平方和2越小回归效果越显著，如果E = 0，则回归超平面过所有观测点；如果2大，则线性回归效果不好。
（2）复相关系数为检验总的回归效果，人们也常引用无量纲指标V 氏刃,(3.2)丘称为复相关系数。
因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”，因此丘2就是这种贡献在总回归平方和中所占的比例，因此丘表示全部自变量与因变量丿的相关程度。
显然0＜丘＜1。
复相关系数越接近1 ,回归效果就越好，因此它可以作为检验总的回归效果的一个指标。
但应注意回归方程中自变量的个数闻及观测组数n有关，当？2相对于m并不很大时，常有较大的兄值,因此实际计算中应注意揪与N的适当比例，一般认为应取n至少为rn的5到10倍为宜。
回归方程和回归系数的显著性检验
§3 回归方程及回归系数的显著性检验１、回归方程的显著性检验(1) 回归平方和与剩余平方和建立回归方程以后, 回归效果如何呢因变量与自变量是否确实存在线性关系呢这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。
的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和,其中:称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。
称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。
总的离差平方和的自由度为。
如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果＝0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。
(2) 复相关系数为检验总的回归效果, 人们也常引用无量纲指标,或,称为复相关系数。
因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。
显然。
复相关系数越接近１, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。
但应注意, 与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的５到10倍为宜。
(3) 检验要检验与是否存在线性关系, 就是要检验假设,当假设成立时, 则与无线性关系, 否则认为线性关系显著。
检验假设应用统计量,这是两个方差之比, 它服从自由度为及的分布, 即,用此统计量可检验回归的总体效果。
线性回归的显著性检验
线性回归的显着性检验1.回归方程的显着性在实际问题的研究中，我们事先并不能断定随机变量y与变量x1,x2/ ,x p之间确有线性关系，在进行回归参数的估计之前，我们用多元线性回归方程去拟合随机变量y与变量人〃2，…，X p之间的关系，只是根据一些定性分析所作的一种假设。
因此，和一元线性回归方程的显着性检验类似，在求出线性回归方程后，还需对回归方程进行显着性检验。
设随机变量丫与多个普通变量X j,X2,…，X p的线性回归模型为其中；服从正态分布N（o,；「2）对多元线性回归方程的显着性检验就是看自变量若接受X i, X2，…，X p从整体上对随机变量y是否有明显的影响。
为此提出原假设如果H。
被接受，则表明随机变量y与X i，X2，…，X p的线性回归模型就没有意义。
通过总离差平方和分解方法，可以构造对H o进行检验的统计量。
正态随机变量y i, y2/ , y n的偏差平方和可以分解为：n n nS r八（y i -y）2为总的偏差平方和，S R八（场-y）2为回归平方和，S E八（y i-?）2为残i 1i £i A差平方和。
因此，平方和分解式可以简写为：回归平方和与残差平方和分别反映了 b = 0所引起的差异和随机误差的影响。
构造F检验统计量则利用分解定理得到：在正态假设下，当原假设H°:b1 =0, d =0，…，b p =0成立时，F服从自由度为（p,n - p「1）的F 分布。
对于给定的显着水平［，当F大于临界值（p, n-p-1）时，拒绝H。
，说明回归方程显着，x与y有显着的线性关系。
R定义实际应用中，我们还可以用复相关系数来检验回归方程的显着性。
复相关系数为:平方和分解式可以知道，复相关系数的取值范围为O^R^I。
R越接近1表明S E越小，回归方程拟合越好。
2•回归系数的显着性若方程通过显着性检验，仅说明bog,b2,…b p不全为零，并不意味着每个自变量对y的影响都显着，所以就需要我们对每个自变量进行显着性检验。
回归方程的显著性检验线性关系的检验
回归系数的显著性检验
（实例）
对前例的回归系数进行显著性检验(＝0.05)：
1.提出假设
H0：1 = 0 人均收入与人均消费之间无线性关系； H1：1 0 人均收入与人均消费之间有线性关系。
2.计算检验的统计量
3. 收t=入65与.07人58均>t消费=2之20间1，有拒线绝性H关0系，。表明人均
{y1 = 0 1 x11 x12 px1p 1 y2= 0 1 x21 x22 px2p …… yn= 0 1 xn1 xn2 pxnp n
多元线性回归模型
（基本假定）
1. 自变量 x1,x2,…,xp是确定性变量，不是随机变量。 2. 随机误差项ε的期望值为0，且方差σ2 都相同。 3. 误差项ε是一个服从正态分布的随机变量 ，即
3. 图像
1 =1
=-1 <-1
0< < 1
-1< <0
非线性模型及其线性化方法
双曲线函数
1. 基本形式： 2. 线性化方法
令：y' = 1/y，x'= 1/x, 则有y' = + x'
3. 图像
<0
>0
非线性模型及其线性化方法
对数函数
1. 基本形式： 2. 线性化方法
废品率与生产率的关系
生产率（周/单位) x
1000
2000
3000 3500 4000 4500 5000
废品率（%） y
5.2 6.5 6.8 8.1 10.2 10.3 13.0
非线性回归
（实例） 生产率与废品率的散点图
16
·Ï
从统计学看线性回归（2）——一元线性回归方程的显著性检验
从统计学看线性回归（2）——⼀元线性回归⽅程的显著性检验⽬录1. σ2 的估计2. 回归⽅程的显著性检验 t 检验（回归系数的检验） F 检验（回归⽅程的检验） 相关系数的显著性检验 样本决定系数 三种检验的关系⼀、σ2 的估计 因为假设检验以及构造与回归模型有关的区间估计都需要σ2的估计量，所以先对σ2作估计。
通过残差平⽅和（误差平⽅和）（1）（⽤到和，其中）⼜∵（2）∴（3）其中为响应变量观测值的校正平⽅和。
残差平⽅和有n-2 个⾃由度，因为两个⾃由度与得到的估计值与相关。
（4）（公式（4）在《线性回归分析导论》附录C.3有证明）∴σ2的⽆偏估计量：（5）为残差均⽅，的平⽅根称为回归标准误差，与响应变量y 具有相同的单位。
因为σ2取决于残差平⽅和，所以任何对模型误差假设的违背或对模型形式的误设都可能严重破坏σ2的估计值的实⽤性。
因为由回归模型残差算得，称σ2的估计值是模型依赖的。
⼆、回归⽅程的显著性检验 ⽬的：检验是否真正描述了变量 y 与 x 之间的统计规律性。
假设：正态性假设（⽅便检验计算）1. t 检验 ⽤t 检验来检验回归系数的显著性。
采⽤的假设如下：原假设 H0：β1 = 0 （x 与 y 不存在线性关系）对⽴假设 H1：β1 ≠ 0 回归系数的显著性检验就是要检验⾃变量 x 对因变量 y 的影响程度是否显著。
下⾯我们分析接受和拒绝原假设的意义。
（1）接受 H0：β1 = 0 （x 与 y 不存在线性关系） 此时有两种情况，⼀种是⽆论 x 取值如何， y 都在⼀条⽔平线上下波动，即，如下图1，另⼀种情况为， x 与 y 之间存在关系，但不是线性关系，如图2。
图 1图 2 （2）拒绝 H0：β1 = 0 （x 对解释 y 的⽅差是有⽤的） 拒绝原假设也有两种情况，⼀种是直线模型就是合适的，如图 3，另⼀种情况为存在 x 对 y 的线性影响，也可通过 x 的⾼阶多项式得到更好的结果，如图 4。
计量经济学第三章第3节多元线性回归模型的显著性检验
人均国内生 产总值 1602.3 1727.2 1949.8 2187.9 2436.1
1983
1984 1985
572.8
635.6 716
931.4
1059.2 1185.2
1995
1996 1997
1213.1
1322.8 1380.9
2663.7
2889.1 3111.9
1986 1987
1988 1989
(2) 当k =0时，即只有截距项式时，R = R (3) 当k 0时，R R
2 2 2 2 2
2 k (4) R 会出现负值，当R < 时，会出现 R <0的情况 n-1 2
此时，将理解为R =0
2
（5）对调整后拟合优度的补充说明：
RSS n k 1 n 1 RSS R 1 1 TSS n 1 n k 1 TSS
第三节 显著性检验及预测
一、拟合优度检验
二、变量的显著性检验 三、回归方程的显著性检验
四、利用方程进行预测
一、多元线性回归模型的统计检验
<一> 拟合优度
• 类似一元回归，多元回归同样可以用拟合优度R2度量样本 回归方程拟合样本观察值的程度。R2越接近1，拟合的越好。
（1）总离差平方和分解 设多元线性回归模型为：
(6) 修正的拟合优度总结
• 解释变量的增加，有可能导致样本回归方程与 样本观察值拟合程度的提高，也会由于变量的个数 的增加导致拟合优度虚假的提高。 • 调整后的拟合优度，是剔除由于解释变量个数 增加导致拟合数值虚假提高，而拟合程度并没有实 际提高的部分。 由此可见，修正的拟合优度 R 比一般意义的拟合 优度 R 2 更准确的反映了解释变量对被解释变量的影响 程度。因此在一般情况下修正拟合优度 R 比 R 应用 更广。
计量经济学第三章第3节多元线性回归模型的显著性检验
当增加一个对被解释变量有较大影响的解释变量时， 残差平方和减小的比n-k-1 减小的更显著，拟合优度 就增大，这时就可以考虑将该变量放进模型。 如果增加一个对被解释变量没有多大影响的解释变量， 残差平方和减小没有n-k-1减小的显著，拟合优度会减 小，其说明模型中不应该引入这个不重要的解释变量， 可以将其剔除。
在对话框中输入：
y c x y(-1)
y c x y(-1) y(-2)
字母之间用空格分隔。 注：滞后变量不需重新形成新的时间序列，软件 自动运算实现，k期滞后变量，用y(-k)表示。
• 使用k期滞后变量，数据将损失k个样本观察值， 例如：
序号 2000 2001 2002 2003 2004 2005 2006 2007 2008 y 3 4 5 6 7 8 9 10 11 Y(-1) Y(-2) Y(-3)
2
2
2
*赤池信息准则和施瓦茨准则
• 为了比较所含解释变量个数不同的多元回归模型的 拟合优度，常用的标准还有: 赤池信息准则（Akaike information criterion, AIC） e e 2( k 1) AIC ln n n 施瓦茨准则（Schwarz criterion，SC）
一元、二元模型的系数均大于0，符合经济意义，三元模型 系数的符号与经济意义不符。 用一元回归模型的预测值是1758.7，二元回归模型的预测值 是1767.4，2001年的实际值是1782.2。一元、二元模型预测 的绝对误差分别是23.5、14.8。
3) 三个模型的拟合优度与残差
二元：R2 =0.9954，E2 ei2 13405 三元：R2 =0.9957，E3 ei2 9707
746.5 788.3
一元线性回归结果的显著性检验
二、 回归分析结果的评价
建立的模型是否合适？或者说，这个拟合的模型有多
“好”？要回答这些问题，可以从以下几个方面入手 ˆ 的符号是否与理论或事先预期相 1. 所估计的回归系数 1 一致
2. 如果理论上认为 x与y之间的关系不仅是正的，而且是
统计上显著的，那么所建立的回归方程也应该如此
在不良贷款与贷款余额的回归中，可以预期贷款余额越多 不良贷款也可能会越多，也就是说，回归系数的值应该是 正的，在上面建立的回归方程中，我们得到的回归系数 为正值 ˆ 0.037895
2. 点估计值有
y 的平均值的点估计 y 的个别值的点估计
3. 在点估计条件下，平均值的点估计和个别值的 的点估计是一样的，但在区间估计中则不同
27
y 的平均值的点估计 1. 利用估计的回归方程，对于自变量 x 的一个 给定值 x0 ，求出因变量 y 的平均值的一个 估计值E(y0) ，就是平均值的点估计 2. 在前面的例子中，假如我们要估计人均国民 收入为2000元时，所有年份人均消费金额的 的平均值，就是平均值的点估计。根据估计 的回归方程得
一、回归结果的显著性检验
1.线性关系的检验
①检验自变量与因变量之间的线性关系是否显著
②将回归均方(MSR)同残差均方(MSE)加以比较，
应用F 检验来分析二者之间的差别是否显著
回归均方：回归平方和 SSR 除以相应的自 由度(自变量的个数) 残差均方 (MSE) ：残差平方和 SSE 除以相 应的自由度(n-2).
注意！
33
【例】根据前例，求出 1990年人均国民收入为 1250.7元时，人均消费金额的95%的预测区间 解：根据前面的计算结果有 ˆ 0 ＝ 712.57 ， Sy=14.95 ， t(13-2) ＝ 2.201 ， y n=13 ˆ 0 的置信区间为 y
线性回归的显著性检验及回归预测
解：根据前面的计算结果有
n 16, Se 2.457, yc 51.6011, ta / 2 (n 2) t0.025 (14) 2.1448
x
x
/
n
57.25,
nS
2 x
( x x)2 2645
故置信上下限为：
51.6011 2.1448 2.457 1 1 (73 57.25)2 / 2645 16
y
预测区间上限
yc a bx
预测区间下限
x x0
x
第四节 可线性化的回归方程
一、可线性化的常用曲线类型 二、配合回归曲线的问题 三、非线性判定系数与相关系数
拒绝H0，表明总体的两变量之间存在着 显著的线性相关关系，即能源消耗量与 工业总产值之间存在显著的线性相关关 系。
回归方程的显著性检验
1、目的：对回归方程拟合优度的检验 2、具体方法：将回归离差平方和(SSR)同 剩余离差平方和(SSE)加以比较，应用F检 验来分析二者之间的差别是否显著
♥如果是显著的，两个变量之间存在线性 关系 ♥如果不显著，两个变量之间不存在线性 关系
H1: b 0
❖ 构造检验统计量 t b ~ t(n 2)
S(b)
1 S(b) Se n
( xi x)2
n
i 1
n
n
( xi
x )2
nS
2 x
xi2 ( x)2 / n
i 1
i 1
i 1
•计算实际统计量t的值
•确定显著性水平a，查t分布表得临界值 ta/2(n-2),作出统计决策： ♥ |t|>=ta/2，拒绝H0,说明变量X与Y之间存 在着显著的线性关系；
即51.6011 5.6666
线性回归的显著性检验
线性回归的显著性检验1.回归方程的显著性在实际问题的研究中， 我们事先并不能断定随机变量y 与变量 x 1 , x 2 , , x p 之间确有线性关系， 在进行回归参数的估计之前， 我们用多元线性回归方程去拟合随机变量 y 与变量 x 1 , x 2 , , x p 之间的关系，只是根据一些定性分析所作的一种假设。
因此，和一元线性回归方程的显著性检验类似，在求出线性回归方程后，还需对回归方程进行显著性检验。
设随机变量 Y 与多个普通变量 x 1, x 2 ,, x p 的线性回归模型为 Y b 0 b 1x 1b p x p其中 服从正态分布 N ( 0, 2 )对多元线性回归方程的显著性检验就是看自变量若接受x 1, x 2 , , x p 从整体上对随机变量 y 是否有明显的影响。
为此提出原假设 H 0 : b1 0, b2 0, , bp如果 H 0 被接受，则表明随机变量 y 与 x1 , x2 ,, xp 的线性回归模型就没有意义。
通过总离差平方和分解方法，可以构造对 H 0 进行检验的统计量。
正态随机变量y 1 , y 2 , , y n 的偏差平方和可以分解为：nn n n ( y i y) 2 ? ? y) 2 ? y) 2 ( y i ? 2( y i y i y i ( y i y i )i 1 i 1 i 1 i 1n y) 2 n y) 2 S T ( y i 为总的偏差平方和， S R ( y?i 为回归平方和， i 1 i 1 n2S E( y i ? 为残差平方和。
因此，平方和分解式可以简写为： y i ) i 1S T S R S E回归平方和与残差平方和分别反映了 b 0 所引起的差异和随机误差的影响。
构造 F 检验统计量则利用分解定理得到：Q R p F pQ E (n1)在正态假设下，当原假设H 0 : b10, b20,, bp 0 成立时，F 服从自由度为( p, np 1) 的F 分布。
第2节 一元线性回归效果的显著性检验
Y
yi
yˆ aˆ bˆx
yi yˆ i
yi y
y
yˆ i y
o
xi
X
3
yi y ( yˆ i y) ( yi yˆ i )
由于 aˆ y bˆx , 即 y aˆ bˆx , 因此有
n
n
( yˆ i y)( yi yˆ i ) (aˆ bˆxi y)( yi aˆ bˆxi )
独立的随机变量，且都服从零均值同方差的正态分布，
即 i ~ N (a bxi , 2 ) ( 2 是与 x 无关的未知数)，
可以证明，
E(bˆ) b, E(aˆ) a, E( Q ) 2 ,
n2
即aˆ, bˆ, Q 分别是a, b, 2 的无偏估计量,
n 2
记 S2 Q . n2
12
如 b 0，则Y a , 说明x 对 Y 没有线性影响，
i 1
又 yˆ i 是回归直线上的纵坐标，因此，yˆ1, yˆ 2 , yˆ n 的
分散性来源于 x1 , x2 , xn 的分散性 , 它是通过 x 对 Y
的相关关系引起的，因此 U 称为回归平方和. 6
n
n
U ( yˆ i y)2 , Q ( yi yˆ i )2 , l yy U Q .
税收总额 Y
1
142.08
3.93
2
177.31
5.96
3
204.68
7.85
4
242.88
9.82
5
316.24
12.51
6
341.99
15.55
7
332.69
回归方程显著性检验
量 x1， x2 ，… ， xp 之间是否确有线性关系。在求
线性回归方程之前，线性回归模型只是一种假设。
尽管这种假设常常不是没有根据的，但在求得线性
回归方程后，还是需要对回归方程进行统计检验， 以给出肯定或者否定的结论。
显著性假设
如果因变量 y 与自变量 x1， x2 ，… ， xp 之间不存 在线性关系，则模型
回归方程显著，并不意味着每个自变量 x1，x2，…，xp 对因 变量 y 的影响都显著，所以从回归方程中剔除那些可有可无 的变量，重新建立更为简单的线性回归方程。
分析:
如果某个变量 xj 对 y 的作用不显著,则模型 y x x x t 0 1 t 1 2 t 2 p tp t
y x x x t 0 1 t 1 2 t 2 p tp t
H ： 0 ， ， ， 0 0 1 2 p
中，参数β为零向量，即有原假设： 将此假设作为上述模型的约束条件，进行假设检验。
求得统计量
S 回/ p F S剩/( n p1 ) n n 1 2 y y ˆ S ( y y ) i 回 i n i 1 i 1
于是得到回归方程为：
因为模型只是一种假定，为了考察这一假定是 否符合实际观察结果，需要进行以下的假设检验：
H b b b 0 , 0: 1 2 p H b . 1: i不全为零
2 ˆ y 2 . 19827 0 . 02252 x 0 . 0001250 x
若在水平α下拒绝 H0 ，我们就认为回归效果是 显著的。
p F F H 1 , p , n p 1 0
线性回归模型检验方法拓展~三大检验
第四章线性回归模型检验方法拓展——三大检验作为统计推断的核心内容，除了估计未知参数以外，对参数的假设检验是实证分析中的一个重要方面。
对模型进行各种检验的目的是，改善模型的设定以确保基本假设和估计方法比较适合于数据，同时也是对有关理论有效性的验证。
一、假设检验的基本理论及准则假设检验的理论依据是“小概率事件原理”，它的一般步骤是（1）建立两个相对（互相排斥）的假设（零假设和备择假设）。
（2）在零假设条件下，寻求用于检验的统计量及其分布。
（3）得出拒绝或接受零假设的判别规则。
另一方面，对于任何的检验过程，都有可能犯错误，即所谓的第一类错误P（拒绝H0|H0为真）=α和第二类错误P（接受H0|H0不真）=β在下图，粉红色部分表示P（拒绝H0|H0为真）=α。
黄色部分表示P（接受H0|H0不真）=β。
而犯这两类错误的概率是一种此消彼长的情况，于是如何控制这两个概率，使它们尽可能的都小，就成了寻找优良的检验方法的关键。
下面简要介绍假设检验的有关基本理论。
参数显著性检验的思路是，已知总体的分布(,)F X θ，其中θ是未知参数。
总体真实分布完全由未知参数θ的取值所决定。
对θ提出某种假设001000:(:,)H H θθθθθθθθ=≠><或，从总体中抽取一个容量为n 的样本，确定一个统计量及其分布，决定一个拒绝域W ，使得0()P W θα=，或者对样本观测数据X ，0()P X W θα∈≤。
α是显著性水平，即犯第一类错误的概率。
既然犯两类错误的概率不能同时被控制，所以通常的做法是，限制犯第一类错误的概率，使犯第二类错误的概率尽可能的小，即在0()P X W θα∈≤ 0θ∈Θ的条件下，使得()P X W θ∈，0θ∈Θ-Θ达到最大，或1()P X W θ-∈，0θ∈Θ-Θ达到最小。
其中()P X W θ∈表示总体分布为(,)F X θ时，事件W ∈{X }的概率，0Θ为零假设集合（0Θ只含一个点时成为简单原假设，否则称为复杂原假设）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
线性回归的显着性检验
1.回归方程的显着性
在实际问题的研究中，我们事先并不能断定随机变量y 与变量p x x x ,,,21 之间确有线性关系，在进行回归参数的估计之前，我们用多元线性回归方程去拟合随机变量y 与变量p x x x ,,,21 之间的关系，只是根据一些定性分析所作的一种假
设。
因此，和一元线性回归方程的显着性检验类似，在求出线性回归方程后，还需对回归方程进行显着性检验。
设随机变量Y 与多个普通变量p x x x ,,,21 的线性回归模型为
其中 服从正态分布),0(2 N
对多元线性回归方程的显着性检验就是看自变量若接受p x x x ,,,21 从整体
上对随机变量y 是否有明显的影响。
为此提出原假设
如果0H 被接受，则表明随机变量y 与p x x x ,,,21 的线性回归模型就没有意义。
通过总离差平方和分解方法，可以构造对0H 进行检验的统计量。
正态随机变量n y y y ,,,21 的偏差平方和可以分解为：
n i i T y y S 1
2
)(为总的偏差平方和， n i i R y y S 12)ˆ(为回归平方和， n i i i E y
y S 1
2)ˆ(为残差平方和。
因此，平方和分解式可以简写为： 回归平方和与残差平方和分别反映了0 b 所引起的差异和随机误差的影响。
构造F 检验统计量则利用分解定理得到：
在正态假设下，当原假设0,,0,0:210 p b b b H 成立时，F 服从自由度为)1,( p n p 的F 分布。
对于给定的显着水平 ，当F 大于临界值)1,( p n p 时，拒绝0H ，说明回归方程显着，y x 与有显着的线性关系。
实际应用中，我们还可以用复相关系数来检验回归方程的显着性。
复相关系数R 定义为：
平方和分解式可以知道，复相关系数的取值范围为10 R 。
R 越接近1表明E S 越小，回归方程拟合越好。
2.回归系数的显着性
若方程通过显着性检验，仅说明p b b b b ,,,210不全为零，并不意味着每个自变量对y 的影响都显着，所以就需要我们对每个自变量进行显着性检验。
若某个系数0 j b ，则j x 对y 影响不显着，因此我们总想从回归方程中剔除这些次要的，无关的变量。
检验i x 是否显着，等于假设
已知])(,[~ˆ12 X X B N B ，p j i c X X ij ,,2,1,0,)(1 ）（记,可知],[~ˆ2 ij
j j c b N b ,,,2,1,0p j 据此可构造t 统计量 其中回归标准差为
当原假设0:0 j j b H 成立时，则j t 统计量服从自由度为1 p n 的t 分布，给定显着性水平 ，当2 t t j 时拒绝原假设0:0 j j b H ，认为j x 对y 影响显着,当2 t t j 时，接受原假设0:0 j j b H ，认为j x 对y 影响不显着。