回归方程及回归系数的显著性检验
显著性检验
显著性检验对所有自变量与因变量之间的直线回归关系的拟合程度，可以用统计量R2来度量，其公式如下：TSS(Total Sum of Squares)称为总平方和，其值为，体现了观测值y1,y2,…,y n总波动大小，认为是在执行回归分析之前响应变量中的固有变异性。
ESS(Explained Sum of Squares)称为回归平方和，是由于y与自变量x1,x2,…,x n的变化而引起的，其值为，体现了n个估计值的波动大小。
RSS(Residual Sum of Squares)称为残差平方和，其值为。
R2称为样本决定系数，对于多元回归方程，其样本决定系数为复决定系数或多重决定系数。
回归模型的显著性检验包括：①对整个回归方程的显著性检验；②对回归系数的显著性检验。
对整个回归方程的显著性检验的假设为“总体的决定系统ρ2为零”，这个零假设等价于“所有的总体回归系数都为零”，即：检验统计量为R2，最终检验统计量为F比值，计算公式为：F比值的意义实际上是“由回归解释的方差”与“不能解释的方差”之比。
检验回归方程是否显著的步骤如下。
第1步，做出假设。
备择假设H1:b1,b2,…,b k不同时为0。
第2步，在H0成立的条件下，计算统计量F。
第3步，查表得临界值。
对于假设H0，根据样本观测值计算统计量F，给定显著性水平α，查第一个自由度为k，第二个自由度为n-k-1的F分布表得临界值F(k,n-k-1)。
当F≥Fα(k,n-k-1)时，拒绝假设H0，则认为回归方程α显著成立；当F＜Fα(k,n-k-1)时，接受假设H0，则认为回归方程无显著意义。
对某个回归参数βi的显著性检验的零假设为：H0：βi=0，检验的最终统计量为：具体步骤如下。
(1)提出原假设H0:βi=0；备择假设H1:βi≠0。
(2)构造统计量，当βi=0成立时，统计量。
这里是的标准差，k为解释变量个数。
(3)给定显著性水平α，查自由度为n-k-1的t分布表，得临界值。
回归方程及回归系数的显著性检验演示教学
回归方程及回归系数验检性著显的．3 回归方程及回归系数的显著性检验§１、回归方程的显著性检验回归平方和与剩余平方和(1)是否确实存在线性关系呢？这, 回归效果如何呢？因变量与自变量建立回归方程以后我们要进一步研究因变量, 取值的变化规律。
的每是需要进行统计检验才能加以肯定或否定, 为此常用该次观侧值每次观测值的变差大小, 次取值是有波动的, 这种波动常称为变差,次观测值的总变差可由而全部, 的差(称为离差)来表示与次观测值的平均值总的离差平方和,: 其中它反映了自变量称为回归平方和 , 是回归值与均值之差的平方和,。
)为自变量的个数的波动的变化所引起的, 其自由度(,), 是实测值与回归值之差的平方和或称残差平方和称为剩余平方和(的自由度为其自由度。
总的离差平方和。
它是由试验误差及其它因素引起的,,, 是确定的即, 如果观测值给定则总的离差平方和是确定的, 因此大则反之小,或者, 与, 大所以且回归平方和都可用来衡量回归效果, 越大则线性回归效果越显著小则如果越小回归效果越显著, ; 则线性回大, 说剩余平方和0, ＝如果则回归超平面过所有观测点归效果不好。
复相关系数(2)人们也常引用无量纲指标, 为检验总的回归效果, (3.1)或．, (3.2)称为复相关系数。
因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此因此的相关程度。
显然, 就是这种贡献在总回归平方和中所占的比例表示全部自变量与因变量因此它可以作为检验总的回归效果的一个指标。
但, 回归效果就越好, 。
复相关系数越接近１常有较大的并不很大时, 相对于,与回归方程中自变量的个数及观测组数有关, 当应注意一般认为应取, 的适当比例的５到10至少为倍为宜。
值与, 因此实际计算中应注意检验(3)就是要检验假设, 是否存在线性关系要检验与, (3.3)应用统计量否则认为线性关系显著。
检验假设无线性关系, 与成立时当假设, 则, (3.4)它服从自由度为即及的分布, , 这是两个方差之比, (3.5)应有则当给定检验水平成立, α下, 可检验回归的总体效果。
回归方程的显著性检验线性关系的检验
3. 图像
1 =1
=-1 <-1
0< < 1
-1< <0
非线性模型及其线性化方法
双曲线函数
1. 基本形式： 2. 线性化方法
令：y' = 1/y，x'= 1/x, 则有y' = + x'
3. 图像
<0
>0
非线性模型及其线性化方法
对数函数
1. 基本形式： 2. 线性化方法
一、多元线性回归模型
（概念要点）
1. 一个因变量与两个及两个以上自变量之间的回归。
2. 描述因变量 y 如何依赖于自变量 x1，x2，… xp 和 误差项 的方程称为多元线性回归模型。
3. 涉及 p 个自变量的多元线性回归模型可表示为
y 0 1x1i 2 x2i p x pi i
yˆ0 ，就是个别值的点估计。
2. 比如，如果我们只是想知道1990年人均国民收
入为1250.7元时的人均消费金额是多少，则属 于个别值的点估计。根据估计的回归方程得
yˆ0 54.22286 0.526381250.7 712.57(元)
利用回归方程进行估计和预测
（区间估计）
1. 点估计不能给出估计的精度，点估计值与实际 值之间是有误差的，因此需要进行区间估计。
2、 E(y0) 在1-置信水平下的置信区间为
yˆ0 t 2 (n 2)S y
1 x0 x2
n
n
xi
x
2
式 中 ： Sy 为 估 计标准误差
i 1
利用回归方程进行估计和预测
（置信区间估计:算例） 【例】根据前例，求出人均国民收入1250.7元 时，人均消费金额95%的置信区间。 解：根据前面的计算结果
线性回归的显著性检验及回归预测.
双曲线
1. 基本形式：
1. 线性化方法 令：y' = 1/y，x'= 1/x, 则有y' = a+ bx' 2. 图像
b<0
b>0
幂函数曲线
1. 基本形式：
2. 线性化方法
两端取对数得：lg y = lga + b lg x 令：y' = lgy，x'= lg x，则y' = lga + b x‘ 3. 图像
非线性回归－－练习
一种商品的需求量与其价格有一定的关系。现对 一定时期内的商品价格 x 与需求量 y进行观察，取得 的样本数据如表所示。试判断商品价格与需求量之 间回归函数的类型，并求需求量对价格的回归方程， 以及相应的判定系数。
2 2 2
2 2
R 1 ( y yc ) / ( y y )
相关指数计算表
序号 1 y 106.42 yc 107.53 (y-yc)2 1.2321 (y-yˉ)2 13.0012
2
3 4 5 6 7 8
108.20
109.58 109.50 110.00 109.93 110.49 110.59
0.0023
0.0018 0.0013 0.0011 0.0009 0.0008 0.0006 0.0006 0.0006 0.0005 0.0005
14
合计
20
－
111.18
-
0.0500
2.1009
0.0090
0.1271
0.0025
0.5397
0.0004
0.0193
非线性判定系数与相关系数
0.0091
第三节 线性回归的显著性检验及回归预测
xy
i
n
]
2 b x i x i yi a x i 0 SS , SS E , SS R依赖： a y bx
5
注意：三个平方和SS , SS E , SS R的自由度分别记为 f , f E , f R , 则它们之间也有等式成立： f fE fR 且：f n-1, f E n 2, 则f R f f E 1.
2
x
i 1
n
i
x
2
式中：se为回归估计标准差
置信区间估计(例题分析)
【例】求出工业总产值的点估计为100亿元时， 工业总产值95%置信水平下的置信区间. yc 100 解：根据前面的计算结果,已知n=16， • se=2.457，t(16-2)=2.1448 • 置信区间为 1 (73 57.25)2
一元线性回归的方差分析表
离差来源 平方和 自由度 F值 SS R 回 归 SS y y 2 1 F R ci SS E 2 剩余 n-2
SS E yi yci
( n 2)
总计
SS yi y
2
n-1
8
线性关系的检验(例题分析)
1. 提出假设 H0 : 0; 2. 计算检验统计量F
i
(x
x ) nS xi
2 2
( xi )
2
③根据已知条件实际计算统计量t的值； ④ 比较②与③中的计算结果,得到结论.
3
回归系数的假设
b Se 1
对例题的回归系数进行显著性检验(＝0.05)
H0 : 0;
i
H1 : 0
多元线性回归模型的检验
第三节多元线性回归模型的检验本节基本内容:●多元回归的拟合优度检验●回归方程的显著性检验（F检验）●各回归系数的显著性检验（t检验）一、多元回归的拟合优度检验多重可决系数R 2：22222ˆ(-)ESS TSS-RSS 1-TSS(-)TSS i i i iY Y e R Y Y y====∑∑∑∑在实际应用中，随着模型中解释变量的增多，R 2往往增大。
这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。
但是，由增加解释变量引起的R 2的增大与拟合好坏无关，所以R 2需调整。
修正的可决系数()222222(-)-1-11111(-1)--i i iie n k en n RR yn n kyn k=-=-=--∑∑∑∑修正的可决系数为特点：⏹⏹k 越大，越小。
综合了精度和变量数两个因素，兼顾了精确性和简洁性。
⏹R 2必定非负，但可能为负值。
2R 2R 2R 22R R≤信息准则为了比较解释变量个数不同的多元回归模型的拟合优度，常用的标准还有:赤池信息准则（Akaike information criterion, AIC ）施瓦茨准则（Schwarz criterion ，SC ）上述信息准则均要求仅当所增加的解释变量能够减少AIC 值、SC 值或HQC 值时才在原模型中增加该解释变量。
()()n ln n k n L SC 12++-=汉南-奎因准则（Hannan-Quinn criterion ，HQC ）()()()n ln ln nk n L HQC 122++-=()n k n L AIC 122++-=()⎥⎥⎦⎤⎢⎢⎣⎡⎪⎪⎭⎫ ⎝⎛++-=∑n e ln ln n L i2212π其中对数似然函数二、回归方程显著性检验（F检验）基本思想在多元回归中有多个解释变量，需要说明所有解释变量联合起来对被解释变量影响的总显著性，或整个方程总的联合显著性。
对方程总显著性检验需要在方差分析的基础上进行F检验。
回归分析
回归系数，因此失去两个自由度。 回归系数，因此失去两个自由度。
♦
dfR＝dfT－dfE＝1
⑷．计算方差
♦ ♦
回归方差 残差方差
SS R MS R = df R
SS E MS E = df E
⑷．计算F ⑷．计算F值
MS R F= MS E
⑹．列回归方程的方差分析表
表21－1 回归方程方差分析表
变异 来源 回归 残差 总变异 平方和 自由度 方差 F 值 概率
♦
β=０ H0：β=０ H1：β≠０
♦
统计量计算
ΣX 2 − (ΣX ) / n bYX t= = bYX ⋅ SEb MS E
2
50520 − 710 2 / 10 = 1.22 × = 3.542 13.047
二．一元线性回归方程的评价── 二．一元线性回归方程的评价── 测定系数
♦
一元线性回归方程中， 一元线性回归方程中，总平方和等于回归平
2 2
SS R = SST
（21．5）
r2
X的变异
Y的变异
图21-1 21-
测定系数示意图
图21-2 21-
测定系数示意图
♦
例3：10名学生初一对初二年级数学成 10名学生初一对初二年级数学成
绩回归方程方差分析计算中得到： 绩回归方程方差分析计算中得到：
♦ SST=268.1
♦
2
SSR=163.724
数学成绩估计初二数学成绩的回归方程； 数学成绩估计初二数学成绩的回归方程；将另一 学生的初一数学成绩代入方程， 学生的初一数学成绩代入方程，估计其初二成绩
Y = 1.22 X − 14.32 = 1.22 × 76 − 14.32 = 78.4
回归方程及回归系数的显著性检验教程文件
回归方程及回归系数的显著性检验§3 回归方程及回归系数的显著性检验１、回归方程的显著性检验(1) 回归平方和与剩余平方和建立回归方程以后, 回归效果如何呢？因变量与自变量是否确实存在线性关系呢？这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。
的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和,其中:称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。
称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。
总的离差平方和的自由度为。
如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果＝0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。
(2) 复相关系数为检验总的回归效果, 人们也常引用无量纲指标, (3.1)或, (3.2)称为复相关系数。
因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。
显然。
复相关系数越接近１, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。
但应注意, 与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的５到10倍为宜。
(3) 检验要检验与是否存在线性关系, 就是要检验假设, (3.3)当假设成立时, 则与无线性关系, 否则认为线性关系显著。
多元回归方程的显著性检验
回归方程的显著性检验： （1）在模型上做假设：建立回归方程的目的是寻找Y 的均值随a 的变化规律，即找出回归方程a Y 0=＋x a 11＋x a 22＋x a 33＋x a 44＋x a 55。
如果错误!未找到引用源。
=0,那么不管错误!未找到引用源。
如何变化，Y 不随a 的变化做任何改变，那么这时所求的回归方程是没有意义的。
，此时的回归方程是不显著的。
如果错误!未找到引用源。
，x x 51...≠0那么a 变化时，Y 随x 的作回归变化，那么这时求得的回归方程是有意义的，此时是显著地。
综上，对回归方程是否有意义作判断就要作如下的显著性检验：H：x x 51...全为0 H1：x x 51...不全为0拒绝错误!未找到引用源。
表示回归方程是显著的。
对最终求得的回归方程：x x x x Y 5421092.18833.19111.0363.026.574++-+-= 进行F 检验。
（2）找出统计量：数据总的波动用总偏差平方和用2131))((∑=-=i iyave ST y表示，引起各Yave 不同的原因主要有两个因素：其一是错误!未找到引用源。
可能不真，Y 随a 的变化而变化，从而在每一个a 的观测值处的回归值不同，其波动用回归平方和2131i yave ypre SR ∑=-=））（（表示，其二是其他一切因素，包括随机误差、a 对y 的非线性影响等，这样在得到回归值以后，y 的观测值与回归值之间还有差距，这可用残差平方和2131i iypre SE y ∑=-=））（（表示。
（3）F 值的计算由定理：设y 1321....y y ，错误!未找到引用源。
相互独立，且),...(~255110σx a x a a yi i iN +++，I = 1， (13)则在上述记号下，有 ①）（1n ~SE 22-χσ②若H 0成立，则有）（p ~SE22χσ，（p 为回归参数的个数） ③SR 与SE ，yave 独立。
回归分析(2))回归方程的检验
x1 x 2
2 7 5 12 l 3 3 6 7 0 3 0 8 6 0 3 7 16 6 0 9 4 0 9 2 18 9 14 3 20 12 17 5 8 23 16 18 4 14 21 14 12 0 16 15 0 6 17 0 16
编 号
26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49
1 1 ij ij
§2.5 线性回归模型预测精度估计
通过对模型及变量的显著性检验后，我们可 用所建立的回归模型进行预测或控制。但用模 型进行预测，所得结果的精度如何?即真值 （实际值）与模型预测值的误差有多大?这是 我们关心的问题，应该作出估计，为此给出剩 余标准差
r剩 S剩 /(n r 1)
2 i 1 i 1 i 1
n
n
§ 2.4 回归方程的显著性检验——方差分析
ˆ ˆ 其中， ( yi yi )( yi y ) 0 ，事实上，由式（2.8)
i 1 n
可知
y b0 b1 x1 b2 x2 bm xm
ˆ yi y b0 b1 xi 1 b2 x i 2 bm xim (b0 b1 x1 bm x m ) b1 ( xi 1 x1 ) b2 ( xi 2 x2 ) bm ( xim xm )
§ 2.4 回归方程的显著性检验及精度估计
此外，在检验得知线性回归方程是显著之后， 我们还可以进一步判断在线性回归方程中， y x1 , x2 ,是影响 的重要变量， , xm 哪些变量 哪些变量是不重要变量，由此分析可对回归 方程作更进一步简化，从而得到最优回归方 x1 , x2要 , xm , 程。这就是所谓的对每个变量 进行显著性检验问题。
回归方程和回归系数的显著性检验
§3 回归方程及回归系数的显著性检验１、回归方程的显著性检验(1) 回归平方和与剩余平方和建立回归方程以后, 回归效果如何呢因变量与自变量是否确实存在线性关系呢这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。
的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和,其中:称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。
称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。
总的离差平方和的自由度为。
如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果＝0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。
(2) 复相关系数为检验总的回归效果, 人们也常引用无量纲指标,或,称为复相关系数。
因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。
显然。
复相关系数越接近１, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。
但应注意, 与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的５到10倍为宜。
(3) 检验要检验与是否存在线性关系, 就是要检验假设,当假设成立时, 则与无线性关系, 否则认为线性关系显著。
检验假设应用统计量,这是两个方差之比, 它服从自由度为及的分布, 即,用此统计量可检验回归的总体效果。
回归系数、回归方程的显著性检验
(n2)
2
（4）判断：
（i）若 | T| >
t (n2) 2
则在1- 水平下拒绝原假设H0 ，即 j对应的变量xj 是显著的；
t （ii）若 | T| <
(n2)
2
则在1- 水平下接
受原假设H0 ，即， j对应的变量xj是不显著的。
二、回归方程的显著性检验（F检验）
对模型 Yi=0+1Xi+ui的显著性检验，是指对 模型中被解释变量与解释变量之间的线性关系 在总体上是否显著成立，即检验该模型有关参 数的总体是否显著为0 1、 F检验的目的（内容）
解释变量对被解释变量的的联合作用是否显著
2、 F检验步骤
（1）提出原假设 H0 ：1=0
备择假设 H1 ：10
（2）构造并计算统计量
ESS
yˆ2
F=
1 RSS
(n 2)
i
F
e2 i
1
(n 2)
（3）给定显著性水平 ，查自由度为（1，n-2）
的F分布表，得到临界值 F (1, n 2)
第四节 回归系数与方程的显著性检验
一、为什么需要进行变量的显著性检验？
变量的显著性检验，是指对模型中被解释变量与某个解释 变量之间的线性关系在总体上是否显著成立（即以多大的可
能性成立）作出推断。为决定某个解释变量是否保留在模型 中，提供重要参考依据。
为什么要作假设检验？ OLS 估计只是用样本估计的结果，是否可靠？ 是否抽样的偶然结果？还有待统计检验。 假设检验都是建立在确定参数估计值 概率分布性质的基础上。
PF F (v1 , v2) 1
Pt t (n 2) 2
回归方程整体拟合指标回归系数显著
回归方程整体拟合指标回归系数显著性检验残差分析多重共线性检验异方差性检验回归方程整体拟合指标：回归方程整体拟合指标是评价回归模型拟合优度的一个重要指标，通常用R²（决定系数）来表示。
R²的取值范围在0~1之间，其值越接近1，说明模型对数据的拟合程度越好。
一般情况下，当R²大于0.8时，我们认为该模型具有较好的拟合效果。
回归系数显著性检验：回归系数显著性检验是判断自变量与因变量之间是否存在显著关系的一种方法。
常用的方法有t检验和F检验。
t检验是用来判断单个自变量对因变量的影响是否显著，而F检验则是用来判断所有自变量对因变量的影响是否显著。
残差分析：残差分析是评价回归模型拟合效果的一种方法。
残差指实际观测值与预测值之间的差异，通过对残差进行分析可以发现模型中可能存在的问题和异常值等情况，并进一步优化模型。
多重共线性检验：多重共线性是指自变量之间存在高度相关性的情况。
多重共线性会导致回归系数的估计不准确，从而影响模型的预测能力。
常用的检验方法有方差膨胀因子（VIF）和特征值分析等。
异方差性检验：异方差性是指因变量的方差在不同自变量取值下不同的情况。
异方差性会导致回归模型的残差不符合正态分布，从而影响模型的预测能力。
常用的检验方法有Goldfeld-Quandt检验和White检验等。
总结：以上是回归分析中常用的一些指标和方法，它们可以帮助我们评价回归模型的拟合效果、判断自变量与因变量之间是否存在显著关系、发现模型中可能存在的问题并进一步优化模型。
在实际应用中，我们需要根据具体问题选择合适的指标和方法，并结合实际情况进行分析和判断，以得出准确可靠的结论。
多元线性回归模型的检验
多元线性回归模型的检验1多元性回归模型与一元线性回归模型一样,在得到参数的最小二乘法的估计值之后,也需要进行必要的检验与评价,以决定模型是否可以应用;1、拟合程度的测定;与一元线性回归中可决系数r2相对应,多元线性回归中也有多重可决系数r2,它是在因变量的总变化中,由回归方程解释的变动回归平方和所占的比重,R2越大,回归方各对样本数据点拟合的程度越强,所有自变量与因变量的关系越密切;计算公式为：其中,2.估计标准误差估计标准误差,即因变量y的实际值与回归方程求出的估计值之间的标准误差,估计标准误差越小,回归方程拟合程度越程;其中,k为多元线性回归方程中的自变量的个数;3.回归方程的显著性检验回归方程的显著性检验,即检验整个回归方程的显著性,或者说评价所有自变量与因变量的线性关系是否密切;能常采用F检验,F统计量的计算公式为：根据给定的显著水平a,自由度k,n-k-1查F分布表,得到相应的临界值Fa,若F > Fa,则回归方程具有显著意义,回归效果显著；F < Fa,则回归方程无显著意义,回归效果不显著;4.回归系数的显著性检验在一元线性回归中,回归系数显著性检验t检验与回归方程的显著性检验F检验是等价的,但在多元线性回归中,这个等价不成立;t检验是分别检验回归模型中各个回归系数是否具有显著性,以便使模型中只保留那些对因变量有显著影响的因素;检验时先计算统计量ti；然后根据给定的显著水平a,自由度n-k-1查t分布表,得临界值ta或ta / 2,t > t − a或ta / 2,则回归系数bi与0有显著关异,反之,则与0无显著差异;统计量t的计算公式为：其中,Cij是多元线性回归方程中求解回归系数矩阵的逆矩阵x'x − 1的主对角线上的第j 个元素;对二元线性回归而言,可用下列公式计算：其中,5.多重共线性判别若某个回归系数的t检验通不过,可能是这个系数相对应的自变量对因变量的影平不显著所致,此时,应从回归模型中剔除这个自变量,重新建立更为简单的回归模型或更换自变量;也可能是自变量之间有共线性所致,此时应设法降低共线性的影响;多重共线性是指在多元线性回归方程中,自变量之彰有较强的线性关系,这种关系若超过了因变量与自变量的线性关系,则回归模型的稳定性受到破坏,回归系数估计不准确;需要指出的是,在多元回归模型中,多重共线性的难以避免的,只要多重共线性不太严重就行了;判别多元线性回归方程是否存在严惩的多重共线性,可分别计算每两个自变量之间的可决系数r2,若r2 > R2或接近于R2,则应设法降低多重线性的影响;亦可计算自变量间的相关系数矩阵的特征值的条件数k = λ1 / λpλ1为最大特征值,λp为最小特征值,k<100,则不存在多重点共线性；若100≤k≤1000,则自变量间存在较强的多重共线性,若k>1000,则自变量间存在严重的多重共线性;降低多重共线性的办法主要是转换自变量的取值,如变绝对数为相对数或平均数,或者更换其他的自变量;检验当回归模型是根据动态数据建立的,则误差项e也是一个时间序列,若误差序列诸项之间相互独立,则误差序列各项之间没有相关关系,若误差序列之间存在密切的相关关系,则建立的回归模型就不能表述自变量与因变量之间的真实变动关系;检验就是误差序列的自相关检验;检验的方法与一元线性回归相同;。
从统计学看线性回归（2）——一元线性回归方程的显著性检验
从统计学看线性回归（2）——⼀元线性回归⽅程的显著性检验⽬录1. σ2 的估计2. 回归⽅程的显著性检验 t 检验（回归系数的检验） F 检验（回归⽅程的检验） 相关系数的显著性检验 样本决定系数 三种检验的关系⼀、σ2 的估计 因为假设检验以及构造与回归模型有关的区间估计都需要σ2的估计量，所以先对σ2作估计。
通过残差平⽅和（误差平⽅和）（1）（⽤到和，其中）⼜∵（2）∴（3）其中为响应变量观测值的校正平⽅和。
残差平⽅和有n-2 个⾃由度，因为两个⾃由度与得到的估计值与相关。
（4）（公式（4）在《线性回归分析导论》附录C.3有证明）∴σ2的⽆偏估计量：（5）为残差均⽅，的平⽅根称为回归标准误差，与响应变量y 具有相同的单位。
因为σ2取决于残差平⽅和，所以任何对模型误差假设的违背或对模型形式的误设都可能严重破坏σ2的估计值的实⽤性。
因为由回归模型残差算得，称σ2的估计值是模型依赖的。
⼆、回归⽅程的显著性检验 ⽬的：检验是否真正描述了变量 y 与 x 之间的统计规律性。
假设：正态性假设（⽅便检验计算）1. t 检验 ⽤t 检验来检验回归系数的显著性。
采⽤的假设如下：原假设 H0：β1 = 0 （x 与 y 不存在线性关系）对⽴假设 H1：β1 ≠ 0 回归系数的显著性检验就是要检验⾃变量 x 对因变量 y 的影响程度是否显著。
下⾯我们分析接受和拒绝原假设的意义。
（1）接受 H0：β1 = 0 （x 与 y 不存在线性关系） 此时有两种情况，⼀种是⽆论 x 取值如何， y 都在⼀条⽔平线上下波动，即，如下图1，另⼀种情况为， x 与 y 之间存在关系，但不是线性关系，如图2。
图 1图 2 （2）拒绝 H0：β1 = 0 （x 对解释 y 的⽅差是有⽤的） 拒绝原假设也有两种情况，⼀种是直线模型就是合适的，如图 3，另⼀种情况为存在 x 对 y 的线性影响，也可通过 x 的⾼阶多项式得到更好的结果，如图 4。
回归结果解读
回归结果的解读通常包括以下几个步骤：
1.系数解读：首先，需要解读回归方程中的系数。
系数表示自变量与因变量之间的关
系强度和方向。
如果系数为正，表示自变量与因变量之间存在正相关关系；如果系数为负，表示自变量与因变量之间存在负相关关系。
2.显著性检验：通常，回归分析会进行显著性检验，以确定回归系数是否显著。
显著
性检验的结果通常以p值表示。
如果p值小于预设的显著性水平（如0.05），则认为回归系数显著，即自变量对因变量的影响是显著的。
3.R平方解读：R平方（R-squared）表示模型解释的因变量变异占总变异的比例。
R
平方越接近1，说明模型解释的变异越多，模型的拟合度越好。
4.残差分析：残差分析可以帮助我们了解模型是否拟合良好。
如果残差分布均匀且无
趋势，说明模型拟合良好。
以上是对回归结果的基本解读。
需要注意的是，回归分析的结果需要结合具体的研究背景和问题进行分析。
不同的研究背景和问题可能需要关注不同的统计指标和结果解读要点。
计量经济学第三章第3节多元线性回归模型的显著性检验
当增加一个对被解释变量有较大影响的解释变量时， 残差平方和减小的比n-k-1 减小的更显著，拟合优度 就增大，这时就可以考虑将该变量放进模型。 如果增加一个对被解释变量没有多大影响的解释变量， 残差平方和减小没有n-k-1减小的显著，拟合优度会减 小，其说明模型中不应该引入这个不重要的解释变量， 可以将其剔除。
在对话框中输入：
y c x y(-1)
y c x y(-1) y(-2)
字母之间用空格分隔。 注：滞后变量不需重新形成新的时间序列，软件 自动运算实现，k期滞后变量，用y(-k)表示。
• 使用k期滞后变量，数据将损失k个样本观察值， 例如：
序号 2000 2001 2002 2003 2004 2005 2006 2007 2008 y 3 4 5 6 7 8 9 10 11 Y(-1) Y(-2) Y(-3)
2
2
2
*赤池信息准则和施瓦茨准则
• 为了比较所含解释变量个数不同的多元回归模型的 拟合优度，常用的标准还有: 赤池信息准则（Akaike information criterion, AIC） e e 2( k 1) AIC ln n n 施瓦茨准则（Schwarz criterion，SC）
一元、二元模型的系数均大于0，符合经济意义，三元模型 系数的符号与经济意义不符。 用一元回归模型的预测值是1758.7，二元回归模型的预测值 是1767.4，2001年的实际值是1782.2。一元、二元模型预测 的绝对误差分别是23.5、14.8。
3) 三个模型的拟合优度与残差
二元：R2 =0.9954，E2 ei2 13405 三元：R2 =0.9957，E3 ei2 9707
746.5 788.3
回归方程显著性检验
量 x1， x2 ，… ， xp 之间是否确有线性关系。在求
线性回归方程之前，线性回归模型只是一种假设。
尽管这种假设常常不是没有根据的，但在求得线性
回归方程后，还是需要对回归方程进行统计检验， 以给出肯定或者否定的结论。
显著性假设
如果因变量 y 与自变量 x1， x2 ，… ， xp 之间不存 在线性关系，则模型
回归方程显著，并不意味着每个自变量 x1，x2，…，xp 对因 变量 y 的影响都显著，所以从回归方程中剔除那些可有可无 的变量，重新建立更为简单的线性回归方程。
分析:
如果某个变量 xj 对 y 的作用不显著,则模型 y x x x t 0 1 t 1 2 t 2 p tp t
y x x x t 0 1 t 1 2 t 2 p tp t
H ： 0 ， ， ， 0 0 1 2 p
中，参数β为零向量，即有原假设： 将此假设作为上述模型的约束条件，进行假设检验。
求得统计量
S 回/ p F S剩/( n p1 ) n n 1 2 y y ˆ S ( y y ) i 回 i n i 1 i 1
于是得到回归方程为：
因为模型只是一种假定，为了考察这一假定是 否符合实际观察结果，需要进行以下的假设检验：
H b b b 0 , 0: 1 2 p H b . 1: i不全为零
2 ˆ y 2 . 19827 0 . 02252 x 0 . 0001250 x
若在水平α下拒绝 H0 ，我们就认为回归效果是 显著的。
p F F H 1 , p , n p 1 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
§ 3回归方程及回归系数的显著性检验
1、回归方程的显著性检验
（1）回归平方和与剩余平方和
建立回归方程以后，回归效果如何呢？因变量.•与自变量是否确实存在线性关系呢？这
是需要进行统计检验才能加以肯定或否定，为此，我们要进一步研究因变量取值的变化规律。
的每次
取值1是有波动的，这种波动常称为变差，每次观测值jt的变差大小，常用该次观侧值 U
与t次观测值的平均值的差丨、/（称为离差）来表示，而全部：次观测值的总变差可由总的
离差平方和
呦迄以*）亠另（n+剳*诃吃+卩
，
其中：
~ 称为回归平方和，是回归值与均值.之差的平方和，它反映了自变量
九心［如的变化所引起的丿的波动，其自由度h~加（川为自变量的个数）。
称为剩余平方和（或称残差平方和），是实测值T与回归值.■，之差的平方和，它是由试验误差及其它因素引起的，其自由度］T 一。
总的离差平方和一二的自由度为：亠。
如果观测值给定，则总的离差平方和-二是确定的，即是确定的，因此i.i大则匚小，反之，L 小则〔大，所以U与I都可用来衡量回归效果，且回归平方和U越大则线性回归效果越显著，或者说剩余平方和_越小回归效果越显著，如果_= 0，则回归超平面过所有观测点；如果一大，则线性回归效果不好。
（2）复相关系数
为检验总的回归效果，人们也常引用无量纲指标
-' ，（3.1）
或
R=匸倉
V 切,(3.2)
称为复相关系数。
因为回归平方和u实际上是反映回归方程中全部自变量的“方差贡献”，因此 F「就
是这种贡献在总回归平方和中所占的比例，因此〕.表示全部自变量与因变量.■的相关程度。
显然［上「二*。
复相关系数越接近1 ,回归效果就越好，因此它可以作为检验总的回归效果的一个指标。
但应注意，亠与回归方程中自变量的个数“!及观测组数F有关，当［相对于T并不很大时，常有较大的值，因此实际计算中应注意I与.的适当比例，一般认为应取I至少为■!的5到10倍为宜。
⑶/'检验
要检验 m 1仪是否存在线性关系，就是要检验假设
:…'，(3.3)
当假设二i成立时，贝匚与…… 无线性关系，否则认为线性关系显著。
检验假设^0应用统计量
r Uim
F = --------
-11- ，(3.4)
这是两个方差之比，它服从自由度为十及- 'I的F分布，即
F ------------- w -1
的”1)，(3.5)
用此统计量F可检验回归的总体效果。
如果假设上一成立，则当给定检验水平 a下，统计量F应有卜當w 匕二J 一 1 一匚(3.6)
对于给定的置信度a，由F分布表可查得'L1'的值，如果根据统计量算得的 F值为
厂'- ■'_■■_11，则拒绝假设’|.，即不能认为全部为0,即〒个自变量的总体回归效果是显著的
否则认为回归效果不显著。
利用「检验对回归方程进行显著性检验的方法称为方差分析。
上面对回归效果的讨论可归结于一个方
差分析表中，如表3.1 o
剩
余
U1
总
x-1
计
&-1
根据与F的定义，可以导岀二与F的以下关系：
f -1 .J：./ V：:,
mF
利用这两个关系式可以解决 i值多大时回归效果才算是显著的问题。
因为对给定的检验水平a,由"
分布表可查岀/的临界值匚；,然后由匚；即可求岀上的临界值」.二:
+ ,（3.7）
当| - 时，则认为回归效果显著。
例3.1利用方差分析对例2.1的回归方程进行显著性检验。
方差分析结果见表3.2。
来源平方和自由度方差方差比
回归U= 3739.7m = 2y/m = 1869^5
f = 610.34404
剩余Q = 33,7n-m-l=ll Q/(n-m-l) =
3.0636
总计呦=3773.4n-l=13
取检验水平a = 0.05,查F分布表得 I " '',而■卜-H - ：＞：：.、• - ■',所以例2.1的
回归方程回归效果是显著的。
2、回归系数的显著性检验
前面讨论了回归方程中全部自变量的总体回归效果，但总体回归效果显著并不说明每个自变量对因变量都是重要的，即可能有某个自变量 '对并不起作用或者能被其它的显的作用
所代替，因此对这种自变量我们希望从回归方程中剔除，这样可以建立更简单的回归方程。
显然某个自变量如果对「作用不显著，则它的系数 '就应取值为0,因此检验每个自变量 '是否显著，就要检验假设：
其中为矩阵 "' 「:.'
的对角线上第:个元素。
其中匚为矩阵的主对角线上第:个元素。
对于给定的检验水平 a ,从F分布表中"I '? 1 , -「■■■"，, (3.8)
在八一 I假设下，可应用「检验:
-/'■<- - _■,-…，(3.9)
对给定的检验水平 a ,从「分布表中可查出与 a对应的临界值I ,如果有二丨".,贝U拒绝假设彳1,
即认为1■:与0有显著差异，这说明\对」有重要作用不应剔除；如果有丨则接受假设-'-I ,即认为
J-L成立，这说明\对「不起作用，应予剔除。
⑵?检验：
检验假设', 亦可用服从自由度分别为 i与龙-用-1的F分布的统计量
,(3.10)
可查得临界■'；- I', 如果有则拒绝假设M 一，认为％对；有重要作用。
如果
恥伽处1) ,则接受假设血，即认为自变量期对丿不起重要作用，可以剔除。
一般一次F检验只剔除一个自变量，且这个自变量是所有不显著自变量中"值最小者，然后再建立回归方程，并继续进行
检验，直到建立的回归方程及各个自变量均显著为止。
最后指岀，上述对各自变量进行显著性检验采用的两种统计量与.实际上是等价的，因为由(3.9)
式及(3.10)式知，有
'：匚(3.11)
例3.2对例2.1的回归方程各系数进行显著性检验。
经计算：
p25L7 3499^1
=499,9 2550,9丿
于是
=4012
创
144)
Oi522a/OW2223
~33.7/11 ~
0.475a/0.004577
~33.7/fl
= 40.01 r OJ002223 -0.0030^
-0.00305 0.00457?；
其中•_]= 0.002223, - .!.■! = 0.004577。
由(3.7)式知
f_ 0.522/Jj.002223
1_^3 7^4-2^
0.^5/70,004577
^37/(14-2-1)
查：分布表得，f ：!--1一打二- _1.»\,因为：•匚-1- --'J,
'-一 -'.ir'1-：",所以两个自变量〔及〔都是显著的。
又由帚乜，说明体长〔比胸围〔
对体重「的影响更大。
如果应用？检验，查F分布表有屉即)期,
又由
因为'1 " ■■ !'"I, ■'- 1.- 「I ,因此〔及〔都是显著的，均为重要变量，应保留在回归方程中。
(3) 偏回归平方和
检验某一自变量是否显著，还可应用偏回归平方和进行检验。
'■个自变量的回归平方和为
如果自I个自变量中去掉则剩下的T-1个自变量的回归平方和设为I ,并设
则r就表示变量 '在回归平方和U中的贡献，-［称为 '的偏回归平方和或贡献。
可以证明
j. , (3.12)
偏回归平方和「越大，说明［在回归方程中越重要，对.•的作用和影响越大，或者说、对回归方程的贡
献越大。
因此偏回归平方和也是用来衡量每个自变量在回归方程中作用大小（贡献大小）的一个指标。
例如在例2.1中，〔和〔的偏回归平方和分别为
^1=
=121.63743辺 1 0.002223 ，
’化般:詡加
C R 0.004577 ，
一 I, 说明在回归方程中〔的作用比:大。
又如在例2.2中f1「--及的偏回归平方和分别为：
C]] 0,0185 ，
眉*严心血溯
巾2 0.0063 ，
切0.1374 ，
% 0.3732
1的值最小，即‘1在回归方程中所起的作用最小，• I最大，说明1在回归方程中所起的作用最大。