线性回归的显著性检验及回归预测.
回归方程的显著性检验线性关系的检验
3. 图像
1 =1
=-1 <-1
0< < 1
-1< <0
非线性模型及其线性化方法
双曲线函数
1. 基本形式： 2. 线性化方法
令：y' = 1/y，x'= 1/x, 则有y' = + x'
3. 图像
<0
>0
非线性模型及其线性化方法
对数函数
1. 基本形式： 2. 线性化方法
一、多元线性回归模型
（概念要点）
1. 一个因变量与两个及两个以上自变量之间的回归。
2. 描述因变量 y 如何依赖于自变量 x1，x2，… xp 和 误差项 的方程称为多元线性回归模型。
3. 涉及 p 个自变量的多元线性回归模型可表示为
y 0 1x1i 2 x2i p x pi i
yˆ0 ，就是个别值的点估计。
2. 比如，如果我们只是想知道1990年人均国民收
入为1250.7元时的人均消费金额是多少，则属 于个别值的点估计。根据估计的回归方程得
yˆ0 54.22286 0.526381250.7 712.57(元)
利用回归方程进行估计和预测
（区间估计）
1. 点估计不能给出估计的精度，点估计值与实际 值之间是有误差的，因此需要进行区间估计。
2、 E(y0) 在1-置信水平下的置信区间为
yˆ0 t 2 (n 2)S y
1 x0 x2
n
n
xi
x
2
式 中 ： Sy 为 估 计标准误差
i 1
利用回归方程进行估计和预测
（置信区间估计:算例） 【例】根据前例，求出人均国民收入1250.7元 时，人均消费金额95%的置信区间。 解：根据前面的计算结果
多元线性回归模型的各种检验方法
对多元线性回归模型的各种检验方法对于形如u X X X Y k k +++++=ββββ 22110 （1） 的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验：一、 对单个总体参数的假设检验：t 检验在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0H ：j j a =β，做出具有统计意义（即带有一定的置信度）的检验，其中j a 为某个给定的已知数。
特别是，当j a =0时，称为参数的（狭义意义上的）显著性检验。
如果拒绝0H ，说明解释变量j X 对被解释变量Y 具有显著的线性影响，估计值j βˆ才敢使用；反之，说明解释变量j X 对被解释变量Y 不具有显著的线性影响，估计值j βˆ对我们就没有意义。
具体检验方法如下：（1） 给定虚拟假设 0H ：j j a =β；（2） 计算统计量 )ˆ(ˆ)ˆ()(ˆjj j j j j Se a Se E t βββββ-=-= 的数值； 11ˆ)ˆ(++-==j j jj jj j C C Se 1T X)(X ，其中σβ（3） 在给定的显著水平α下（α不能大于1.0即 10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t （1--k n ）分布的临界值2/αt ；（4） 如果出现 2/αt t >的情况，检验结论为拒绝0H ；反之，无法拒绝0H 。
t 检验方法的关键是统计量 )ˆ(ˆj jj Se t βββ-=必须服从已知的t 分布函数。
什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）：（1） 随机抽样性。
我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21 =。
这保证了误差u 自身的随机性，即无自相关性，0))())(((=--j j i i u E u u E u Cov 。
（2） 条件期望值为0。
给定解释变量的任何值，误差u 的期望值为零。
一元线性回归方程的显著性检验
回归方程的显著性检验回归方程的显著性检验的目的是对回归方程拟合优度的检验。
F检验法是英国统计学家Fisher提出的，主要通过比较两组数据的方差S2，以确定他们的精密度是否有显著性差异。
回归方程显著性检验具体方法为：由于y的偏差是由两个因素造成的，一是x变化所引起反应在S回中，二是各种偶然因素干扰所致S残中。
将回归方程离差平方和S回同剩余离差平方和S残加以比较，应用F检验来分析两者之间的差别是否显著。
如果是显著的，两个变量之间存在线性关系；如果不显著，两个变量不存在线性相关关系。
n个观测值之间存在着差异，我们用观测值yi与其平均值的偏差平方和来表示这种差异程度，称其为总离差平方和，记为由于所以式中称为回归平方和，记为S回。
称为残差平方和，记为。
不难证明，最后一项。
因此S总＝S回＋S残上式表明，y的偏差是由两个因素造成的，一是x变化所引起，二是各种偶然因素干扰所致。
事实上，S回和S残可用下面更简单的关系式来计算。
具体检验可在方差分析表上进行。
这里要注意S回的自由度为1，S残的自由度为n－2，S总的自由度为n－1。
如果x与y有线性关系，则其中，F（1，n-2）表示第一自由度为1，第二自由度为n-2的分布。
在F表中显著性水平用表示，一般取0.10，0.05，0.01，1-表示检验的可靠程度。
在进行检验时，F值应大于F表中的临界值Fα。
若F<0.05(1,n-2)，则称x与y 没有明显的线性关系，若F0.05(1,n-2)<F<F0.01(1,n-2)，则称x与y有显著的线性关系；若F>F0.01(1,n-2)，则称x与y有十分显著的线性关系。
当x与y有显著的线性关系时，在表2-1-2的显著性栏中标以〝*〞；当x与y有十分显著的线性关系时，标以〝**〞。
多元线性回归方程的检验、预测
注意：一元线性回归中，t检验与F检验一致 一方面，t检验与F检验都是对相同的原假设 H0：1=0 进行检验; 另一方面，两个统计量之间有如下关系：
ˆ 2 x2 1 i F 2 2 ei ( n 2) e i ( n 2)
2 e i 2 ˆ y i
ˆ i2 ESS / RSS y
如果这个比值较大，则X的联合体对Y的解 释程度高，可认为总体存在线性关系，反之总体 上可能不存在线性关系。
因此,可通过该比值的大小对总体线性关系 进行推断。 根据数理统计学中的知识，在原假设H0成立 的条件下，统计量
ESS / k F RSS /( n k 1)
知识体系
多元回归的拟合优度检验
总离差平方和的分解
则
TSS (Yi Y ) 2 ˆ ) (Y ˆ Y )) 2 ((Yi Y i i ˆ ) 2 2 (Y Y ˆ )(Y ˆ Y ) (Y ˆ Y )2 (Yi Y i i i i i
服从自由度为(k , n-k-1)的F分布。
方程总体线性的显著性检验
H0： 0=1=2= =k=0 H1： j不全为0
给定显著性水平，可得到临界值F(k,n-k1)，由样本求出统计量F的数值，通过
F F(k,n-k-1) 或 F≤F(k,n-k-1)
来拒绝或接受原假设H0，以判定原方程总体 上的线性关系是否显著成立。
案例分析
零阶齐次性，当所有商品和消费者货币支出总 额按同一比例变动时，需求量保持不变
Q f ( X / P0 , P1 / P0 )
(**)
为了进行比较，将同时估计（*）式与（**）式。
案例分析
多元线性回归模型的各种检验方法
多元线性回归模型的各种检验方法多元线性回归模型是常用于数据分析和预测的方法，它可以用于研究多个自变量与因变量之间的关系。
然而，仅仅使用多元线性回归模型进行参数估计是不够的，我们还需要对模型进行各种检验以确保模型的可靠性和有效性。
下面将介绍一些常用的多元线性回归模型的检验方法。
首先是模型的整体显著性检验。
在多元线性回归模型中，我们希望知道所构建的模型是否能够显著解释因变量的变异。
常见的整体显著性检验方法有F检验和显著性检查表。
F检验是通过比较回归模型的回归平方和和残差平方和的比值来对模型的整体显著性进行检验。
若F值大于一定的临界值，则可以拒绝原假设，即模型具有整体显著性。
通常，临界值是根据置信水平和自由度来确定的。
显著性检查表是一种常用的汇总表格，它可以提供关于回归模型的显著性水平、标准误差、置信区间和显著性因素的信息。
通过查找显著性检查表，我们可以评估模型的显著性。
其次是模型的参数估计检验。
在多元线性回归模型中，我们希望知道每个自变量对因变量的影响是否显著。
通常使用t检验来对模型的参数估计进行检验。
t检验是通过对模型的回归系数进行检验来评估自变量的影响是否显著。
与F检验类似，t检验也是基于假设检验原理，通过比较t值和临界值来决定是否拒绝原假设。
通常，临界值可以通过t分布表或计算机软件来获取。
另外，我们还可以使用相关系数来评估模型的拟合程度。
相关系数可以用来衡量自变量与因变量之间的线性关系强度，常见的相关系数包括Pearson相关系数和Spearman相关系数。
Pearson相关系数适用于自变量和因变量都是连续变量的情况，它衡量的是两个变量之间的线性关系强度。
取值范围为-1到1，绝对值越接近1表示关系越强。
Spearman相关系数适用于自变量和因变量至少有一个是有序变量或者都是有序变量的情况，它衡量的是两个变量之间的单调关系强度。
取值范围也是-1到1，绝对值越接近1表示关系越强。
最后，我们还可以使用残差分析来评估模型的拟合程度和误差分布。
回归分析(2))回归方程的检验
x1 x 2
2 7 5 12 l 3 3 6 7 0 3 0 8 6 0 3 7 16 6 0 9 4 0 9 2 18 9 14 3 20 12 17 5 8 23 16 18 4 14 21 14 12 0 16 15 0 6 17 0 16
编 号
26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49
1 1 ij ij
§2.5 线性回归模型预测精度估计
通过对模型及变量的显著性检验后，我们可 用所建立的回归模型进行预测或控制。但用模 型进行预测，所得结果的精度如何?即真值 （实际值）与模型预测值的误差有多大?这是 我们关心的问题，应该作出估计，为此给出剩 余标准差
r剩 S剩 /(n r 1)
2 i 1 i 1 i 1
n
n
§ 2.4 回归方程的显著性检验——方差分析
ˆ ˆ 其中， ( yi yi )( yi y ) 0 ，事实上，由式（2.8)
i 1 n
可知
y b0 b1 x1 b2 x2 bm xm
ˆ yi y b0 b1 xi 1 b2 x i 2 bm xim (b0 b1 x1 bm x m ) b1 ( xi 1 x1 ) b2 ( xi 2 x2 ) bm ( xim xm )
§ 2.4 回归方程的显著性检验及精度估计
此外，在检验得知线性回归方程是显著之后， 我们还可以进一步判断在线性回归方程中， y x1 , x2 ,是影响 的重要变量， , xm 哪些变量 哪些变量是不重要变量，由此分析可对回归 方程作更进一步简化，从而得到最优回归方 x1 , x2要 , xm , 程。这就是所谓的对每个变量 进行显著性检验问题。
回归方程和回归系数的显著性检验
§3 回归方程及回归系数的显著性检验１、回归方程的显著性检验(1) 回归平方和与剩余平方和建立回归方程以后, 回归效果如何呢因变量与自变量是否确实存在线性关系呢这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。
的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和,其中:称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。
称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。
总的离差平方和的自由度为。
如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果＝0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。
(2) 复相关系数为检验总的回归效果, 人们也常引用无量纲指标,或,称为复相关系数。
因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。
显然。
复相关系数越接近１, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。
但应注意, 与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的５到10倍为宜。
(3) 检验要检验与是否存在线性关系, 就是要检验假设,当假设成立时, 则与无线性关系, 否则认为线性关系显著。
检验假设应用统计量,这是两个方差之比, 它服从自由度为及的分布, 即,用此统计量可检验回归的总体效果。
线性回归的显著性检验
线性回归的显着性检验1.回归方程的显着性在实际问题的研究中，我们事先并不能断定随机变量y与变量x1,x2/ ,x p之间确有线性关系，在进行回归参数的估计之前，我们用多元线性回归方程去拟合随机变量y与变量人〃2，…，X p之间的关系，只是根据一些定性分析所作的一种假设。
因此，和一元线性回归方程的显着性检验类似，在求出线性回归方程后，还需对回归方程进行显着性检验。
设随机变量丫与多个普通变量X j,X2,…，X p的线性回归模型为其中；服从正态分布N（o,；「2）对多元线性回归方程的显着性检验就是看自变量若接受X i, X2，…，X p从整体上对随机变量y是否有明显的影响。
为此提出原假设如果H。
被接受，则表明随机变量y与X i，X2，…，X p的线性回归模型就没有意义。
通过总离差平方和分解方法，可以构造对H o进行检验的统计量。
正态随机变量y i, y2/ , y n的偏差平方和可以分解为：n n nS r八（y i -y）2为总的偏差平方和，S R八（场-y）2为回归平方和，S E八（y i-?）2为残i 1i £i A差平方和。
因此，平方和分解式可以简写为：回归平方和与残差平方和分别反映了 b = 0所引起的差异和随机误差的影响。
构造F检验统计量则利用分解定理得到：在正态假设下，当原假设H°:b1 =0, d =0，…，b p =0成立时，F服从自由度为（p,n - p「1）的F 分布。
对于给定的显着水平［，当F大于临界值（p, n-p-1）时，拒绝H。
，说明回归方程显着，x与y有显着的线性关系。
R定义实际应用中，我们还可以用复相关系数来检验回归方程的显着性。
复相关系数为:平方和分解式可以知道，复相关系数的取值范围为O^R^I。
R越接近1表明S E越小，回归方程拟合越好。
2•回归系数的显着性若方程通过显着性检验，仅说明bog,b2,…b p不全为零，并不意味着每个自变量对y的影响都显着，所以就需要我们对每个自变量进行显着性检验。
回归方程及回归系数的显著性检验
§3回归方程及回归系数的显著性检验1、回归方程的显著性检验（1）回归平方和与剩余平方和建立回归方程以后，回归效果如何呢？因变量」与自变量是否确实存在线性关系呢？这是需要进行统计检验才能加以肯定或否定，为此，我们要进一步研究因变量取值的变化规律。
）的每次取值-1'"' - ' ■-■■■是有波动的，这种波动常称为变差，每次观测值八•的变差大小，常用该次观侧值与池次观测值的平均值"二的差」丁（称为离差）来表示，而全部、；次观测值的总变差可由总的离差平方和口期R咧=刀应-刃亠-珀）“十2% - h =s+uJUl U! JUl其中：称为回归平方和，是回归值「与均值：之差的平方和，它反映了自变量的变化所引起的J的波动，其自由度- 1（“；为自变量的个数）。
H 称为剩余平方和（或称残差平方和），是实测值°与回归值J之差的平方和，它是由试验误差及其它因素引起的，其自由度二：。
总的离差平方和片：’的自由度为、:一】。
如果观测值给定，则总的离差平方和•是确定的，即二-是确定的，因此丁大则丄小，反之，了小则J大，所以戸与。
都可用来衡量回归效果，且回归平方和戸越大则线性回归效果越显著，或者说剩余平方和二越小回归效果越显著，如果二•= 0，则回归超平面过所有观测点；如果丄大，则线性回归效果不好。
（2）复相关系数为检验总的回归效果，人们也常引用无量纲指标，（3.1）三称为复相关系数。
因为回归平方和 丁实际上是反映回归方程中全部自变量的“方差贡献” ，因此就 是这种贡献在总回归平方和中所占的比例，因此二表示全部自变量与因变量.1的相关程度。
显然〕兰三兰丨。
复相关系数越接近1 ,回归效果就越好，因此它可以作为检验总的回归效果的一个指标。
但应注意，f 与回归方程中自变量的个数及观测组数芒有关，当：相对于"；并不很大时，常有较大的三值，因此实际 计算中应注意 弋与：的适当比例，一般认为应取门至少为吧的5到10倍为宜。
从统计学看线性回归（2）——一元线性回归方程的显著性检验
从统计学看线性回归（2）——⼀元线性回归⽅程的显著性检验⽬录1. σ2 的估计2. 回归⽅程的显著性检验 t 检验（回归系数的检验） F 检验（回归⽅程的检验） 相关系数的显著性检验 样本决定系数 三种检验的关系⼀、σ2 的估计 因为假设检验以及构造与回归模型有关的区间估计都需要σ2的估计量，所以先对σ2作估计。
通过残差平⽅和（误差平⽅和）（1）（⽤到和，其中）⼜∵（2）∴（3）其中为响应变量观测值的校正平⽅和。
残差平⽅和有n-2 个⾃由度，因为两个⾃由度与得到的估计值与相关。
（4）（公式（4）在《线性回归分析导论》附录C.3有证明）∴σ2的⽆偏估计量：（5）为残差均⽅，的平⽅根称为回归标准误差，与响应变量y 具有相同的单位。
因为σ2取决于残差平⽅和，所以任何对模型误差假设的违背或对模型形式的误设都可能严重破坏σ2的估计值的实⽤性。
因为由回归模型残差算得，称σ2的估计值是模型依赖的。
⼆、回归⽅程的显著性检验 ⽬的：检验是否真正描述了变量 y 与 x 之间的统计规律性。
假设：正态性假设（⽅便检验计算）1. t 检验 ⽤t 检验来检验回归系数的显著性。
采⽤的假设如下：原假设 H0：β1 = 0 （x 与 y 不存在线性关系）对⽴假设 H1：β1 ≠ 0 回归系数的显著性检验就是要检验⾃变量 x 对因变量 y 的影响程度是否显著。
下⾯我们分析接受和拒绝原假设的意义。
（1）接受 H0：β1 = 0 （x 与 y 不存在线性关系） 此时有两种情况，⼀种是⽆论 x 取值如何， y 都在⼀条⽔平线上下波动，即，如下图1，另⼀种情况为， x 与 y 之间存在关系，但不是线性关系，如图2。
图 1图 2 （2）拒绝 H0：β1 = 0 （x 对解释 y 的⽅差是有⽤的） 拒绝原假设也有两种情况，⼀种是直线模型就是合适的，如图 3，另⼀种情况为存在 x 对 y 的线性影响，也可通过 x 的⾼阶多项式得到更好的结果，如图 4。
计量经济学第三章第3节多元线性回归模型的显著性检验
当增加一个对被解释变量有较大影响的解释变量时， 残差平方和减小的比n-k-1 减小的更显著，拟合优度 就增大，这时就可以考虑将该变量放进模型。 如果增加一个对被解释变量没有多大影响的解释变量， 残差平方和减小没有n-k-1减小的显著，拟合优度会减 小，其说明模型中不应该引入这个不重要的解释变量， 可以将其剔除。
在对话框中输入：
y c x y(-1)
y c x y(-1) y(-2)
字母之间用空格分隔。 注：滞后变量不需重新形成新的时间序列，软件 自动运算实现，k期滞后变量，用y(-k)表示。
• 使用k期滞后变量，数据将损失k个样本观察值， 例如：
序号 2000 2001 2002 2003 2004 2005 2006 2007 2008 y 3 4 5 6 7 8 9 10 11 Y(-1) Y(-2) Y(-3)
2
2
2
*赤池信息准则和施瓦茨准则
• 为了比较所含解释变量个数不同的多元回归模型的 拟合优度，常用的标准还有: 赤池信息准则（Akaike information criterion, AIC） e e 2( k 1) AIC ln n n 施瓦茨准则（Schwarz criterion，SC）
一元、二元模型的系数均大于0，符合经济意义，三元模型 系数的符号与经济意义不符。 用一元回归模型的预测值是1758.7，二元回归模型的预测值 是1767.4，2001年的实际值是1782.2。一元、二元模型预测 的绝对误差分别是23.5、14.8。
3) 三个模型的拟合优度与残差
二元：R2 =0.9954，E2 ei2 13405 三元：R2 =0.9957，E3 ei2 9707
746.5 788.3
线性回归的显著性检验及回归预测
解：根据前面的计算结果有
n 16, Se 2.457, yc 51.6011, ta / 2 (n 2) t0.025 (14) 2.1448
x
x
/
n
57.25,
nS
2 x
( x x)2 2645
故置信上下限为：
51.6011 2.1448 2.457 1 1 (73 57.25)2 / 2645 16
y
预测区间上限
yc a bx
预测区间下限
x x0
x
第四节 可线性化的回归方程
一、可线性化的常用曲线类型 二、配合回归曲线的问题 三、非线性判定系数与相关系数
拒绝H0，表明总体的两变量之间存在着 显著的线性相关关系，即能源消耗量与 工业总产值之间存在显著的线性相关关 系。
回归方程的显著性检验
1、目的：对回归方程拟合优度的检验 2、具体方法：将回归离差平方和(SSR)同 剩余离差平方和(SSE)加以比较，应用F检 验来分析二者之间的差别是否显著
♥如果是显著的，两个变量之间存在线性 关系 ♥如果不显著，两个变量之间不存在线性 关系
H1: b 0
❖ 构造检验统计量 t b ~ t(n 2)
S(b)
1 S(b) Se n
( xi x)2
n
i 1
n
n
( xi
x )2
nS
2 x
xi2 ( x)2 / n
i 1
i 1
i 1
•计算实际统计量t的值
•确定显著性水平a，查t分布表得临界值 ta/2(n-2),作出统计决策： ♥ |t|>=ta/2，拒绝H0,说明变量X与Y之间存 在着显著的线性关系；
即51.6011 5.6666
matlab建立多元线性回归模型并进行显著性检验及预测问题
matlab建立多元线性回归模型并进行显著性检验及预测问题例子;x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]'; X=[ones(16,1) x]; 增加一个常数项Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; [b,bint,r,rint,stats]=regress(Y,X) 得结果：b = bint = -16.0730 -33.7071 1.5612 0.7194 0.6047 0.8340 stats = 0.9282 180.9531 0.0000 即对应于b的置信区间分别为[-33.7017，1.5612]、[0.6047,0.834]; r2=0.9282, F=180.9531, p=0.0000 p<0.05, 可知回归模型y=-16.073+0.7194x 成立. 这个是一元的，如果是多元就增加X的行数！实用文档function [beta_hat,Y_hat,stats]=regress(X,Y,alpha)% 多元线性回归(Y=Xβ+ε)MATLAB代码%% 参数说明% X：自变量矩阵，列为自变量，行为观测值% Y：应变量矩阵，同X% alpha：置信度，[0 1]之间的任意数据% beta_hat：回归系数% Y_beata：回归目标值，使用Y-Y_hat来观测回归效果% stats：结构体，具有如下字段% stats.fTest=[fV,fH]，F检验相关参数，检验线性回归方程是否显著% fV：F分布值，越大越好，线性回归方程越显著% fH：0或1，0不显著；1显著(好)% stats.tTest=[tH,tV,tW]，T检验相关参数和区间估计，检验回归系数β是否与Y有显著线性关系实用文档% tV：T分布值，beta_hat(i)绝对值越大,表示Xi对Y显著的线性作用% tH：0或1，0不显著；1显著% tW：区间估计拒绝域，如果beta(i)在对应拒绝区间内，那么否认Xi对Y显著的线性作用% stats.TUQR=[T,U,Q,R]，回归中使用的重要参数% T：总离差平方和，且满足T=Q+U% U：回归离差平方和% Q：残差平方和% R∈[0 1]：复相关系数，表征回归离差占总离差的百分比，越大越好% 举例说明% 比如要拟合y=a+b*log(x1)+c*exp(x2)+d*x1*x2，注意一定要将原来方程线化% x1=rand(10,1)*10;% x2=rand(10,1)*10;% Y=5+8*log(x1)+5.623*exp(x2)+1.2*x1.*x2+rand(10,1); % 以上随即生成一组测试数据实用文档% X=[ones(10,1) log(x1) exp(x2) x1.*x2]; % 将原来的方表达式化成Y=Xβ，注意最前面的1不要丢了% [beta_hat,Y_hat,stats]=mulregress(X,Y,0.99)%% 注意事项% 有可能会出现这样的情况，总的线性回归方程式显著的(stats.fH=1)，% 但是所有的回归系数却对Y的线性作用却不显著(stats.tF=0)，产生这种现象的原意是% 回归变量之间具有较强的线性相关，但这种线性相关不能采用刚才使用的模型描述，% 所以需要重新选择模型%C=inv(X'*X);Y_mean=mean(Y);% 最小二乘回归分析beta_hat=C*X'*Y; % 回归系数βY_hat=X*beta_hat; % 回归预测实用文档% 离差和参数计算Q=(Y-Y_hat)'*(Y-Y_hat); % 残差平方和U=(Y_hat-Y_mean)'*(Y_hat-Y_mean); % 回归离差平方和T=(Y-Y_mean)'*(Y-Y_mean); % 总离差平方和，且满足T=Q+UR=sqrt(U/T); % 复相关系数，表征回归离差占总离差的百分比，越大越好[n,p]=size(X); % p变量个数，n样本个数% 回归显著性检验fV=(U/(p-1))/(Q/(n-p)); % 服从F分布，F的值越大越好fH=fV>finv(alpha,p-1,n-p); % H=1，线性回归方程显著(好)；H=0，回归不显著% 回归系数的显著性检验chi2=sqrt(diag(C)*Q/(n-p)); % 服从χ2(n-p)分布tV=beta_hat./chi2; % 服从T分布，绝对值越大线性关系显著tInv=tinv(0.5+alpha/2,n-p);tH=abs(tV)>tInv; % H(i)=1，表示Xi对Y显著的线性作用；H(i)=0，Xi对Y的线性作用不明显% 回归系数区间估计实用文档tW=[-chi2,chi2]*tInv; % 接受H0，也就是说如果在beta_hat(i)对应区间中，那么Xi与Y线性作用不明显stats=struct('fTest',[fH,fV],'tTest',[tH,tV,tW],'TUQR',[T,U,Q,R]);如有侵权请联系告知删除，感谢你们的配合！实用文档。
线性回归的显著性检验
线性回归的显著性检验1.回归方程的显著性在实际问题的研究中， 我们事先并不能断定随机变量y 与变量 x 1 , x 2 , , x p 之间确有线性关系， 在进行回归参数的估计之前， 我们用多元线性回归方程去拟合随机变量 y 与变量 x 1 , x 2 , , x p 之间的关系，只是根据一些定性分析所作的一种假设。
因此，和一元线性回归方程的显著性检验类似，在求出线性回归方程后，还需对回归方程进行显著性检验。
设随机变量 Y 与多个普通变量 x 1, x 2 ,, x p 的线性回归模型为 Y b 0 b 1x 1b p x p其中 服从正态分布 N ( 0, 2 )对多元线性回归方程的显著性检验就是看自变量若接受x 1, x 2 , , x p 从整体上对随机变量 y 是否有明显的影响。
为此提出原假设 H 0 : b1 0, b2 0, , bp如果 H 0 被接受，则表明随机变量 y 与 x1 , x2 ,, xp 的线性回归模型就没有意义。
通过总离差平方和分解方法，可以构造对 H 0 进行检验的统计量。
正态随机变量y 1 , y 2 , , y n 的偏差平方和可以分解为：nn n n ( y i y) 2 ? ? y) 2 ? y) 2 ( y i ? 2( y i y i y i ( y i y i )i 1 i 1 i 1 i 1n y) 2 n y) 2 S T ( y i 为总的偏差平方和， S R ( y?i 为回归平方和， i 1 i 1 n2S E( y i ? 为残差平方和。
因此，平方和分解式可以简写为： y i ) i 1S T S R S E回归平方和与残差平方和分别反映了 b 0 所引起的差异和随机误差的影响。
构造 F 检验统计量则利用分解定理得到：Q R p F pQ E (n1)在正态假设下，当原假设H 0 : b10, b20,, bp 0 成立时，F 服从自由度为( p, np 1) 的F 分布。
第2节 一元线性回归效果的显著性检验
Y
yi
yˆ aˆ bˆx
yi yˆ i
yi y
y
yˆ i y
o
xi
X
3
yi y ( yˆ i y) ( yi yˆ i )
由于 aˆ y bˆx , 即 y aˆ bˆx , 因此有
n
n
( yˆ i y)( yi yˆ i ) (aˆ bˆxi y)( yi aˆ bˆxi )
独立的随机变量，且都服从零均值同方差的正态分布，
即 i ~ N (a bxi , 2 ) ( 2 是与 x 无关的未知数)，
可以证明，
E(bˆ) b, E(aˆ) a, E( Q ) 2 ,
n2
即aˆ, bˆ, Q 分别是a, b, 2 的无偏估计量,
n 2
记 S2 Q . n2
12
如 b 0，则Y a , 说明x 对 Y 没有线性影响，
i 1
又 yˆ i 是回归直线上的纵坐标，因此，yˆ1, yˆ 2 , yˆ n 的
分散性来源于 x1 , x2 , xn 的分散性 , 它是通过 x 对 Y
的相关关系引起的，因此 U 称为回归平方和. 6
n
n
U ( yˆ i y)2 , Q ( yi yˆ i )2 , l yy U Q .
税收总额 Y
1
142.08
3.93
2
177.31
5.96
3
204.68
7.85
4
242.88
9.82
5
316.24
12.51
6
341.99
15.55
7
332.69
回归方程显著性检验
量 x1， x2 ，… ， xp 之间是否确有线性关系。在求
线性回归方程之前，线性回归模型只是一种假设。
尽管这种假设常常不是没有根据的，但在求得线性
回归方程后，还是需要对回归方程进行统计检验， 以给出肯定或者否定的结论。
显著性假设
如果因变量 y 与自变量 x1， x2 ，… ， xp 之间不存 在线性关系，则模型
回归方程显著，并不意味着每个自变量 x1，x2，…，xp 对因 变量 y 的影响都显著，所以从回归方程中剔除那些可有可无 的变量，重新建立更为简单的线性回归方程。
分析:
如果某个变量 xj 对 y 的作用不显著,则模型 y x x x t 0 1 t 1 2 t 2 p tp t
y x x x t 0 1 t 1 2 t 2 p tp t
H ： 0 ， ， ， 0 0 1 2 p
中，参数β为零向量，即有原假设： 将此假设作为上述模型的约束条件，进行假设检验。
求得统计量
S 回/ p F S剩/( n p1 ) n n 1 2 y y ˆ S ( y y ) i 回 i n i 1 i 1
于是得到回归方程为：
因为模型只是一种假定，为了考察这一假定是 否符合实际观察结果，需要进行以下的假设检验：
H b b b 0 , 0: 1 2 p H b . 1: i不全为零
2 ˆ y 2 . 19827 0 . 02252 x 0 . 0001250 x
若在水平α下拒绝 H0 ，我们就认为回归效果是 显著的。
p F F H 1 , p , n p 1 0
线性回归分析的应用———预测与控制
所以拒绝假设H0 ：b 0 ，x 与 y 线性相关显著，接受回归方程 .
线性回归分析的应用———预测与控制
（3）当x0 60时，其回归值 y0 14.01 1.677 60 86.61.
1 R2 S n 2 Lyy
1 0.9652 4 572.52 5.91， 9
y1 y0 2S 86.61 2 5.91 74.79 ，
线性回归分析的应用———预测与控制
解
（1）画散点图,如图12 - 3所示，建立回归方 程 y a bx ，回归方程的计算表如书中P220表12-7所示 .
x 51.45 ，y 72.27 .
Lxx xi2 nx2 30 632 11 51.452 ，
1 513.87 ，
Lxy xi yi nx y
，即170001144.0.01111.6.67777x1x2225.59.191 .
计算得：x1 57.14 ，x2 60.94 .
即居民收入应控制在 57.14 亿元 ~ 60.94 亿元之间 .
经济数学
y1 11 957.27 2 12.72 11 931.83，
y2 11 957.27 2 12.72 11 982.71.
所以当居民人数为20 000人时，该商业部门对这种商品以 95% 概率可预定采购量在
1 931.83 到11 982.71 之间 .
线性回归分析的应用———预测与控制
所以回归直线方程为
y 14.01 1.677x.
（2）检验假设H0 ：b 0.R
Lxy Lxx Lyy
2538.79
0.965 .
1 513.87 4 572.52当 0.01，n 11 来自 9时，查相关系数表，得临界值为
多元线性回归模型及其参数估计多元线性回归的显著性
[ˆ j
t 2
(n
k
1)
C jjˆ2
,
ˆ j
t 2
(n
k
1)
C jjˆ2 ]
统计软件自动给出各回归系数的上下限
七、例2.1
年份
消费
收入
人口
已知某地区的相关数据如右表所示， 1994
9
13.1
48.2
试求该回归方程。 解：使用Eviews实现回归，得到的方
1995 1996 1997
使 Q(ˆ0 , ˆ1,, ˆk ) min Q(0 , 1,, k )
分别求 Qe 关于 0 , 1,, k 的偏导数,并令其为零
Qe
Qe
0
0 BBˆ
k BBˆ
整理得正规方程组
n
n
n
nˆ0 ˆ1 xi1 ˆk xik yi
ˆ0
i 1
n
n
xi1 ˆ1 xi21 ˆk
非随机表达式
E(Y x1i , x2i , , xki ) 0 1x1i 2x2i k xki
可见，多元回归分析是以多个解释变量的固定值 为条件的回归分析，表示各解释变量X值固定时Y 的平均响应。
也被称为偏回归系数，表示在其他解释变量保
j
持不变的情况下，X j 每变化1个单位时，引起的
因变量的平均变动量。或者说
系显著。
t检验通不过的可能原因
（1）选择的自变量对因变量事实上并无显著影响； （2）选择的自变量具有多重共线性。
五、序列相关检验（DW检验）
1. 检验内容：检验随机误差项的无序列相关假设 是否成立。
2. 方法：与一元回归相同。
第三节线性回归的显著性检验及回归预测
? ? ? SSE ? SS ? bnSxy ? SS ? b[ xi yi ? xi yi n ]
SSR ? SS ? SS E ? bnSxy
? ? ? SS, SSE , SSR依赖：????b
xi 2 ? xi yi ? a a ? y ? bx
xi ? 0
5
注意：
三个平方和
SS
,
SS
E
,
度1和分母自由度14找出临界值F ? =4.60
4. 作出决策：若F >F ? , 拒绝H0，认为能源
消耗量与工业总产值两变量间的线性相关 关系是显著的.
离差来源
平方和
自由度 F值
回归 剩余
SSR ? 1676.3876
SS E ? 84.5499
1 14
F ? 277.5808
总计 SS ? 2105.75 15
① 提出原假设与备择假设：
H0 : ? ? 0; H1 : ? ? 0
② 构造检验统计量 t ? b ~ t(n ? 2)
S (b)
? 其中，S(b) ? Se 1 ( xi ? x)2为b的样本方差，
? ? ? ( xi
?
x)2
?
nS
2 x
?
xi2 ? (
xi )2 n
给定显著性水平α,这是t分布的双侧检验 ,查
yi ? yci 2
SS ? ? ?yi ? y?2
1 n-2
F ? SSR SS E
(n ? 2)
n-1
8
线性关系的检验(例题分析)
1. 提出假设 H0 : ? ? 0;
2. 计算检验统计量 F
H1 : ? ? 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
双曲线
1. 基本形式：
1. 线性化方法 令：y' = 1/y，x'= 1/x, 则有y' = a+ bx' 2. 图像
b<0
b>0
幂函数曲线
1. 基本形式：
2. 线性化方法
两端取对数得：lg y = lga + b lg x 令：y' = lgy，x'= lg x，则y' = lga + b x‘ 3. 图像
非线性回归－－练习
一种商品的需求量与其价格有一定的关系。现对 一定时期内的商品价格 x 与需求量 y进行观察，取得 的样本数据如表所示。试判断商品价格与需求量之 间回归函数的类型，并求需求量对价格的回归方程， 以及相应的判定系数。
2 2 2
2 2
R 1 ( y yc ) / ( y y )
相关指数计算表
序号 1 y 106.42 yc 107.53 (y-yc)2 1.2321 (y-yˉ)2 13.0012
2
3 4 5 6 7 8
108.20
109.58 109.50 110.00 109.93 110.49 110.59
0.0023
0.0018 0.0013 0.0011 0.0009 0.0008 0.0006 0.0006 0.0006 0.0005 0.0005
14
合计
20
－
111.18
-
0.0500
2.1009
0.0090
0.1271
0.0025
0.5397
0.0004
0.0193
非线性判定系数与相关系数
0.0091
0.0091 0.0091 0.0091 0.0091 0.0090 0.0090 0.0090 0.0090 0.0090 0.0090
0.0625
0.0400 0.0204 0.0156 0.0100 0.0083 0.0051 0.0044 0.0039 0.0031 0.0028
•由a0.05,可知临界值
♥ Fa(1,n-2)=F0.05(1,14)=4.6
♥F>F0.05(1,14),拒绝H0，
表明总体的两变量间线性相关关系是显 著地，所拟和的线性回归方程具有95％ 的置信度。
回归预测
利用回归方程进行估计和预测
1. 根据自变量x的取值估计或预测因变量 y的取值 2. 估计或预测的类型 点估计 • 因变量y 置信区间估计 区间估计 • 因变量y 置信区间估计
n xy x y b 0.0006 2 2 n x ( x) y 0.009 0.0006 x a y bx 0.009
将x 1/ x, y 1/ y代入回归方程，可得双曲线回归方程为： 1/ yc 0.009 0.0006 / x 即 x yc 0.009 x 0.0006
•由a0.05,可知临界值
♥ ta/2(n-2)=t0.025(14)=2.1448
♥|t|=16.6548>t0.025(14)=2.1448
拒绝H0，表明总体的两变量之间存在着 显著的线性相关关系，即能源消耗量与 工业总产值之间存在显著的线性相关关 系。
回归方程的显著性检验
1、目的：对回归方程拟合优度的检验 2、具体方法：将回归离差平方和(SSR)同 剩余离差平方和(SSE)加以比较，应用F检 验来分析二者之间的差别是否显著 ♥如果是显著的，两个变量之间存在线性 关系 ♥如果不显著，两个变量之间不存在线性 关系
区间估计
1. 点估计不能给出估计的精度，点估 计值与实际值之间是有误差的，因 此需要进行区间估计； 2. 对于自变量 x 的一个给定值 x0 ，根据 回归方程得到因变量y的一个估计区 间； 3. 区间估计的类型 置信区间估计
置信区间估计
对于给定的任一值x0 ,由一元线性 模型知道,不可能求出y相应的精确y0 , 但是我们可以预测y的取值范围.对于 给定的1 a ,求出y0的置信区间,称之为 预测区间.求预测区间的方法与抽样 推断中的区间估计原理相同.
置信度 95 ％的情况下，当能源消耗量为 73( 十万吨 ) 时，工 业总产值的预测区间在45.9345亿元到57.2677亿元之间。
影响区间宽度的因素
1. 置信水平 (1 - a) 区间宽度随置信水平的增大而增大 2. 回归估计标准差Se 区间宽度随离散程度的增大而增大 3. 样本容量 区间宽度随样本容量的增大而减小 4. 用于预测的x0 与x 的差异程度 区间宽度随x0 与x 的差异程度的增大而增大
109.58
109.50 110.00 109.93 110.49 110.59 110.61 110.90 110.76 111.00 111.20
0.2500
0.2000 0.1429 0.1250 0.1000 0.0909 0.0714 0.0667 0.0625 0.0556 0.0526
对【例6.1】的回归系数进行显著性检验(a＝0.05)
提出假设 H 0： b = 0 H 1： b 0 选择检验的统计量 t=b / S (b) ～t(14) 计算检验统计量
2
由b 0.7961; Se 2.457, ( x x ) x 2 ( x )2 / n 55086 (916)2 / 16 2645 1 则S ( b ) S e 2.457 2 2645 ( x x) b 0.7961 t 16.6548 S (b) 0.0478 1
F检验的步骤
提出假设 H0：b0; H1:b≠0 • 选择检验统计量F,
• 计算实际统计量F的值
• 确定显著性水平a，查F分布表得临界值 Fa(1,n-2),进而作出决策： 若FF a(1,n-2),拒绝H0；表明在总体两 变量间线性相关性显著； ♥ 若F<F a(1,n-2),接受H0，表明总体两变 量间线性相关性不显著.
对于给定的1 a , y0的置信度 为1 a的置信区间为：
yc ta 2 Se 1 x0 x ) 1 （小样本） 2 n ( x x)
2
yc Za 2 S （ e 大样本,n充分大时）
【例】求出例6.1中能源消耗量为73(十万吨)时，工 业总产值95%置信水平下的预测区间
12
13 14 合计
18
19 20 －
111.00
111.20 111.18 -
112.00 111.00 110.00 109.00 108.00 107.00 106.00 0 5 10 15 20 25 系列1
1/ y a b / x 令x 1/ x y 1/ y y a by
0.1936 2.2999
1.3790
1.3324 22.6589
计算可得 R 1 ( y yc ) / ( y y ) 1 2.999 / 22.6589
2 2 2
0.8985 进而得到 R 0.8985 0.9497
R2=0.8985表明两变量之间有高度的非线性相关关系。
回归方程计算表
序号
1 2
x
2 3
y
106.42 108.20
x′=1/x
0.5000 0.3333
y′=1/y
0.0094 0.0092
x′2
0.2500 0.1111
x′y′
0.0047 0.0031
3
4 5 6 7 8 9 10 11 12 13
4
5 7 8 10 11 14 15 16 18 19
第三节
线性回归的显著性检验及回归预测
一、回归系数的显著性检验(t检验) 二、回归方程的显著性检验(方差分析(F检验))
三、回归预测
回归系数的显著性检验 －－t检验
目的：检验X与Y之间是否具有 线性关系；或者说检验自变量X 对因变量Y的影响是否显著
t检验的步骤
提出假设 H 0: b = 0
注意：
预测区间以估计值yc为中点，区间
长度为2 .其中区间长度在x0 x处最短，
x0离x 越远区间长度越长.故置信区间上、
下限的曲线对称地落在回归直线两侧，
呈喇叭型.
y
预测区间上限
yc a bx
预测区间下限
x
x0
x
第四节
可线性化的配合回归曲线的问题 三、非线性判定系数与相关系数
110.61
110.90 110.76 111.00
110.58
110.62 110.65 110.70
0.0009
0.0784 0.0121 0.0900
0.3414
0.7644 0.5392 0.9493
13
14 合计
111.20
111.18 1540.36
110.72
110.74 －
0.2304
解：根据前面的计算结果有 n 16, Se 2.457, yc 51.6011, ta / 2 ( n 2) t 0.025 (14) 2.1448
2 x x / n 57.25, nS x ( x x )2 2645
故置信上下限为： 1 51.6011 2.1448 2.457 1 (73 57.25)2 / 2645 16 即51.6011 5.6666 置信区间为45.9345 y0 57.2677
♥
方差分析表
离差来源 回归 剩余 总计 平方和 自由度
2 2
F值
SS R F SS E /( n 2)
SS R ( yc y ) SS E ( y yc )