第一章 回归分析

第一章 回归分析第一节 概述1、常见的变量间的关系一类称为确定性关系；一类称为非确定性关系或相关关系。

2、变量的分类自变量：可以在某一范围内取确定数值的。

因变量或随机变量：取值可观测，但不可控制的变量。

3、回归分析及线性回归分析研究一个（或几个）自变量于一个随机变量之间的相关关系时所建立的数学模型及所作的统计分析称为回归分析。

如果所建立的模型是线性的，就叫线性回归分析。

4、回归方程一元回归方程： 多元回归方程： 第二节 一元线性回归分析一、一元线性回归参数的最小二乘估计考虑因变量y 与自变量x 的一元线性回归方程 (1) 其一元线性回归模型为：（2） 为论述方便，令：y=[y 1,y 2,……y n ]Tε=[ε1 ,ε 2……εn ]Tx=[x 1,x 2, ……x n ]T则由（2）式可构成y=A β+ε, ε～N(0,I σ2) (3) 一般采用最小二乘估计法求定β0， β1的最佳估值 ，即在的要求下求定利用最小二乘法求得其结果为：xy ββ+=0m m x x x yββββ++++= 22110i i i x y εββ++=10x y ββ+=0⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n x x x A 11121 ⎥⎦⎤⎢⎣⎡=10βββ10ˆ,ˆββ最小=--=)ˆ()ˆ(ˆˆββεεA y A y T T 10ˆ,ˆββ可得到一元线性回归方程为： 二、估值的性质三、一元回归的方差分析和线性关系的显著性检验所谓回归方程的显著性检验，就是检验假设：所有回归系数都等于零，也即检验H ：β1=0 为此，我们首先把变量y 的观测值y i 与其平均值 之间的总偏离平方和Q y 分解为回βββˆˆˆˆ10A x y =+=)12(2ˆ7)11(6)10(0ˆ)9(ˆ:ˆ,ˆ5)8(0)ˆ,ˆ(,0)ˆ,ˆ(:ˆ,ˆˆ.4)7())(()ˆ(:ˆ3)6()1()ˆ()5(1)ˆ(:ˆ,ˆ2)4(0)ˆ(,)ˆ(:1222221112122202110 -=⋅-=⋅==⋅==-=⋅+==⋅==⋅∑∑∑===-n Q s s s Q y y y y D y D y A A A A I D s x n D s D E E x xy y n i i n i i n i i i i i T T x x εεσσεεβεεβεσεεσββββεββ的无偏估值方差残差平方和的总和等于零而残差的总和的总和等于观测值估计值不相关与残差的方差为残差的方差估值无偏性y当原假设成立时，F 回～F 1，n-2，对于给定的置信水平α，当F 回〉F 1，n-2（α）时，我们拒绝原假设H ，否则就接受H 。

四、样本相关系数γ第三节 多元线性回归分析一、多元线性回归的最小二乘估计二、参数的中心化和标准化1、中心化)2(,)()())((:)(ˆ/11221222212-+=----=====∑∑∑===n F F y x y y x x y y x x s s s s s s s s Q Q n i n i i i n i i i x y xy x y xy y x y R γγβγ构造统计量也可用来检验原假设的样本相关系数与称为则有记y A A A A y x x x x x x x x x A y y y y m x x x y x x x y y y i y x x x x x x x x x y T T T nn n n n n n s n n mm mi i i i i m m i i i i i mi i i m m m 121222121211110021212102102122110212122110)(ˆ:ˆˆ:)14(111,,,:.ˆ,ˆ,ˆ,ˆ,,,)1()15(),,,()15(,,,,,,)14(-==+=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=++++=+++=βεεεβββββββεεεεββββββββββββββββ最小可求得由最小二乘估计准则式可写为则记的最小二乘估计值未知回归参数式求根据现在由有观测值则对次样本观测值取得第对时分别取值在设有多元回归方程2、标准化除了中心化，对自变量经常做的另一种处理叫标准化，记三、多元回归的统计性质四、多元回归方程的显著性检验所谓回归方程的显著性检验，就是检验假设：所有回归系数都等于零，即检验 H:β1= β2= …=βm =0取显著性水平α，如按上式计算的F 〉F α(m.n-m-1),则拒绝原假设H ，说明回归效果显著，否则接受原假设。

五、多元回归系数的显著性检验 []⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---------=+++-++-+=====-==∑∑y y y y y y y A A A x x x x x x x x x x x x x x x x x x A y A A A x x x x x x y y n y x x x x m k x n x n s sn s s m mn n n m m m m s s T s s T s mm i m m mi i i ni i m n i kj k 212122111222211212211111s 1101111211,)ˆ16)16()()()15(1,,,,,2,1,1.,,式中＝（二乘解为：这样我们可以得到最小，这称为中心化。

量减去了它们的平均值）式中把每个回归自变我们在（＋＝式中：式可改写为则记将是有益的这对于我们的统计分析化数据进行中心化和标准我们常常要把原始观测在回归分析的应用中ββββαεββα)1,()1()1(F 22----=--m n m F m n Q m Q m n Q m Q R R εεσσ＝构造统计量：)18()(17)17(,,2,1,)(11111212 i m m im i i j j ij ij j n i ij j s x x s x x y s x x Z m j x x s εββα+⎪⎪⎭⎫ ⎝⎛-++-+=-==-=∑=归模型变为：过标准化的多元线性回则既经过中心化，又经）式为标准化。

我们称（回归方程的显著性检验是对线性回归方程的一个整体性检验，如果我们检验的结果是拒绝原假设，这意味因变量Y 线性地依赖于自变量X 1，X 2 ，…，X m 这个回归自变量的整体，但是并不排除Y 并不依赖于其中某些自变量，即某些βi 可能等于零。

于是在回归方程显著性检验被拒绝之后，还需要对每个自变量逐一做显著性检验，即要检验：H 0K ： βk =0 (k=1,2, …,m)。

六、多元回归的预测所谓预测就是对给定的回归自变量的值，预测对应的回归因变量所可能取得值。

对于自变量x1,x2, …xm 的一组取定值（x10，x20 ，…，xm0）可由回归方程得到y 的一个对应值为：在应用上，有时区间预测更为我们所关心，所谓区间预测就是找一个区间，使得被预测量落在这个区间内的概率达到预先给定的值。

我们假定模型误差服从正态分布，构成统计量：第三节 回归方程的最佳选择一、评价回归方程的标准)1,1(ˆˆ)1(ˆF F 222--=--=m n F q m n Q q k k k k k σββε检验：构成统计量：，否则接受原假设。

）时拒绝（或当，否则接受原假设。

）时拒绝－－，（，当对于给定的显著性水平检验：－－k k k k k k m n m n t q m n Q q T t 021k k 01k H 1t T H 1m n 1F F )1(ˆˆ)1(ˆ--〉〉--=--=ααεασββ m m x x y βββˆˆˆˆ011000+++= ⎥⎦⎤⎢⎣⎡+++++--=⎪⎪⎭⎪⎪⎬⎫⎪⎪⎩⎪⎪⎨⎧≤++---++-=-------T s s T s s m n T s s T s s m n m n T s s T s s T s s T s s A A A A n t y A A A A n t y y t A A A A n y y m n t A A A A ny y T 100100010001000)(11ˆ)2(ˆ,)(11ˆ)2(ˆ11)2()(11ˆˆP )1()(11ˆˆσασαααασασ的预测区间为：－的概率为由此可得，有因而对给定的1、平均残差平方和最小（RMSq 准则）设有自变量X 1，X 2……X m ，因变量为Y ， 为随机变量， ～（0，σ2）， 为ε的估值，Q ε为残差平方和，Q ε= * ，n 为样本数，m 为自变量的个数，我们可以得到方差σ2的估值为σ2，即：σ2=Q ε/（n-m-1）= * /（n-m-1） （19）随着m 的增大，σ2先是减小，而后稳定，最后又增大。

因此，以σ2之值最小为准则来选择自变量和回归模型是合理的。

2、均方误为最小导出的准则———Cp 准则3、AIC 准则它可以表述为“使AIC=-2ln （模型似然度）+2（模型自由参数个数） 达到极小的那组参数是最优的参数选择”AIC 统计量为：4、AIC 准则的推广二、最优回归模型的选择1、计算所有可能的回归把m 个自变量的所有可能的组合，一一与y 建立线性回归方程，然后按前述介绍的准则，逐一进行比较，从中挑选出最优的回归方程。

2、逐步回归法1）向前逐步回归法向前逐步回归法的计算过程大致如下：（1）选择第一个变量X 1，对m 个自变量分别引入建立一元回归模型，并分别计算残差平方和Q εj （j=1、2……m ），然后找出Q εj 中最大的一个，记为Q εj =MaxQ εj并计算相应的F 1统计量，给定显著水平α，作F 检验，如F 1>F α（1，n-2），则引入相应的自变量X 1。

（2）选择第二个自变量X 2。

对X 1和X j （X 1≠X j ）分别引入建立二元回归模型，并分别计算残差平方和Q εj （j=1、2……m ），然后找出Q εj 中最大的一个Q εj =MaxQ j 和相应的自变量X 2并计算相应的F 2统计量，给定显著水平α，作F 检验，如F 2>F α（1，n-3），则引入相应的自变量X 2。

（3）在第二个自变量X 2引入后，再检验第一个变量X 1的T 值，如 T 1 >T 1-α/2（n-3）则保留X 1，否则剔除X 1，把第二个变量X 2改为新的X 1′，并建立只包含X 1′的回归模型。

（4）重复（2）、（3）步，直到未选入的自变量对Y 的回归系数检验都不显著为止。

最后建立P 元回归模型。

回归模型建好后，我们可以利用该模型对变形进行分析和预报。

2）向后逐步回归法εˆεˆεˆεˆεˆεˆ)20()22(ˆ2ˆ ---=m n Q C p σε其定义式为：)21()1(2)ln(ˆ ++=m Q n AIC ε)22(ln )1(2)ln(ˆ n m Q n BIC ++=ε{}为止。