02回归、方差分析

实验二 回归分析、方差分析实验名称：回归分析、方差分析 实验类型:验证性实验 学 时：2适用对象: 信息与计算科学一、实验目的与要求1．理解线性回归分析和方差分析的模型、统计推断等方法。

2．能够使用SAS 做回归分析和方差分析。

二、线性回归分析的基本理论与方法 2.1 线性回归模型2.1.1 线性回归模型的矩阵表示设Y 是一个可观测的随机变量，它受到p-1个非随机因素X 1,X 2,…,X p -1和随机误差ε的影响。

若Y 与X 1,X 2,…,X p -1有如下线性关系：011-1-1p p Y X X βββε=++++ ， (1)其中01-1p βββ ，，，是未知参数，()2~0N εσ，。

该模型称为线性回归模型。

我们进行n （n ≥p ）次独立观测，得到n 组样本()12-112i i i p i x x x y i n = ，，，；，，，，，应满足(1)式：()011-1-1 12i i p ip i y x x i n βββε=++++= ,，,， (2)其中12,,,n εεε…相互独立均服从2(0,)N σ分布。

简写为矩阵形式：Y = X β + ε， (3) 其中Y 为观测变量，X 为设计矩阵，它们由观测数据得到，是已知的，并假定Rank(X )=p 。

β是待估计的未知参数向量，ε是不可观测的随机误差向量。

式(3)称为线性回归模型的矩阵形式。

2.1.2 β及σ2的估计 (1) β的最小二乘估计选择β使误差项的平方和()()()21210p nTT i ij j i i j S Y X Y X y x βεεεβββ−==⎛⎞===−−=−⎜⎟⎝⎠∑∑∑达到最小，其中0 1 (1,2,,)i x i n ==…，则为此分别对求偏导并令其等于零，得1100, 0,1,,1p n i ij j ik i j k Sy x x k p ββ−==⎛⎞∂=−−==−⎜⎟∂⎝⎠∑∑ ， 即 11110010,1,,1p p n n n i ik ij ik j ij ik j i i j j i y x x x x x k p ββ−−=====⎛⎞===−⎜⎟⎝⎠∑∑∑∑∑ ，。

其矩阵形式 X TX β = X TY ，称此方程为正规方程。

解此方程，即得β的最小二乘估计ˆβ为 ˆβ= (X T X )T X T Y ， 将其代入式(1)并略去误差，则称011-1-1ˆˆˆˆp p Y X X βββ=+++ 为回归方程。

利用回归方程，可由自变量X 1,X 2,…,X p -1的观测值求出因变量Y 的估计值。

(2) 误差方差σ2的估计残差向量：()()1ˆˆT T e Y YY X I X X X X Y I H Y β−⎡⎤=−=−=−=−⎢⎥⎣⎦，其中H = X (X TX )-1X T为对称幂等矩阵，I 为单位向量。

残差平方和：()TTT T T ˆe e YI H Y Y Y X Y β=−=−。

由于E(Y )=X β ，(I – H ) X =0，则由()()()()TT TE E e e Y Y I H Y Y I H εε=−−−=−⎡⎤⎡⎤⎣⎦⎣⎦解得σ2的估计2ˆσ为 ()2T 1ˆE e e n pσ=−。

2.1.3 有关的统计推断（1）回归关系的统计推断 离差平方和：()21ni i SST y y ==−∑，反映了数据y 1,y 2,…,y p -1波动性的大小；残差平方和：()21ˆnii i SSE yy==−∑，反映了回归以外因素引起的波动； 回归平方和：()21ˆni i SSR yy ==−∑，反映了由变量X 1,X 2,…,X p -1引起的波动。

检验假设：()012-11001-1p i H H i p ββββ====↔≠≤≤ ： ：至少有一个检验统计量：MSRF MSE =，其中1SSR SSE MSR MSE p n p==−−，。

当H 0不真时（回归关系显著），F 有偏大趋势；当H 0真时，()~1F F p n p −−，， 当{}00H p P F F α=≥<时，拒绝H 0，否则接受H 0。

(2) 回归参数的统计推断检验假设： ()0100k k H H k ββ=↔≠： ：某个检验统计量：()()ˆˆ~k k t s t n p ββ=−，其中()()1ˆT k s MSE X X β−=当{00H p P t t α=≥<时，则拒绝H 0，kβ的1α−置信区间为：()()()()()/2/2ˆˆˆˆ,kk k kt n p s t n p s ααββββ−−+−。

(3) 关于预报值的统计推断给定()01020-1p x x x ，，，，利用回归方程可得因变量Y 的预报值0ˆy，则有 ()()000ˆ~ˆyy t n p s y−−， 其中()()()120000010-1ˆ11T T T p s y MSE x X X x x x x −⎡⎤=+=⎢⎥⎣⎦，，，，。

从而可得到置信度为1α− 的置信区间为()()()()()0/200/20ˆˆˆˆ,y t n p s y y t n p s y αα−−+−。

2.2 残差分析2.2.1 误差项的正态性检验（1）频率检验若()2~0,i N εσ，则()~0,1i N εσ，所以若模型正确，则2211ˆn i i e MSE n p σ===−∑，从而(i =1,2,…,n )是近似N(0,1)的样本，由此可检验在(-1,1)或(-1.5,1.5),(-2,2)内的取值频率。

（2）QQ 图检验1）残差的QQ 图作法1o将残差12,,,n e e e …由小到大排列为()()()12,,,n e e e …；2o计算()0.3750.25i i q n −⎛⎞=⎜⎟+⎝⎠，称()i q 为()i e 的期望值，其中()Z i 表示标准正态分布的下侧i()2•2x Z edx −−∞=i ，其中的常数0.375和0.25是修正值；3o以残差、期望值描出点()()()i i q e ，，1,2,,i n =…，得到残差的正态QQ 图。

2）直观检验法若QQ 图不在一条直线上，则怀疑正态性。

3）相关系数检验法()(1ni i i r e q ==∑1r ≈，则()()()i i q e ，近似在一条直线上，认为正态。

2.3 回归方程的选取：逐步回归法给定两个小概率值,E D αα，分别用作选取自变量和剔除自变量的显著性水平。

第一步 对每个X k (1≤k ≤M )，拟合仅包含X k 的线性回归模型Y = β0 + βk X k + ε。

对每个k 计算()()()1kk k F SSR X MSE X =，1,2,,k M =…。

设()(){}1111max k kk MF F ≤≤=，若()()1E 1F 1n 2k F α>−,，则选择含1k X 的回归模型为当前模型；否则，没有自变量进入模型，选择过程结束。

这时认为所有自变量对Y 的影响不显著。

第二步 在第一步选出的含1k X 的模型基础上，再将其余M －1个自变量逐个加入此模型中，并计算()()()1121|kk k k k F SSR X X MSE X X k k =≠，， 。

设()(){}2122max k kk k F F ≠=，若()()2E 21n 3k F F α≤−,，则选择过程结束。

第一步选出的模型为最优模型。

若()()2E 21n 3k F F α>−,，则将2k X 加入到第一步所选的模型中，即有11220k k k k Y X X βββε=+++。

(*)进一步考察，当2k X 进入模型后，1k X 是否可被剔除。

为此计算，()()()112122|k k k k k F SSR X X MSE X X =，，若()()1D 21n 3k F F α≤−,，则剔除1k X ，这时仅含2k X 的回归模型为当前模型。

否则式(*)为当前模型。

第三步 继续考察其余M －2个变量的逐个加入情况。

计算()()()12123312|k k k kk k k SSR X X X F k k k MSE XX X =≠，，,，，。

设()()()31233,max k kk k k F F ≠=，若()()3314Ek F Fn α≤−，，则选择结束，(*)为最优；否则，3kX 进入模型，即有1122330k k k k k k Y X X X ββββε=++++。

(**)进一步考察1k X 、2k X 是否因3k X 的进入可被剔除，即计算()()()()()()1232131212312333||k k k k k k k k k k k k k k SSR X X X SSR XX X F F MSE XX X MSE X X X ==,,，,,,,。

若()(){}()12D33min 14k k F F Fn α<−，，，则先剔除()()1233k k F F 和中较小的一个所对应的变量12k k X X 或，再检验另一个是否可被剔除。

若12k k X X 和不能被剔除，则(**)即为当前模型。

重复以上步骤，直到没有变量能进入且模型中变量均不能被剔除，则选择过程结束。

最后一个模型即认为是最优的。

三、方差分析的基本理论与方法3.1 单因素方差分析因素的水平: 因素的不同状态; 因素A 的a 个水平: 12,,,a A A A , 等等. 例如某农作物产量Y , 作物品种A , 化肥品种B ,123,,A A A ; 1234,,,B B B B主要思想为显著性检验, 即 Y 的总变化量=各因素各水平及交互影响+随误影响1. 单因素方差分析模型设所关心变量为Y ,影响Y 的因素为A ,有a 个水平, 假设如下表: (各样本独立, 同方差)因素A 的水平总 体样本12aA A A 21222(,)(,)(,)a N N N µσµσµσ12111212122212,,,,,,,,,an n a a an y y y y y y y y y令,1~ij ij i i y j n εµ=−=, 1~i a =则有(相当于a 个回归模型)2,1~,1~~(0,),ij i ij i ij ij y j n i aN µεεσε=+==⎧⎨⎩且诸相互独立(3.1), 称 1ni i n n ==∑为总容量;11ni i i n n µµ==∑为总平均;,1~i i i a δµµ=−=为水平i A 的效应(影响度)且满足10ai ii n δ==∑, 最后归结为21,1~,1~~(0,),0ij i ij i ij ij ai ii y j n i aN n µδεεσεδ==++===∑且诸相互独立(3.2)2. 因素效应的显著性检验对于单因素, 目标之一: 该因素各水平对Y 取值有无显著差异. 即检验如下假设012:a H µµµ===↔ 1:(1~)i H i a µ=不全相等(3.3)等价地, 对模型(3.2), 检验假设012:0a H δδδ====↔ 1:H 至少有某个0i δ≠(3.4)分解影响且设计统计量 令11in i ijj in εε==∑i , 则2(0,1~i iN i a n σε=i ∼11111i n a a ij i i i j i n n n εεε=====∑∑∑i , 则2(0,N n σε∼,1111()iin n i ijiij i i j j ii y y n n µδεµδε====++=++∑∑i i 即,11111i n a aij i i i j i y y n y n n =====∑∑∑i , 则y µε=+数据的总变化量总平方和:分解为展开交叉项=0)221111()()i in n a a ij i i i j i j y y y y =====−+−∑∑∑∑i i()()E A A SS SS + 误差平方和因素的平方和,基本分析1) ij i ij i ij y y y µε−≈−=i ,2) A SS 随1212,,,,,,a a y y y µµµ≈i i i 差异小而小,E A SS SS 的统计性质令2211()1in iij i j i s y y n ==−−∑i , 则22E()i s σ=, 从而 2211E()E((1))(1)a aE i ii i i SS n s n σ===−=−∑∑2()n a σ=−,无论0H 成立否, E SS n a−是2σ的一个无偏估计. 另一面, 因21(aA i i i i SS n µδεµε==++−−∑i22111()2()a a ai i i i i i i i i i n n n δεεδεε====+−+−∑∑∑i i221(1)ai i i a n σδ==−+∑所以2211E 11a A i i i SS n a a σδ=⎛⎞=+⎜⎟−−⎝⎠∑, 从而可知: 当0:0,1~i H i a δ==为真, 1A SS a −是2σ无偏估计. 否则, 有偏大趋势, 构造统计量当0H 为真, 则F 应在1波动, 否则趋大. 因为22222111()~(1)in i iiji i j n s yy n χσσ=−=−−∑i(1~i a =)又由各总体样本的相互独立性、2χ的可加性, 得22222111~(1)()aa i Eii i i n SS s n n a χχσσ==−⎛⎞=−=−⎜⎟⎝⎠∑∑另有(参见[4]) 22~(1)ASS n χσ=−且与E SS 独立,故当0H 真,检验的p 值为0()((1,))H p P F f P F a n a f =≥=−−≥对给出的α,若p α<, 则拒绝0H , 各水平的效应有显著差异; 否则, 不能拒绝,认为各水平的效应无显著差异.3.2 两因素等重复实验下的方差分析⎪⎩⎪⎨⎧===+=且相互独立，：方差分析模型可表示为两因素等重复试验下的),,0(~),...,2,1,,...,2,1,,...,2,1(2σεεµN c k b j a i y ijk ijk ij ijk ⎪⎪⎪⎩⎪⎪⎪⎨⎧=======++++=∑∑∑∑====bj ija i ijb j j a i i ijk ijk ij j i ijkN c k b j a i y 11112,0,0,0,0),,0(~),...,2,1,,...,2,1,,...,2,1()21.3(γγβασεεγβαµ且相互独立，等价于：方差分析模型两因素等重复试验下的 如下三个假设检验问题21112 (11)1222 (1)1112.111()(()()()())()()()()a b cT ijk i j k bcaijk ij i j ij i j j k i ababi j ij i j i j i j bcaijk ij j k i A B A SS y y y y y y y y y y y y bc y y ac y y c y y y y y y SS SS SS ==============−−+−+−−++−==−+−+−−+−+=++∑∑∑∑∑∑∑∑∑∑∑∑∑B ESS +0:0...:1210≠↔====j B b B H H ββββ至少某个0:0...:1210≠↔====i A a A H H αααα至少某个0:0,:10≠↔=ij AB ij AB H H γγ至少某个2..12..12 (112).111(),A ()B (),(),aA i i bB j j abAB ij i j i j bcaijk ij E j k i SS bc y y SS ac y y SS c y y y y y y SS ========−=−=−−+−=∑∑∑∑∑∑∑因素的平方和；，因素的平方和；交互效应平方和；误差平方和。