《数值分析》(雷秀仁)第五章

i=1
xi - x E (h i ) l xx
性质2
1 x 2 ˆ ~ N (a, ( + )s ) a n lxx
2
证明：由于
ˆ b 0
ˆx ˆ =h - b a 1 xi - x = å( x )hi n lxx
同性质1的理由知
ˆ a
服从正态分布，又
ˆ) x ˆ) = Eh - E(b E (a = a + bx - bx =a 1 xi - x 2 ˆ) = å( D(a x ) D(hi ) n lxx 2 1 ( xi - x ) x ( xi - x ) 2 2 = [ - 2å +å x ] s 2 n nlxx lxx 2 1 x 2 = ( + )s n lxx
s ˆ b ~ N (b , ) l xx
2
n l xi - x xh ˆ b= =å hi lxx i =1 l xx
是n个独立正态随机变量的线性组合，因而它也 服从正态分布，而正态分布由其期望与方差唯
ˆ 期望与方差： 一决定，下面就来求的 b
ˆ) = E (b = = = = D
å
n
xi - x ( a + bx i ) å l xx xi - x xi - x aå +b å xi l xx l xx xi - x xi 0 + bå l xx b 2 2 n ( xi - x ) s ˆ (b ) = å D (h i ) = 2 l xx l xx i=1
i 1 2 3 4 5 6 7 8 9 10
x(%) 0.03 0.04 0.05 0.07 0.09 0.10 0.12 0.15 0.17 0.20
h （kg/mm）
40.5 39.5 41.0 41.5 43.0 42.0 45.0 47.5 53.0 56.0
为了看清其规律，把（x i , yi）看成平面直角坐 标系中的点，画出“散点图”，接着，我们可以 观察散点图上点的分布规律。
2 ˆ) + De + 2 cov(a ˆ) x ˆ ˆ E(Se ) = nD(a) + å xi D(b , b å i åi
1 ( xi - x) x xi - x )E(hiei ) - 2å xi E(hiei ) - 2å( n lxx lxx 2 = (n - 2)s
故从平均意义看，S e 只反映了随机误差所引起 的差异，这也可以看成是残差平方和名称的由
性质3
x 2 ˆ ˆ, b) = - s cov( a l xx
1 xi - x ˆ) = cov( åhi , å h i ) - x D (b n l xx 2 xi - x 2 s =å s -x nl xx l xx x 2 =- s l xx
ˆ) = cov(h - b ˆx , b ˆ) 证明： cov( a ˆ, b
2 2 2 ˆ ˆ =b å （ x i - x ） = b l xx
2 ˆ E（S R） = E（b ）lxx 2 2 2 ˆ ˆ = [ D（b） + ( E (b)) ]lxx = s + b lxx
这表明当 b=0时，从平均意义上看， S R 仅反映 了随机误差引起的差异，否则还反映了E（h ） 随x变化所引起的差异，这也就是我们称 S R 为 回归平方和的缘由。 对残差平方和有
i =1 n
n
n
n
n
称（3）为a,b的最小二乘估计。
回归方程
ˆx = y + b ˆ( x - x ) ˆ =a ˆ +b y
在平面直角坐标系中的图象称为回归直线, ˆ ）与（ x , y ）两点。 a 它必经过（0， 为了今后讨论的需要，我们来研究一 ˆ 的若干性质。 ˆ, b 下 a
性质1
证明：由于
其中 S R = Se = SR = =
å
2 ˆ ( y i - y ) 称为回归平方和，
å
2 ˆ ( y i - y i ) 称为残差平方和 2 ˆx - y ） ˆ （ a + b å i
2 ˆ （ ） y y = å i
2 ˆx + b ˆx - y ） （ y b å i 2 l xy = l xx
1 x x 2 xx 2 2 = ( + )s + s - 2 s n lxx lxx lxx 1 （x - x ） 2 ˆ ~ N（a + bx， [ + ]s ） 故y n l xx
2
2
2
由此可知
ˆ y
ˆ） 是E（ h ）的无偏估计，而D（ y
随x与 x 的距离
x - x 的增大而增大。
三、 线性回归效果的显著性检验 从求一元线性回归方程系数的最小二乘公 式
ì ˆ l xy ï b= l xx í ïa ˆx ˆ = y b î
可知，不管h 与x之间是否有线性相关关系，只 要给出了n对数据（ x i , y i），i=1，……，n总 ˆx， ˆ=a ˆ+b 可求出 aˆ 与 bˆ，从而写出回归方程 y 然而这个方程不一定有意义。那么，什么是一
个有意义的回归方程呢？我们研究回归方程目 的是寻找 h 与x之间的统计规律性,即要找出E(h) 随x变化的规律。在一元线性回归中，反映了 E( h）随x线性变化的变化的规律，若 b=0，就 意味着E( h )不随x作线性变化，那么我们给出 的一元线性回归方程就没有意义，若b ¹ 0 那么 回归方程才有意义。因而对回归方程作显著性 检验就是要检验假设 H 0 : b = 0 是否为真，为此 我们需要寻找一个检验统计量。导出该检验假 设的统计量的方法有多种。下面我们从直观思 考出发。
2
2
= Se + S R
ˆ )(y ˆ - y) å( y - y
i i i
ˆx )(a ˆx - y) ˆ -b ˆ = å( yi - a + b i i ˆx - b ˆx )(y - b ˆx + b ˆx - y) = å( yi - y + b i i ˆ (y - y +b ˆx - b ˆx )(x - x) =b å i i i ˆ(l - b ˆl ) = 0. =b xy xx
第5章 回归分析
§5.1 一元线性回归
一、一元线性回归模型
最简单的回归分析是一元线性回归分 析，为弄清它解决什么问题，我们先看一 个例子。例：合金钢的强度 h 与钢材中碳 的含量x有密切关系。为了冶炼出符合要 求强度的钢常常通过控制钢水中的碳含量 来达到目的，为此需要了解 h 与x之间的
关系。由于种种因素的影响，即使钢水中 碳的含量相同,合金钢的强度也不会完全 相同，因而它们间的关系是一种非确定性 的关系。那么它们之间有没有关系？有什 么样的关系？为此首先就要收集n组不同 的碳含量x（%）对应的钢的强度 h (kg/mm)数据（x i , y ） i ，i=1，……，n。 本例所收集的数据见下表（n=10）
ˆ SR b = 2 =( 2 s s s
ˆ2l b xx
) ~ c (1)
2 2
lxx
可以证明下列两个结论
Se 2 （ 1 ） s 2 ~ c ( n - 2) ；
ˆ 来。由此还顺便得知s
*2
Se = 是 s 2 的无偏估 n-2
2 ES > s 计。当 b ¹ 0 时， R ，因而我们可以考
H 0 : b=0 虑用下述统计量去检验假设： 下面介绍两种常用的检验方法，它们本质 上是相同的。
1.F检验法
SR F= Se /(n - 2)
且从直观考虑，当F值较大时拒绝原假设，即拒 绝域可取为{F ³ c} 在H 0 下
ˆ 分别是a,b的无偏估 由以上三个性质可知， ˆ, b a
ˆ ˆ a 与 b 不独立。 计，除了 x = 0 外，
由以上性质还可知，对固定的x来讲
ˆx ˆ=y ˆ ( x) = a ˆ +b y
也是 y1 ,L, y n 线性组合，且
ˆ) x = a + bx = Eh ˆ ) = E (a ˆ ) + E (b E( y 2 ˆ ˆ) x ˆ ˆ ˆ, b D( y ) = D( a ) + D(b) x + 2 cov(a
2 ˆ Se = å ( yi - yi )
ˆ - b) x - e ]2 ˆ - a) + (b = å[(a i i
2 2 2 ˆ ˆ - b) x ˆ - a) + (b - b) xi + ei + 2(a ˆ - a)(b = å[(a i 2
ˆ - b) x e ] ˆ - a)ei - 2(b 2(a i i
表示 y 1 , L , y n 之间的总的差异的大小。它可以 分解成两个部分：
2 ˆ ˆ ST = å ( yi - yi + yi - y ) 2 2 ˆ ˆ ˆ i )( y ˆi - y ) = å ( y i - yi ) + å ( y i - y ) + 2 å ( y i - y
ˆi ) + å ( y ˆi - y ) = å ( yi - y
我们今后称 E（h ）=
a + bx
为h关于x的回归函数,它在平均意义上表明了h 与
x之间的一种统计规律性。 我们要研究的问题有 （1） 如何根据样本（ xi , yi），i=1，……,n求出
a,b
的估计？
ˆ 用分别记的 a , b 点估计，则称 ˆ,b 若a
ˆx ˆ =a ˆ +b y
ˆ 是x 的 为h 关于x的一元线性回归方程,为表明 y ˆ（x）。 函数，必要时也记为为 y
VAR1 vs. VAR2 VAR2 = 35.451 + 92.641 * VAR1 Correlation: r = .95018 58