第五章回归分析

于是
[ y
t 1
n
t
( a bxt )]
2
就定量地描述了直线l跟这n个点的总的远近程度. 这个量是随着不同的直线而且变化,或是说是随 不同的a与b而变化的,也就是说它是a,b的二元函 数,记为Q(a,b):
Q(a, b) [ yt (a bxt )]2
t 1
n
• 于是,要找一条直线使得它总的来看最“接近 ”这n个点的问题,就转化为以下的问题： ˆ ˆ 找两个数a, b使二元函数Q ( a, b)在
§1.3 平方和分解公式与线性相关关系
• 对面n组数据(x1,y1),(x2,y2),……,(xn,yn),有
ˆ ˆ ST ( yt y ) [( yt yt ) ( yt y )]2
2 t 1 t 1 n n
ˆ ˆ ˆ ˆ [( yt yt ) 2 2( yt yt )( yt y ) ( yt y ) 2 ]
t 1
n
又
(y
t 1
n
t
ˆ ˆ ˆ ˆ ˆ ˆ yt )( yt y ) [ yt (a bxt )][ a bxt y ]
t 1
n
ˆ ˆ a y bx
n
[( y
t 1
n
t
ˆ ˆ y ) b( xt x )][b ( xt x )]
• 例:维尼纶纤维的耐热水性能好坏可以用指标“缩 醛化度”Y(克分子%)来衡量.这个指标越高,耐热水 性能也越好.而甲醛浓度是影响缩醛化度的重要因 素.在生产中常用甲醛浓度x(克/升)去控制这一指标. 为此必须找出它们之间的关系,现安排了一批试验, 获得如下数据:
甲醛浓度 18 20 22 24 26 28 30
• 为了看出它们之间是否有关及存在什么样的关系, 我们在直角坐标系下作出了这些点,从图上可看出:随 甲醛浓度x的增加,缩醛化度Y也增加,且这些点近似 在一条直线附近,但又不完全在一条直线上.引起这些 点与直线偏离的原因是由于在生产和测试过程中还 存在一些不可控的因素,它们都在影响着试验结果. • 这样我们可以把试验结果Y看成由两部分叠加而成: 一部分是由x的线性函数引起,记为a+bx;另一部分是 由随机因素引起,记为ε,即 Y=a+bx+ε
具体计算时常用以下公式:
1 n S xx ( xt x ) x ( xt ) 2 n t 1 t 1 t 1
2 2 t n n
S xy
n 1 n ( xt x )( yt y ) xt yt ( xt )( yt ) n t 1 t 1 t 1 t 1 n n
一般假设随机误差ε~N(0,σ2).即
Y~ N(a+bx,σ2)
• 在Y=a+bx+ε中,x是一般变量,它可以精确测量或 可以加以控制,Y是可观察其值的随机变量, ε~ N(0,σ2)是不可观察的随机变量, a,b是未知参数.
• 为了获得未知参数a,b的估计,需要进行若干次独 立试验.设试验结果为 (x1,Y1), (x2,Y2), ...,(xn,Yn) • 则 Y1=a+bx1+ε1 Y2=a+bx2+ε2 Yn=a+bxn+εn ε1~ N(0,σ2) ε2~ N(0,σ2) εn~ N(0,σ2)
由于原始数据xt 不会全部相同, 所以此方程组 的系数行列式 n nx n( xt2 nx 2 ) n ( xt x ) 2 0 x t 1 t 1
n t 1 2 t
nx
n
n
于是解出 ˆ b
x y
t 1 n t t 1
n
t
nx y
(x
t 1 n
H0:b=0
• 对数据结构: Y1=a+bx1+ε1 Y2=a+bx2+ε2 ………… Yn=a+bxn+εn 其中ε1,ε2,…,εn服从N(0,σ2)的独立随机变量.
• 如果b=0,则数学上可以证明 SR/σ2~χ2(1) SE/σ2~χ2(n-2) 且SR与SE相互独立.
由此可知,若H0:b=0成立,则
这里ε1,..., εn相互独立.这就是一元线性回归模型.
§1.2 经验公式与最小二乘法
• 设给定n个点 (x1,y1),(x2,y2),……,(xn,yn) 那么对于平面上任意一条直线l： y=a+bx • 我们用数量 [yt-(a+bxt)]2 来刻画点(xt,yt)到直线l的远近程度(利用解析几何知 识不难看出,｜yt-(a+bxt)｜的几何意义是点(xt,yt)沿着 平行于y轴的方向到l的最短距离,而不是沿着垂直于l 的方向到l的最短距离).
ˆ ˆ b [( yt y )( xt x ) b ( xt x ) 2 ] 0
t 1
所以
ˆ ˆ ( yt y ) 2 ( yt yt ) 2 ( yt y ) 2
t 1 t 1 t 1
n
n
n
几个平方和的意义:
S T ( yt y ) 2
衡量F值的大小需要有一个定量的界限.可以证 明在假定
Y1=a+bx1+ε1 Y2=a+bx2+ε2 ………… Yn=a+bxn+εn 下,此定量界限F就是自由度为1，n-2的F分布的 临界值，其中ε1,ε2,…,εn服从N(0,σ2)的独立随机 变量.
§1.4 数学模型与相关性检验
• F值究竟多大才能认为x与Y之间有线性相关关 系呢?为此对数据结构提出下列假定: Y1=a+bx1+ε1 Y2=a+bx2+ε2 ………… Yn=a+bxn+εn 其中ε1,ε2,…,εn服从N(0,σ2)的独立随机变量. • 判断x与Y之间是否有线性相关关系,就是要检 验假设
n Q 2 yt (a bxt ) 0 a t 1 n Q 2 yt (a bxt )xt 0 b t 1
即 na nx b ny n n 2 nx a xt b xt yt t 1 t 1 其中x , y分别是xt , yt的平均数.
t 1 t 1 n n
ˆ ˆ b 2 ( xt x ) 2 b 2 ( xt x ) 2
t 1 t 1
n
n
ˆ ˆ ˆ 由此可见, y1 , y2 ,..., yn的分散性来源于x1 , x2 ,..., xn 的分散性, 并且是通过x对Y的线性相关关系引起的 .
而 ( xt x ) 2就是x1 , x2 ,..., xn 这n个数的偏差
t 1
n
平方和, 记作S xx .它描述了x1 , x2 ,..., xn的分散程度.
ˆ ˆ ˆ ˆ ˆ S E ( yt yt ) 2 [ yt (a bxt )]2 Q(a, b)就是
t 1 t 1 n n
Q(a, b)的最小值, 称为残差平方和.
• 由上面的分析可知,y1,y2,…yn 分散程度可以分解 为两部分ST=SR+SE,其中一部分是通过x对于Y的线 性相关关系而引起的Y的分散性,另一部分是剩余 部分引起的Y的分散性.
§1 一元线性回归
§1.1 一元线性回归模型
• 在一元线性回归分析里,我们要考察随机变 量Y与一个普通变量x之间的联系. • 对于有一定联系的两个变量:x与Y,通过观 测或实验得到n对数据 (x1,Y1), (x2,Y2), ...,(xn,Yn) 用什么方法可以得到这两个变量之间的经验 公式呢?为此举例如下:
n
t
x )( yt y )
xt2 nx 2
( xt x ) 2
t 1
ˆ ˆ a y bx
并且这个解是唯一的.数学上还可证明,它们确实 使Q(a,b)达到最小.
于是, 对于给定的样本值 ( x1 , y1 ), ( x2 , y2 ),..., ( xn , yn ) ˆ ˆ ˆ ˆ 用最小二乘法得到了a, b估计a, b(a, b都为随机变量) 从而得到一条直线 ˆ ˆ ˆ y a bx 称这条直线为经验回归方程(或经验公式, 经验回归 直线, 回归直线).
ˆ ˆ ˆ ˆ 于是S R ( yt y ) 2就是y1 , y2 ,..., yn 这n个数的偏差
t 1
n
ˆ ˆ ˆ 平方和.它描述了y1 , y2 ,..., yn的分散程度.
ˆ ˆ ˆ ˆ ˆ S R ( yt y ) 2 [a bxt (a bx )]2
SR F ~ F (1, n 2) S E /(n 2)
而且b偏离0越远,即b的绝对值越大,F也越大.
• 相关性检验的一般程序:
(1)计算SR,SE,再计算F; (2)对于给定的显著性水平α,查Fα(1,n-2);
(3)若F> Fα(1,n-2),则否定H0:b=0,即认为x与Y之间具 有线性相关关系;否则,就认为x与Y之间不具有线性 相关关系.
缩醛化度 26.86 28.35 28.75 28.87 29.75 30.00 30.36
• 若重复这些试验,在同一甲醛浓度x下,所获得的缩 醛化度Y不完全一致.这表明x与Y之间不能用一个 完全确定的函数关系来表达.
散点与近似直线图
y
31 30 29 28
27
26 18 20 22 24 26 28 30 x
• 实际上,由于实验误差的影响,即使是具有确定性 关系的变量之间,也常表现出某种程度的不确定性. • 回归分析方法是处理变量间相关关系的有力工 具.它不仅为建立变量间关系的数学表达式(经验 公式)提供了一般的方法,而且还能判明所建立的 经验公式的有效性,从而达到利用经验公式预测、 控制等目的.因此，回归分析方法的应用越来越 广泛,其方法本身也在不断丰富和发展.