第十章回归分析

阜师院数科院
§1.3 平方和分解公式与线性相关关系
• 对面n组数据(x1,y1),(x2,y2),……,(xn,yn),有
ST
n

n
( yt y )
2
t 1
2 ˆ ˆ [( y t y t ) ( y t y )] t 1
n

2 ˆ 2 ˆ ˆ ˆ [( y t y t ) 2 ( y t y t )( y t y ) ( y t y ) ] t 1
2

xt n x
t 1

t 1
ˆ ˆ a y bx
阜师院数科院
并且这个解是唯一的.数学上还可证明,它们确实 使Q(a,b)达到最小.
于是 , 对于给定的样本值 ( x 1 , y 1 ), ( x 2 , y 2 ),..., ( x n , y n ) 用最小二乘法得到了 从而得到一条直线 ˆ ˆ ˆ y a bx 称这条直线为经验回归 直线 , 回归直线 ). 方程 ( 或经验公式 , 经验回归 ˆ ˆ ˆ ˆ a , b 估计 a , b ( a , b 都为随机变量 )
.
• 由上面的分析可知,y1,y2,…yn 分散程度可以分解 为两部分ST=SR+SE,其中一部分是通过x对于Y的线 性相关关系而引起的Y的分散性,另一部分是剩余 部分引起的Y的分散性.
阜师院数科院
• 现在来回答x,Y之间是否存在线性相关关系的 问题.不难想到把回归平方和SR与剩余平方和SE 进行比较.即在数理统计中,选取统计量
阜师院数科院
§1 一元线性回归
§1.1 一元线性回归模型
• 在一元线性回归分析里,我们要考察随机变 量Y与一个普通变量x之间的联系. • 对于有一定联系的两个变量:x与Y,通过观 测或实验得到n对数据 (x1,Y1), (x2,Y2), ...,(xn,Yn) 用什么方法可以得到这两个变量之间的经验 公式呢?为此举例如下:
F SR S E /( n 2 )
来体现x与Y的线性相关关系的相对大小.若F值相 当大,则表明x对Y的线性影响较大,这时可以认为x 与Y之间有线性相关关系.反之,若F值较小,则没有 理由认为x与Y之间有线性相关关系.
阜师院数科院
衡量F值的大小需要有一个定量的界限.可以证 明在假定
Y1=a+bx1+ε1 Y2=a+bx2+ε2 ………… Yn=a+bxn+εn 下,此定量界限F就是自由度为1，n-2的F分布的 临界值，其中ε1,ε2,…,εn服从N(0,σ2)的独立随机 变量.
, 所以使 Q ( a , b )
最小原则 , 习惯上称为最小 ˆ ˆ a , b 的方法称为最小
二乘原则 .根据最小二乘原则找 二乘法 .
阜师院数科院
根据最小二乘原则找 原理来解一个二元方程 Q a Q b
n
ˆ ˆ a , b , 通常用微积分中的极值 组 :
2 y t ( a bx t ) 0
阜师院数科院
• 例:维尼纶纤维的耐热水性能好坏可以用指标“缩 醛化度”Y(克分子%)来衡量.这个指标越高,耐热水 性能也越好.而甲醛浓度是影响缩醛化度的重要因 素.在生产中常用甲醛浓度x(克/升)去控制这一指标. 为此必须找出它们之间的关系,现安排了一批试验, 获得如下数据:
甲醛浓度 缩醛化度 18 20 22 24 26 28 30
n
平方和 , 记作 S xx .它描述了
SE
x 1 , x 2 ,..., x n的分散程度
.

n
ˆ 2 ( yt yt )
t 1

n
2 ˆ ˆ ˆ ˆ [ y t ( a b x t )] Q ( a , b ) 就是
t 1
Q ( a , b )的最小值 , 称为残差平方和
阜师院数科院
§1.4 数学模型与相关性检验
• F值究竟多大才能认为x与Y之间有线性相关关 系呢?为此对数据结构提出下列假定: Y1=a+bx1+ε1 Y2=a+bx2+ε2 ………… Yn=a+bxn+εn 其中ε1,ε2,…,εn服从N(0,σ2)的独立随机变量. • 判断x与Y之间是否有线性相关关系,就是要检 验假设
t 1 n
2 y t ( a bx t ) x t 0
t 1
即 na n x b n y n 2 n x a xt b t 1

n
xt yt
t 1
其中 x , y 分别是 x t , y t的平均数 .
阜师院数科院
由于原始数据 的系数行列式 n nx nx
1
n
n
n
ˆ yt
1
t 1
n
n
t 1
ˆ ˆ1 ˆ bt ) a b ˆ (a n
x
t 1
n
t
ˆ ˆ a bx y
于是 S R


n
2 ˆ ˆ ˆ ˆ ( y t y ) 就是 y 1 , y 2 ,..., y n 这 n 个数的偏差
t 1
平方和 .它描述了
• 实际上,由于实验误差的影响,即使是具有确定性 关系的变量之间,也常表现出某种程度的不确定性. • 回归分析方法是处理变量间相关关系的有力工 具.它不仅为建立变量间关系的数学表达式(经验 公式)提供了一般的方法,而且还能判明所建立的 经验公式的有效性,从而达到利用经验公式预测、 控制等目的.因此，回归分析方法的应用越来越 广泛,其方法本身也在不断丰富和发展.
2 ˆ ˆ b [( y t y )( x t x ) b ( x t x ) ] 0 t 1
阜师院数科院
所以

n
( yt y )
2
t 1

n
ˆ 2 ( yt yt )
t 1

n
2 ˆ ( yt y )
t 1Βιβλιοθήκη 几个平方和的意义:ST

n
( yt y )
第十章 回归分析
• 回归分析方法是一种常用的数理统计方法,是处理 多个变量变之间相关的一种数学方法. • 在实际问题中我们常常会遇到多个变量同处于一 个过程之中,它们互相联系、互相制约.在有的变量间 有完全确定的函数关系,例如电压V、电阻R与电流I 之间有关系式:V=IR;在圆面积S与半径R之间有关系 式S=πR2. • 自然界众多的变量之间,除了以上所说的那种确定 性的关系外,还有一类重要的关系,即所谓的相关关系. 比如,人的身高与体重之间的关系.虽然一个人的身高 并不能确定体重,但是总的说来,身高者,体重也大.我 们称身高与体重这两个变量具有相关关系. 阜师院数科院
由此可知,若H0:b=0成立,则
F SR S E /( n 2 ) ~ F (1, n 2 )
而且b偏离0越远,即b的绝对值越大,F也越大.
• 相关性检验的一般程序:
(1)计算SR,SE,再计算F; (2)对于给定的显著性水平α,查Fα(1,n-2);
(3)若F> Fα(1,n-2),则否定H0:b=0,即认为x与Y之间具 有线性相关关系;否则,就认为x与Y之间不具有线性 相关关系.
n
x t 不会全部相同
, 所以此方程组

x
2 t
n ( xt n x ) n ( xt x ) 0
2 2 2 t 1 t 1
n
n
t 1
于是解出
ˆ b
x
t 1 n
n
t
yt nx y
2 2
(x
t 1 n
n
t
x )( y t y ) ( xt x )
2 6 .8 6 2 8 .3 5 2 8 .7 5 2 8 .8 7 2 9 .7 5 3 0 .0 0 3 0 .3 6
• 若重复这些试验,在同一甲醛浓度x下,所获得的缩 醛化度Y不完全一致.这表明x与Y之间不能用一个 完全确定的函数关系来表达. 阜师院数科院
散点与近似直线图
y
31 30 29 28
SR
ˆ ˆ ˆ y 1 , y 2 ,..., y n的分散程度
2 2 ˆ ˆ ˆ ˆ [ a b x t ( a b x )] t 1 n n
.
ˆ ( yt y )
t 1

n
t 1
2 2 ˆ2 ˆ2 b ( xt x ) b ( xt x ) t 1
阜师院数科院

于是

n
[ y t ( a bx t )]
2
t 1
就定量地描述了直线l跟这n个点的总的远近程度. 这个量是随着不同的直线而且变化,或是说是随 不同的a与b而变化的,也就是说它是a,b的二元函 数,记为Q(a,b):
Q (a, b)
[ y t ( a bx t )]
ˆ ˆ ˆ 由此可见 , y 1 , y 2 ,..., y n的分散性来源于 的分散性 , 并且是通过
x1 , x 2 ,..., x n .
x 对 Y 的线性相关关系引起的
阜师院数科院
而 ( x t x ) 就是 x 1 , x 2 ,..., x n 这 n 个数的偏差
2 t 1
一般假设随机误差ε~N(0,σ2).即
Y~ N(a+bx,σ2)
阜师院数科院
• 在Y=a+bx+ε中,x是一般变量,它可以精确测量或 可以加以控制,Y是可观察其值的随机变量, ε~ N(0,σ2)是不可观察的随机变量, a,b是未知参数.