应用数理统计课件-4

2
lxx
).
1 x2 2 (2) 0 ~N( 0 ,( ) ) n lxx (3)cov(y, )=0
1
x2 2 (4)cov( 0 ,1 )=- ) lxx
注:一元线性经验回归方程是理论回归方程的无偏估计
3. 2的无偏估计 垐 ˆ 记Se (yi yi ) 2 ( yi ( 0 1 xi ))2
2
组内离差平方和： QE 组间离差平方和： QA
i 1
(X
j 1 ni
ij
Xi ) X )
2
2
(X
j 1
i
有
QT QE QA
定理：在单因素方差分析问题中，QE /
2 2 2
2
与QA / 相互独立，且QE / ～ (n r );当 H 0成立时，QA / ～ (r 1).
函数关系—— 相关关系——
x 唯一决定 Y 的值， x 影响 Y 的值，不能唯一确定。
因此，统计学上讨论两变量的相关关系时，是设法 确定：在给定自变量 X x 的条件下，因变量 条件数学期望
E (Y | x) ，记为 ( x )。回归分析的基本 内容就是估计回归方程 y ( x ) 。
Chapter 5 回归分析
一、回归与相关关系
回归这个术语是由英国著名统计学家Francis Galton在19世纪末期研究孩子及他们的父母的身高 时提出来的。Galton发现身材高的父母，他们的孩 子也高。但这些孩子平均起来并不像他们的父母那 样高。对于比较矮的父母情形也类似：他们的孩子 比较矮，但这些孩子的平均身高要比他们的父母的 平均身高高。 Galton把这种孩子的身高向中间值靠 近的趋势称之为一种回归效应，而他发展的研究两 个数值变量的方法称为回归分析。
ˆ 由此得出变量 Y 与 X 的近似表达式： y
（一元线性回归方程、经验公式）
^ ^ 0 1 x
回归分析的任务是，找出回归方程式，检验方程有效与否， 当方程有效时对Y 的值作预测与控制。
请思考：
下列散点的4条近似直线中，哪条线条最合适？
60 40 20 0
Y
0
20
40
X 60
二、未知参数的估计及统计性质
1.最小二乘法 (Least squares estimate)
yi )( i 1, 2, , n) ， 我们可以得到一个回归函数 y 0 1 x ，其中 0 , 1 待定。 令 i yi ( 0 1 xi ) ，这里 i 表示当 x xi 时，
1 n 1 n x xi , y yi n i 1 n i 1 Lxy ( xi x )( yi y ) Lxx ( xi x ) x, y的离差平方和
2 i 1 i 1 n n
2.最小二乘法的性质 定理4.1.1 (1)1 ~N(1 ,
将每一对观察值在同一 直角坐标系中描出，得 散点图如右： 从散点图看出， 与 y x 具有线性相关关系。
一般地，设随机变量 Y 与变量 X 有相关关系，作 n 次 独立试验，得 n 对观测值：
x1 , y1 , x2 , y2 ,......, xn , yn
用试验数据对作出散点图，若如下图，则显示 Y 与 X 有线性 关系的趋势。 这里， yi
§1一元线性回归
一、一元线性回归分析(linear
regression)
例1：今有某品种大豆脂肪含量 X(%)与蛋白质含量Y(%)
的测定结果如下表，试分析这些数据蕴含的关系。
X 16.5 17.5 18.5 19.5 20.5 21.5 22.5 23.5 24.5 Y 43.5 42.6 42.6 40.6 40.3 38.7 37.2 36.0 34.0
i 1
n
2
令
n Q 2 yi 0 1 xi ( xi ) 0 1 i 1 n Q 2 yi 0 1 xi ( xi ) 0 1 i 1
0 y 1 x
1
Lxy Lxx
二、数学模型
设在试验中，因素A有r个水平A1 , , Ar , 水平Ai下的指标为随机变量X i～N ( i , )
2
(i 1, , r ), 且X 1 , , X r 相互独立。 现在水平Ai下做了ni次试验，得到 ni个指标 X ij ( j 1, , ni ) (X i1 , , X ini )是取自总体X i的样本，当然有 X ij～N (i , )
i=1 i=1 n n
称为残差平方和
三、回归效果的显著性检验
,( , ) 一般地，对测定出来的数据 ( x1, y1),( x2, y), xn yn 2
^ ^ ^ 0 1 x 用最小二乘法总是可以求出一条回归直线：y
但变量 X 与Y 是否真有线性相关的关系？ 这是需要作检验的。
F 检验（方差分析）
H 0 : 1 0 H1 : 1 0
——X与Y没有线性关系 ——X与Y有线性关系
SS R 找统计量 F , SS E ( n 2)
其中
Lxx x nx
i 1 n 2 i
n
2
ˆ SS R 1 Lxy ˆ SS E Lyy 1 Lxy ˆ 1 Lxy Lxx
(3)处理单因素试验的统计推断问题，称为一 元方差分析； 处理多因素试验的统计推断问题，称为多 元方差分析。
(4)从试验数据看出，在不同水平下指标数据 有差异，即使在同一水平下，指标数据也 有差异。那么，差异是由于水平变化所引 起的，还是随即误差干扰所至？ 如果是由于水平变化所引起的，那么取什 么水平对指标最有利，这就是方差分析要 研究的问题。
2 i 1 i 1
n
n
2
ˆ ˆ 此得到的估计 0 , 1 称为最小二乘估计，这种方法成为最小二乘法
我们希望选取适当的 0 , 1 , 使得 Q( 0 , 1 ) 的值最小，由
min Q( 0 , 1 ) yi 0 1 xi
注： (1) f ( x)的函数形式未知，一般无法得出； (2)通常现对f ( x)的函数形式作出假设，并利用( y, x)的观 察值来估计f ( x)中的未知参数，得到 f ( x) y 称为经验回归方程或回归方程，f ( x)称为y对x的回归函 数. (3)假设f ( x)是线性函数时，称为线性回归方程；当x是 一元或多元变量时，分别称为一元线性回归方程或多元 线性回归方程；
Y
的

随机变量之间不确定的关系，称为相关关系； 回归分析就是通过观察值，去寻找随机变量间的 相关x的相关关系，通常考虑x是非随机变量，y 是随机变量，则 y f ( x) 其中 是所有随机因素影响的总和，称为随机误差，且 E ( ) 0, D( ) 2 .于是 E ( y ) f ( x) 称为理论回归方程。
假定总体X ij～N ( ij , 2 )，其中
ij i j , i 1, , r; j 1, , s
且

2
令 ij X ij i，则有 X ij i ij 2 ij～N (0, ) 且 ij 相互独立. i 1, , r; j 1, , ni .
问题：因素的水平变化对指标有无显著影响， 就是检验r个X i的均值是否相等。
三、离差平方和分解与显著性检验
把 Y 的观测值的总离差平方和 分解成两部分：SS
R
^ yi y

SST yi y
^ L
2


2
Lyy
1 xy
回归平方和
SS E y i ^ y i
即：SS
T

2
^ 1 L yy Lxy 剩余平方和
SS R SS E
SS T SS R SS E
1 组内均值： i X ni
X
j 1 r ni
ni
ij
（i 1, , r )；
r
1 总平均： X n i 1
X
j 1
ij
（n ni )；
i 1
三、离差平方和分解与显著性检验
离差平方和： QT
i 1 r
(X
j 1 r i 1 r
ni
ij ni
X )
根据上面的分析，根据已知的散点 ( xi , 的观测值
y i 与 直线 y 0 1 x 上的对应纵坐标 y 0 1 xi 的偏差。这样，各个散点与直线 y 0 1 x
的总的偏差的平方和为
Q( 0 , 1 ) i [ yi ( 0 1 xi )]
2 2
§2 两因素方差分析
一、两因素非重复实验方差分析
设有两因素A,B，因素A有r个水平：A1, A2, …,Ar；因素B有s个水平：B1, B2, …,Br 。 在A,B的每种水平组合(Bi, Bj,)下做一次试验， 试验结果是Xij.且Xij相互独立，则共同有rs 个实验结果。 注：这种对每种组合水平各做一次试验的情 形，称为两因素非重复试验。
Lyy y ny
i 1 n 2 i
2
Lxy xi yi nx y
i 1
Chapter 6 方差分析
一、例子
注：
(1)实验中的结果，如产品性能、产量等称为 指标。影响指标的因素用A,B,C,…表示，因 素的不同状态（取值）称为水平，用A1, A2, …表示。 (2)在试验中，如果仅让一个因素的水平变化， 其他因素不变，则称为单因素试验；如果 多个因素的水平变化，则称为多因素试验。