应用数理统计回归分析课件

n
n
? ? ? ( yi ? y)2 ? 2b? ( yi ? y)(xi ? x)
i?1
i?1
n
? ? (b?)2 (xi ? x)2 i?1
? S yy ? 2b?Sxy ? (b?)2 Sxx 16
? 2的点估计
由于 Sxy ? b?Sxx ，所以 Qe ? S yy ? (b?)Sxx
四、线性假设的显著性检验(T检验法)
n i ?1
xi
??a ?
?
?? ?
n i?1
x
2 i
??b ?
?
n i ?1
xi yi
? ? 由于
1n x ? n i?1 xi ,
1n y ? n i?1 yi
9
最小二乘估计
正规方程组为
?a ? xb ? y
? ? ?
?? nx a ?
?
?? ?
n i?1
xi2
??b ?
?
n
xi yi
i?1
由于方程组系数行列式
(n? 2)??2 ?2
(n
?
2)
?
b?? b
??
Sxx ~t(n? 2)
18
线性假设的显著性检验
在H0成立时，取统计量为
T
?
b?
??2
S xx ~ t(n ? 2)
给定显著性水平? ，H0的拒绝域为
b?
t ? ??2
S xx ? t? (n ? 2) 2
计算出|t|的值，查出 t? (n ? 2) 2
应用数理统计回归分析
回归分析
? 现实世界中大多数现象表现为相关 关系，人们通过大量观察，将现象 之间的相关关系抽象概括为函数关 系，并用函数形式或模型来描述与 推断现象间的具体变动关系，用一 个或一组变量的变化来估计与推算 另一个变量的变化。这种分析方法 称为回归分析。
2
9.1 一元线性回归
一 、一元正态线性回归模型 设随机变量Y，对于x的每一个值，
分别取Q关于a、b的偏导数，并令
其为0，有
? ? ?Q
?? ?a
?
n
?2
i?1
( yi
?
a
?
bx i )
?
0
? ?
?
?Q
?? ?bHale Waihona Puke Baidu
?
n
?2
i?1
( yi
?
a
?
bx i ) x i
?
0
8
最小二乘估计
得正规方程组
? ? ?
? na
?
??
n
x i ??b ?
n
yi
?
? i?1 ? i?1
? ? ? ?
??????
1x
n
n
? ? ? ? ? nx
n
xi2
?
xi2 ? nx 2 ?
i?1
i?1
xi ? x 2 ? 0
i?1
10
最小二乘估计
方程组有唯一解
? ?
?
n
xi yi ? nx y
??b? ?
i?1 n
? ?
? xi2 ? nx 2
i?1
? ??a? ?
y
?
xb?
11
最小二乘估计
? ? 记
S xy ?
n
对于一组样本观察值，回归直线通过
散点图的几何中心 (x, y)
13
三、? 2的点估计
对每一个xi，由回归方程有y?i ? a? ? b?x i
xi处的残差为 yi ?，y?i残差平方和
? ? ? ? Qe ?
n
?yi ? y?i ?2 ?
n
yi ? a? ? b?xi 2
i?1
可以证明
i?1
Qe
?2
19
线性假设的显著性检验
若
t
?
t?
2
(，n ?则2)拒绝H0；否则就接受
H0 。拒绝H0，意味着回归效果是显
著的。在回归效果显著的情况下，
对回归系数作区间估计，可得出b的
置信度为1-? 的置信区间为
? ? (b,
b
)
?
???b??
t? 2
(n
?
2)
?
? , b?? t? (n ? 2)
S xx
2
? ??
Y都有它的分布。Y的均值是x的函
数，设E(Y)=? (x)，? (x)叫做Y关于x 的回归。? (x)可以通过样本进行估
计。
3
一元线性回归模型
对于x的一组值x1, x2, ? , xn作 独立试验，对Y 得出n个观察结果
y1, y2,? , yn，得到容量为n的样本 (x1, y1), (x2, y2),? , (xn, yn)。利用样
本估计? (x) 。首先从散点图看出y与
x的关系, 从而推测出? (x)的形式。
若? (x) 为线性函数，设? (x) =a+bx，
估计? (x) 的问题称为一元线性回归
问题。
4
一元线性回归模型
假设对于x的某个区间内的每一 个值有
Y~N(a+bx,? 2) Y= a+bx+? ， ? ~N(0,? 2)
~
?
2(n ?
2)
则
E
? ? ?
Qe
?2
? ? ?
?
n
?
2
,
E??
Qe
? ?
?
?
2
?n? 2?
14
? 2的点估计
??2 ? Q是e? 2的无偏估计
n? 2
Qe的简单计算公式：
15
n
n
? ? Qe ? ?yi ? y?i ?2 ? ?( yi ? y) ? ( y?i ? y)?2
i?1
i?1
? ? ?? n ( yi ? y) ? b?(xi ? x) 2 i?1
S xx
? ?
20
五、线性回归的方差分析(F检验法)
n
? S yy ? ?yi ? y?2 i ?1
n
?? ?( y?i ? y) ? ( yi ? y?i )?2 i?1
称为一元正态线性回归模型。
5
一元线性回归模型
由样本到a、b的估计 a?、b?，对 给定的x，取 y? ? a? ? b?作x 为 ? (x) =a+bx的估计，称 y? ? a?为? Yb?关x
于x的线性回归方程，其图形称为 回归直线。
6
最小二乘估计
二 、最小二乘估计
对样本(x1, y1), (x2, y2),? , (xn, yn)，有
? yi ? a ? bx i ? ?i , i ? 1,2,? , n ???i ~ N (0,? 2 ) , 各?i相互独立
考虑a、b的函数
n
? Q(a, b) ? ( yi ? a ? bxi )2
i ?1
7
最小二乘估计
用最小二乘法估计a、b，使
Q(a?, b?) ? mi Q(an, b)
(xi ? x)( yi ? y) ?
n
xi yi ? nx y
i?1
i?1
n
n
? ? Sxx ? (xi ? x)2 ? xi2 ? nx 2
i?1
i?1
则
? ?
b?
?
?
S xy S xx
? ?
a?
?
y?
xb?
12
最小二乘估计
所求线性回归方程为 y? ? a? ? b?x 由 a? ? y ? xb? 知 y ? a? ? b?x 所以 y? ? y ? b?(x ? x)
对线性假设y=a+bx+?进行检验，
线性系数b不应当为0 原假设 H0：b=0 备择假设 H1：b? 0
17
线性假设的显著性检验
(n ? 2)??2 ?2
?
Qe
?2
~
?2(n ?
2)
可以证明 b? ~ N (b,? 2 / S xx )
从而
b?? b ~ N (0,1)
? 2 S xx
b?? b
?2 Sxx