数理统计线性回归

x
1 n
n i 1
xi ,
y
1 n
n i 1
yi
.
( x) a bx
ˆ ( x) aˆ bˆx Y 关于 x 的经验回归函数
yˆ aˆ bˆx Y 关于 x 的经验回归方程
由于aˆ y bˆx,
回归方程 回归直线
yˆ y bˆ( x x),
回归直线通过散点图的几何中心( x, y).
一般说来,在给定X=x条件下Y的条件概
率分布 pY y X x ,则Y与X的关系就清楚
了.但在实际中要求解往往是非常困难的.
事实上,对Y而言,在实际中只需知道它的
某个数字特征:条件数学期望
EY
X
x
u(x)
就可以了.把 y u(x)称为Y关于X的回归方程.
回归分析的作用:在于通过对变量X的观 测值就可预测Y的取值,并且当 X x 时, u(x) 为Y在方差误差意义下的最佳预测值.
对 x 的一组不完全相同的值x1, x2 ,, xn , 设 Y1, Y2 ,,Yn 分别是在 x1, x2 ,, xn 处对 Y 的独立 观察结果.
称 ( x1,Y1), ( x2,Y2 ),,( xn,Yn ) 是一个样本. 对应的样本值记为
( x1 , y1 ),( x2 , y2 ),,( xn , yn ).
0
0
n
n
na ( xi )b yi
i 1
i 1
n
n
n
正规方程组
(
i 1
xi )a (
i 1
xi2 )b
i 1
xi
yi
n
n
n
xi
n
xi
i 1 n
0,
x
2 i
( xi x)( yi y)
bˆ i1 n
,
(xi x)2
i 1
i 1
i 1
aˆ y bˆx,
其中
n
n
记 lxx ( xi x)2 , l yy ( yi y)2 ,
i 1
i 1
n
lxy ( xi x)( yi y), i 1
bˆ lxy ,
l xx
aˆ
1 n
n i 1
yi
(1 n
n i 1
xi )bˆ.
参 数
1. (aˆ, bˆ)是(a, b)的最佳无偏估计量
估 计 量
多元线性回归分析
析
4.1 一元线性回归分析
问题的分析
设随机变量Y (因变量)和普通变量x(自变量)之
间存在着相关关系.
Y
F ( y x)表示当x取
确定的值x时, 所对应 的Y的分布函数.
C1
(x2 )
C2
考察Y的数学期望E(Y ).x1
x2
x
E(Y ) Y x ( x) Y关于x的回归函数
问题的一般提法
第4章 回归分析
4.1 一元线性回归分析 4.2 多元线性回归分析
回归分析的基本思想
变量之间的关系
确定性关系 相关关系
S πr 2
确定性关系
身高和体重 相关关系
相关关系的特征是:变量之间的关系很难用一 种精确的方法表示出来.
变量之间的关系
确定性关系— —函数关系 统 计 相 关 关 系
▪ 1.函数关系：变量之间依一定的函数形成的 一一对应关系，若两个变量分别记做Y与X， 则当Y与X之间存在函数关系时，X值一旦被 指定，Y值就是唯一确定的。如圆的面积与其 半径之间的关系.
Y a bx , ～N (0, 2 ). a,b, 2是不依赖于x的未知参数.
一元线性回归模型
x的线性函数 随机误差
3.未知参数a,b的估计-----最小二乘法
Y a bx , ～N (0, 2 ).
对于样本 ( x1,Y1 ), ( x2 ,Y2 ), ,( xn ,Yn )
Yi a bxi i , i～N (0, 2 ), 各 i 相互独立.
得率Y(%) 45 51 54 61 66 70 74 78 85 89 用MATLAB画出散点图
x=100:10:190;y=[45,51,54,61,66,70,74,78,85,89]; plot(x,y,'.r')
观察散点图, ( x)具有线性函数a bx的形式.
2.建立回归模型
( x) a bx 一元线性回归问题 假设对于x的每一个值有Y～N (a bx, 2 ),a, b, 2都是不依赖于x的未知参数. 记 Y (a bx),那么
确定性关系和相关关系的联系:
由于存在测量误差等原因,确定性关系在实际 问题中往往通过相关关系表示出来;另一方面,当对 事物内部规律了解得更加深刻时,相关关系也有可 能转化为确定性关系.
回归分析——处理变量之间的相关关系的一 种数学方法,它是最常用的数理统计方法.
回
一元线性回归分析
归 分
线 性回归分析 非线性回归分析
利用样本来估计 Y 关于 x 的回归函数 ( x).
求解步骤
1.推测回归函数的形式 方法一 根据专业知识或者经验公式确定; 方法二 作散点图观察.
例1 为研究某一化学反应过程中,温度 x(oC )对产 品得率Y ( % )的影响, 测得数据如下 .
温度x(oC) 100 110 120 130 140 150 160 170 180 190
函数为
L(
1 2π
)
n
exp
1
2 2
n
( yi
i 1
a
bxi
)
2
L取最大值等价于
n
意义：实际测得的
取最小值.
Q(a,b)
( yi
a bxi )2
点与直线上的理论 点之间Biblioteka Baidu误差的平
i 1
方和最小．
Q
a
Q
b
n
2 ( yi
i 1 n
2 ( yi
i 1
a bxi ) a bxi )xi
于是 Yi～N (a bxi , 2 ), i 1, 2,,n.
根据Y1 ,Y2 ,,Yn的独立性可得到联合密度函数为
L
n
i1
1 2π
exp
1
2
2
(
yi
a
bxi
)
2
(
1 2π
)n
exp
1
2
2
n
( yi
i 1
a
bxi
)
2
.
用最大似然估计估计未知参数 a , b.
对于任意一组观察值 y1, y2,, yn , 样本的似然
2.
aˆ
~
N (a,
1 n
x2 l xx
2)
的 性 质
▪ 2.统计相关关系：变量之间存在某种关系， 但变量Y并不是由变量X唯一确定的，它们 之间没有严格的一一对应关系。两个变量 间的这种关系就是统计关系，亦称相关关 系。例如:小麦的产量Y与施肥量x1,品种x2 等存在关系,但给定x1,x2的数值后Y的值还 是无法确定的.
两个变量之间若存在线性关系称为线性 相关,存在非线性关系称为曲线相关，通常 通过适当的变量变换，曲线相关可转换为 线性相关。