数理统计回归分析

i yi (a bxi )
的平方和
n
n
2
Q(a,b) 2i [ yi (a bxi )]
i 1
i 1
达到最小的 aˆ 与 bˆ 做为未知数 a ，b 的估计，称其
为最小二乘估计．在数学上这就归结为求二元函数 Q(a,b) 的最小值问题．具体做法如下：
将 Q(a,b) 分别对 a ，b 求偏导数，令他们等于零，
得到方程组：




Q 2 n
a
i 1
Q 2 n (
b
i 1
( yi a bxi yi a bxi )
)0 xi 0
即


n
n
na b xi yi
i 1
称为 y 关于的（经验） 回归方程，其图形称为回归 直线 .
若随机变量 y 与多个普通变量 x1, x2, , x（p p＞1） 有关，则可建立数学模型：
y b0 b1x1 bp x p
（3）
其中未知数 b0 ,b1,,bp 是不依赖于 x1, x2 ,, x p 的未知参数，b0是常数，b1,,bp 称为回归系数，
有了观测数据 (xi1, xi2 ,, xip , yi ) 后，同样可以用最小 二乘法获得参数 b0 ,b1,,bp的最小二乘估计，记为 bˆ0 ,bˆ1,,bˆp ，得多元线性回归方程：
yˆ bˆ0 bˆ1x1 bˆp x p （7） 同理，（7）式是否真正描述了 y 与 x1, x2 ,, x p 的客观存在的关系还需进一步检验
i 1
n
n
n
a
i1
xi
b
i 1
x2i

i 1
xi yi
称为正规方程组，记
x

1 n
n i 1
xi
1 n
y n i1 yi
（9）
xi
由于 xi不完全相同，正规方程组的系数行列式
n
n
xi
i 1
n
xi
i 1
n x2i
2）对回归方程进行假设检验； 3）利用回归方程进行预测和控制．
我们主要讨论线性回归方程。许多实际问题可以取 这种模型做为真实模型的近似．
§4.1 回归分析概述
• 在不确定性关系中作为影响因素的变量称为自变量 或解释变量, 记为X;
• 受X取值影响的响应变量称为因变量,用Y表示;
• 令E(Y|X=x)=f(x), 由随机因素引起的偏差是ε=Y-f(x) X与Y的不确定性关系表示为 Y=E(Y|X=x)+ ε =f(x）+ ε
一起可以记为
Y XB E( ) 0 Cov( ) 2I (6)
这里 X 为 n ( p 1) 的设计矩阵. Y 为 n 1的观测向 量. B 为 p 1 的未知数参数向量，n 1 随机误差向量 Cov( ) 为其协方差阵，I 是 n 阶单位矩阵。当误差
服从正态分布 ~ N(0, 2 I ) .
其中误差 i 表示 yi 中不能由 a bxi 来表示的部分 我们自然假设其均值为零，即 E(i ) 0 通常还假设
它满足 ：
（1） Var( i ) 2 , i 1, 2,, n ； （2） Cov( i , j ) 0, i j
这些假设被称为Gauss-Markov假设，这里第一条假
满足E ε=0, Dε=DY=σ2
• 通常假定 ε~N(0, σ2);
根据回归函数的不同形式, 可分为
非线 线性 性回 回归 归多 多 一 一元 元 元 元非 线 非 线线 性 线 性性 回 性 回回 归 回 归归 归
数据( xi , yi ) 满足
yi a bxi i , i 1, 2,, n
引言
变量之间的关系分成两大类
1）确定性的关系--一些变量的值确定后另一些变量的值 也随之确定
2）相关关系 --变量之间虽然存在一定的依赖关系，但 这种关系没有达到能由其中一个或多个来准确地决定 另一个的程度
回归分析是研究相关关系的一种有力工具．
回归分析的解决问题
1）从一组观察数据出发，确定这些变量之间的回归方程；
1
X


1

1
x11 x12 x1p
x21
x22

x2
p

wk.baidu.com


xn1 xn2
xnp

y1
Y


y
2



y
n

b0
B


b1


b
p

1


2



p

则多元线性回归模型（5）与Gauss-Markov假设
设误差 i 是等方差的.第二条则要求不同次的观测
误差是不相关的.
（1）式中未知数 a 、b 是待估计参数，估计他们的 最基本方法是最小二乘法，设 aˆ 与 bˆ 是用最小二乘
法获得的估计，即所谓的最小二乘估计，将它们代
入一元线性回归模型并略去误差项 ，即对给定的
x ，得到方程：
yˆ aˆ bˆx
i 1, 2,, n （5）
其中 i为对应于第 i 组数据的随机误差
假设 E(i ) 0，并且满足Gauss-Markov假设： （1） Var( i ) 2 , i 1, 2,, n ；
（2） Cov( i , j ) 0, i j
引进矩阵记号表达多元线性回归模型（5）会很方 便，记
第二节 参数估计
一、一元线性回归的参数估计 最小二乘估计是数理统计中估计未知参数的一种重 要方法，现用它来求一元线性回归模型:
y a bx
中未知数 a ，b 的估计值.
最小二乘法的基本思想是：对一组观察值
要使误差
(x1, y1), (x2 , y2 ),, (xn , yn )
为误差项，称（3）式为多元线性（理论）回归
模型
若进行 n 次独立测量，得到样本：
(x11, x12 ,, x1p , y1 ) ，… ， (xn1, xn2 ,, xnp , yn )
它们都满足（3）式，即就每个数据 (xi1, xi2 ,, xip , yi ) 有：
yi b0 b1xi1 bp xip i