数理统计回归分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ˆx ˆa ˆ b y
称为 y 关于的（经验） 回归方程，其图形称为回归 直线 . 若随机变量 y 与多个普通变量 x1 , x2 ,, x（ p p＞1） 有关，则可建立数学模型：
y b0 b1 x1 b p x p
（ 3）
其中未知数 b0 , b1 ,, b p 是不依赖于 x1 , x2 ,, x p b0是常数，b1 ,, b p 称为回归系数， 的未知参数， 为误差项，称（3）式为多元线性（理论）回归 模型
若进行 n 次独立测量，得到样本：
( x11 , x12 ,, x1 p , y1 ) ，… ， ( xn1 , xn 2 ,, xnp , y n )
它们都满足（3）式，即就每个数据 ( xi1 , xi 2 ,, xip , yi ) 有：
yi b0 b1 xi1 b p xip i
( x1 , y1 ), ( x2 , y 2 ), , ( xn , y n )
要使误差
i yi (a bxi )
的平方和
Q(a, b) 2 i [ yi (a bxi )]
i 1 i 1
n
n
2
ˆ 做为未知数 a ， b 的估计，称其 ˆ与b 达到最小的 a 为最小二乘估计．在数学上这就归结为求二元函数 Q(a, b) 的最小值问题．具体做法如下：
数理统计篇
第四章 回归分析
引言
变量之间的关系分成两大类 1）确定性的关系--一些变量的值确定后另一些变量的值 也随之确定 2）相关关系 --变量之间虽然存在一定的依赖关系，但 这种关系没有达到能由其中一个或多个来准确地决定 另一个的程度
回归分析是研究相关关系的一种有力工具．
回归分析的解决问题
1）从一组观察数据出发，确定这些变量之间的回归方程； 2）对回归方程进行假设检验； 3）利用回归方程进行预测和控制． 我们主要讨论线性回归方程。许多实际问题可以取 这种模型做为真实模型的近似．
§4.1 回归分析概述
• 在不确定性关系中作为影响因素的变量称为自变量 或解释变量, 记为X;
• 受X取值影响的响应变量称为因变量,用Y表示; • 令E(Y|X=x)=f(x), 由随机因素引起的偏差是ε=Y-f(x) X与Y的不确定性关系表示为 Y=E(Y|X=x)+ ε =f(x）+ ε 满足E ε=0, Dε=DY=σ2
X
1 1 1
x11 x 21 x n1
x12 x 22 xn 2
x1 p x2 p x np
b0 1 y1 b y 1 2 2 B Y b p p yn 则多元线性回归模型（5）与Gauss-Markov假设 一起可以记为
Y XB E ( ) 0 Cov( ) 2 I
(6)
这里 X 为 n ( p 1) 的设计矩阵. Y 为 n 1的观测向 n 1 随机误差向量 量. B 为 p 1 的未知数参数向量， I 是 n 阶单位矩阵。当误差 Cov( ) 为其协方差阵， 服从正态分布 ~ N (0 , 2 I ) .
这些假设被称为Gauss-Markov假设，这里第一条假 设误差 i 是等方差的.第二条则要求不同次的观测 误差是不相关的.
b 是待估计参数，估计他们的 （1）式中未知数 a 、 ˆ 是用最小二乘 ˆ 与b 最基本方法是最小二乘法，设 a 法获得的估计，即所谓的最小二乘估计，将它们代 入一元线性回归模型并略去误差项 ，即对给定的 x ，得到方程：
（ 7）
同理，（7）式是否真正描述了 y 与 x1 , x2 ,, x p 的客观存在的关系还需进一步检验
第二节
参数估计
一、一元线性回归的参数估计 最小二乘估计是数理统计中估计未知参数的一种重 要方法，现用它来求一元线性回归模型:
y a bx
b 的估计值. 中未知数 a ，
最小二乘法的基本思想是：对一组观察值
i 1, 2 , , n
（ 5）
其中 i为对应于第 i 组数据的随机误差
假设 E ( i ) 0，并且满足Gauss-Markov假设：
（1） Var ( i ) 2 , i 1, 2 ,, n ； （2） Cov( i , j ) 0 , i j 引进矩阵记号表达多元线性回归模型（5）会很方 便，记
b 求偏导数，令他们等于零， 将 Q(a, b) 分别对 a ， 得到方程组：
n Q 2 ( y i a bxi ) 0 a i 1 Q n 2 ( y i a bxi ) xi 0 i 1 b
• 通常假定 ε~N(0, σ2);
根据回归函数的不同形式, 可分为
一元线性回归 线性回归 多元线性回归 非线性回归一元非线性回归 多元非线性回归
数据 ( xi , y i ) 满足
ຫໍສະໝຸດ Baidu
yi a bxi i , i 1, 2 ,, n
其中误差 i 表示 y i 中不能由 a bxi 来表示的部分 我们自然假设其均值为零，即 E ( i ) 0 通常还假设 它满足 ： （1） Var ( i ) 2 , i 1, 2 ,, n ； （2） Cov( i , j ) 0 , i j
有了观测数据 ( xi1 , xi 2 ,, xip , yi ) 后，同样可以用最小 二乘法获得参数 b0 , b1 ,, b p 的最小二乘估计，记为 ˆ ,b ˆ ,, b ˆ ，得多元线性回归方程： b 0 1 p
ˆ b ˆ x b ˆ x ˆ b y 0 1 1 p p
称为 y 关于的（经验） 回归方程，其图形称为回归 直线 . 若随机变量 y 与多个普通变量 x1 , x2 ,, x（ p p＞1） 有关，则可建立数学模型：
y b0 b1 x1 b p x p
（ 3）
其中未知数 b0 , b1 ,, b p 是不依赖于 x1 , x2 ,, x p b0是常数，b1 ,, b p 称为回归系数， 的未知参数， 为误差项，称（3）式为多元线性（理论）回归 模型
若进行 n 次独立测量，得到样本：
( x11 , x12 ,, x1 p , y1 ) ，… ， ( xn1 , xn 2 ,, xnp , y n )
它们都满足（3）式，即就每个数据 ( xi1 , xi 2 ,, xip , yi ) 有：
yi b0 b1 xi1 b p xip i
( x1 , y1 ), ( x2 , y 2 ), , ( xn , y n )
要使误差
i yi (a bxi )
的平方和
Q(a, b) 2 i [ yi (a bxi )]
i 1 i 1
n
n
2
ˆ 做为未知数 a ， b 的估计，称其 ˆ与b 达到最小的 a 为最小二乘估计．在数学上这就归结为求二元函数 Q(a, b) 的最小值问题．具体做法如下：
数理统计篇
第四章 回归分析
引言
变量之间的关系分成两大类 1）确定性的关系--一些变量的值确定后另一些变量的值 也随之确定 2）相关关系 --变量之间虽然存在一定的依赖关系，但 这种关系没有达到能由其中一个或多个来准确地决定 另一个的程度
回归分析是研究相关关系的一种有力工具．
回归分析的解决问题
1）从一组观察数据出发，确定这些变量之间的回归方程； 2）对回归方程进行假设检验； 3）利用回归方程进行预测和控制． 我们主要讨论线性回归方程。许多实际问题可以取 这种模型做为真实模型的近似．
§4.1 回归分析概述
• 在不确定性关系中作为影响因素的变量称为自变量 或解释变量, 记为X;
• 受X取值影响的响应变量称为因变量,用Y表示; • 令E(Y|X=x)=f(x), 由随机因素引起的偏差是ε=Y-f(x) X与Y的不确定性关系表示为 Y=E(Y|X=x)+ ε =f(x）+ ε 满足E ε=0, Dε=DY=σ2
X
1 1 1
x11 x 21 x n1
x12 x 22 xn 2
x1 p x2 p x np
b0 1 y1 b y 1 2 2 B Y b p p yn 则多元线性回归模型（5）与Gauss-Markov假设 一起可以记为
Y XB E ( ) 0 Cov( ) 2 I
(6)
这里 X 为 n ( p 1) 的设计矩阵. Y 为 n 1的观测向 n 1 随机误差向量 量. B 为 p 1 的未知数参数向量， I 是 n 阶单位矩阵。当误差 Cov( ) 为其协方差阵， 服从正态分布 ~ N (0 , 2 I ) .
这些假设被称为Gauss-Markov假设，这里第一条假 设误差 i 是等方差的.第二条则要求不同次的观测 误差是不相关的.
b 是待估计参数，估计他们的 （1）式中未知数 a 、 ˆ 是用最小二乘 ˆ 与b 最基本方法是最小二乘法，设 a 法获得的估计，即所谓的最小二乘估计，将它们代 入一元线性回归模型并略去误差项 ，即对给定的 x ，得到方程：
（ 7）
同理，（7）式是否真正描述了 y 与 x1 , x2 ,, x p 的客观存在的关系还需进一步检验
第二节
参数估计
一、一元线性回归的参数估计 最小二乘估计是数理统计中估计未知参数的一种重 要方法，现用它来求一元线性回归模型:
y a bx
b 的估计值. 中未知数 a ，
最小二乘法的基本思想是：对一组观察值
i 1, 2 , , n
（ 5）
其中 i为对应于第 i 组数据的随机误差
假设 E ( i ) 0，并且满足Gauss-Markov假设：
（1） Var ( i ) 2 , i 1, 2 ,, n ； （2） Cov( i , j ) 0 , i j 引进矩阵记号表达多元线性回归模型（5）会很方 便，记
b 求偏导数，令他们等于零， 将 Q(a, b) 分别对 a ， 得到方程组：
n Q 2 ( y i a bxi ) 0 a i 1 Q n 2 ( y i a bxi ) xi 0 i 1 b
• 通常假定 ε~N(0, σ2);
根据回归函数的不同形式, 可分为
一元线性回归 线性回归 多元线性回归 非线性回归一元非线性回归 多元非线性回归
数据 ( xi , y i ) 满足
ຫໍສະໝຸດ Baidu
yi a bxi i , i 1, 2 ,, n
其中误差 i 表示 y i 中不能由 a bxi 来表示的部分 我们自然假设其均值为零，即 E ( i ) 0 通常还假设 它满足 ： （1） Var ( i ) 2 , i 1, 2 ,, n ； （2） Cov( i , j ) 0 , i j
有了观测数据 ( xi1 , xi 2 ,, xip , yi ) 后，同样可以用最小 二乘法获得参数 b0 , b1 ,, b p 的最小二乘估计，记为 ˆ ,b ˆ ,, b ˆ ，得多元线性回归方程： b 0 1 p
ˆ b ˆ x b ˆ x ˆ b y 0 1 1 p p