第六章回归分析资料

xi yi x2i (
xi yi xi )2
xi yi nxy
x
2 i
nx 2
(xi x)(yi y) (xi x)2
aˆ yi bˆ xi
n
n
几个规律
如果令Lxx
(xi x)2
xi2
1 n
(
xi )2
xi2 nx 2
则相应有Lyy
( yi y)2
• 三个问题： ➢什么形式的回归方程？ ➢最佳的回归方程？ ➢特定方程的性质？
回归模型的种类
• 根据自变量的多少，分为一元回归模型和多元回 归模型
• 根据回归模型的形式线性与否，分为线性和非线 性回归模型
• 根据回归模型是否带有虚拟变量，分为普通回归 和带虚拟变量的回归模型。
• 根据回归模型是否用滞后的因变量作自变量，分 为无自回归现象的回归模型和自回归模型。
因变量y就是我们的预测目标，由于受各种随机因素的影响，它是一个以回归直线
上的对应值为中心的正态随机变量，即y ~ N (a bx, 2 )
常数a,b是待定参数，给定x, y的n对观测值xi , yi ,i 1,2,...,n，代入上式中得
yi a bxi i 也是一个一元线性回归模型。其中 i为的n个观测值。
• 回归分析是研究某一个随机变量（因变量）与另 一个或几个普通变量（自变量）之间的数量变动 的关系。回归模型通常是不可逆的。
回归分析与相关关系的区别与联系
• 区别：相关分析研究的变量都是随机变量，并且 不分自变量和因变量，它们处于对称的地位；回 归分析研究的变量要首先明确哪些是自变量，哪 些是因变量？并且自变量是确定的普通变量，因 变量是随机变量。因此，获得的回归方程是不可 逆转的。
（2）原数列的观测 值与模型估计值的 离差总和为0
( yi yˆi )2 min ( yi yˆi ) 0
式中，yi为原数列的观测值； yˆi为模型的估计值
OLS估计（ordinary least square)
根据最小二乘法的要求，记Q ( yi yˆi )2 ( yi a bxi )2
6.2 一元线性回归模型
设x为自变量，y为因变量，y与x之间存在某种线性关系，即一元线性回归模型为：
y a bx
式中，x代表影响因素，往往认为它是可以控制的或预先给定的，故称之为自变量；
表示各随机因素对y的影响的总和，根据中心极限定理，可以认为它服从正态分 布，即 ~ N (0, 2 );
(a)直线关系 (b)反直线关系 (c)正曲线关系
(d)反曲线关系 (e)较分散的 (f )没有关系 反直线关系
x与y的一些可能关系的散点图
回归分析与相关关系
• 都是研究和测度两个或两个以上变量之间关系的 方法。
• 相关分析研究的是两个或两个以上随机变量之间 线性依存关系的紧密程度。常用相关系数，复相 关系数表示。
一元线性回归模型
令
yˆi a bxi 为由一组观测值（xi , yi )得到的回归方程，则上式中，
yˆi为yi的估计值。对于每个自变量xi，都可以得到一个估计值yˆi a bxi；
a和b为回归系数，其中a是直线yˆi在y轴上的截距，它是xi 0时yˆi的估计值；
b是直线yˆi的斜率，表明自变量增加（或减少）一个单位，因变量yˆi相应增加
（或减少）多少。可以证明，当b 0时，x与y正相关，b 0时，x与y负相关。
OLS估计（ordinary least square)
• 估计模型的回归系数的方法：最小二乘法
• 中心思想：通过数学模型，配合一条理想的趋势 线。这条趋势线必须满足以下要求：
（1）原数列的观测 值与模型估计值 的离差平方和为 最小
某钢铁厂十个炉次钢液含碳量和精炼时间
相关关系的特点
• 客观事物之间在数量上确实存在一定的内在联系。 表现在一个变量发生数量上的变化，要影响另一 个变量也相应地发生数量上的变化
• 客观事物之间的数量依存关系不是确定的，具有 一定的随机性。表现在给定自变量一个数值，因 变量会有若干个数值和它对应，并且，因变量总 是遵循一定规律围绕这些数值的平均数上下波动。 其原因是影响因变量发生变化的因素不止一个。
由极值原理，Q取极小值的必要条件是Q对a, b的两个一阶偏导数
为零，有Q 2 a
( yi a bxi ) 0
Q
2 b
( yi a bxi )xi 0
整理得，na b xi yi
a
xi b
x
2 i
xi yi
对上式联立求解，得到回归系数的估计值为
bˆ n n
• 相关关系：反映客观事物之间的非严格、不确定的线性依存 关系。其特点是：对应于一个变量的某个取值，另一个变量 以一定的概率分布取值。例如身高和体重的关系。
• 相关关系的定义：设有二维随机变量X和Y，若对应于其中 任一随机变量的每一（可能的）取值都有另一个随机变量的 一个确定的（条件）分布，则称X与Y存在有相关关系。
yi2
1 n
(
yi )2
yi2 ny 2
Lxy
(xi x)(yi y)
xi
yi
1 n
xi
yi
xi yi nxy
所以有
bˆ Lxy Lxx
aˆ yi bˆ xi
n
n
求回归方程式的系数往往是通过列表进行的。 这里，我们以下表资料为倒，通过求某钢铁厂炼 钢精炼时间对含碳量的回归方程，说明回归方程 的确定。
第六章 回归分析
什么是回归
➢是研究自变量和因变量之间的 关系形式的分析方法
来自百度文库➢其目的是根据已知自变量来估 计和预测因变量的总平均值
6.1 回归分析和相关分析
相关关系的概念
• 函数关系：反映客观事物之间存在着严格的依存关系。这种 关系中，对于某一变量的每一个数值，都有另一个变量的确 定的值与之对应，并且这种关系可以用一个数学表达式反映 出来。例如：欧姆定律：I=U/R
• 联系：是研究客观事物之间相互依存关系的两个 不可分割的方面。一般先进行相关分析，由相关 系数的大小决定是否需要进行回归分析。在相关 分析的基础上建立回归模型，以便进行推算和预 测。
回归分析概述
• Y对X的回归方程反映了X固定在x值条件下Y的平 均值，即Y对X的回归就是Y对X的条件期望函数。 该求解过程可称为曲线拟合。