统计学第九章 相关与回归分析

第九章相关与回归分析Ⅰ. 学习目的和要求本章所要学习的相关与回归分析是经济统计分析中最常重要的统计方法之一。

具体要求：1.掌握有关相关与回归分析的基本概念；2.掌握单相关系数的计算与检验的方法，理解标准的一元线性回归模型，能够对模型进行估计和检验并利用模型进行预测；3.理解标准的多元线性回归模型，掌握估计、检验的基本方法和预测的基本公式，理解复相关系数和偏相关系数及其与单相关系数的区别；4.了解常用的非线性函数的特点，掌握常用的非线性函数线性变换与估计方法，理解相关指数的意义；5.能够应用Excel软件进行相关与回归分析。

Ⅱ. 课程内容要点第一节相关与回归分析的基本概念一、函数关系与相关关系当一个或几个变量取一定的值时，另一个变量有确定值与之相对应，这种关系称为确定性的函数关系。

当一个或几个相互联系的变量取一定数值时，与之相对应的另一变量的值虽然不确定，但仍按某种规律在一定的范围内变化。

这种关系，称为具有不确定性的相关关系。

变量之间的函数关系和相关关系，在一定条件下是可以互相转化的。

116117二、相关关系的种类按相关的程度可分为完全相关、不完全相关和不相关。

按相关的方向可分为正相关和负相关。

按相关的形式可分为线性相关和非线性相关。

按所研究的变量多少可分为单相关、复相关和偏相关。

三、相关分析与回归分析相关分析是用一个指标来表明现象间相互依存关系的密切程度。

回归分析是根据相关关系的具体形态，选择一个合适的数学模型，来近似地表达变量间的平均变化关系。

通过相关与回归分析虽然可以从数量上反映现象之间的联系形式及其密切程度，但是无法准确地判断现象内在联系的有无，也无法单独以此来确定何种现象为因，何种现象为果。

只有以实质性科学理论为指导，并结合实际经验进行分析研究，才能正确判断事物的内在联系和因果关系。

四、相关图相关图又称散点图。

它是以直角坐标系的横轴代表变量X ，纵轴代表变量Y,将两个变量间相对应的变量值用坐标点的形式描绘出来，用来反映两变量之间相关关系的图形。

第二节 简单线性相关与回归分析一、相关系数及其检验 （一）相关系数的定义 总体相关系数的定义式是：γ ＝)()(),(Y Var X Var Y X Cov样本相关系数的定义公式是：∑∑--∑--=22)()())((Y Y X X Y Y X X r t t t t样本相关系数是总体相关系数的一致估计量。

（二）相关系数的特点1.ｒ的取值介于－１与１之间。

1182.当ｒ＝０时，Ｘ与Ｙ的样本观测值之间没有线性关系。

3.在大多数情况下，０＜｜ｒ｜＜１，即Ｘ与Ｙ的样本观测值之间存在着一定的线性关系，当ｒ＞０时，Ｘ与Ｙ为正相关，当ｒ＜０时，Ｘ与Ｙ为负相关。

4.如果｜ｒ｜＝１，则表明Ｘ与Ｙ完全线性相关，当ｒ＝１时，称为完全正相关，而ｒ＝－１时，称为完全负相关。

5.ｒ是对变量之间线性相关关系的度量。

ｒ＝０只是表明两个变量之间不存在线性关系，它并不意味着Ｘ与Ｙ之间不存在其他类型的关系。

（三）相关系数的计算公式：∑∑-∑∑-∑∑∑-=))(())((2222t t t t tt t t Y Y n X X n Y X Y X n r（四）相关系数的检验对总体相关系数是否等于０进行检验： 首先，计算相关系数ｒ的ｔ值：ｔ＝212r n r --其次，根据给定的显著性水平和自由度（ｎ－２），查找ｔ分布表中相应的临界值ｔα/2。

若｜ｔ｜≥ｔα/2，表明ｒ在统计上是显著的。

若｜ｔ｜≤ｔα/2，表明ｒ在统计上是不显著的。

二、标准的一元线性回归模型 (一)总体回归函数Ｙt ＝β1＋β2Ｘt ＋u t式中的β1和β2是未知的参数，又叫回归系数。

Ｙt 和Ｘt 分别是Ｙ和Ｘ的第ｔ个观测值。

u t 是随机误差项。

（二）样本回归函数tte X Y ++=21ˆˆββ （ｔ＝１，２，...ｎ） (7.9)式中ｅt 称为残差，在概念上，ｅt 与总体误差项u t 相互对应；ｎ是样本的容量。

样本回归函数与总体回归函数之间的区别。

1.总体回归线是未知的，它只有一条。

而样本回归线则是根据样本数据拟合的，每抽取一组样本，便可以拟合一条样本回归线。

2.总体回归函数中的β1和β2是未知的参数，表现为常数。

而样本回归函数中的1ˆβ和2ˆβ是随机变量。

3.总体回归函数中的u t119是Ｙt 与未知的总体回归线之间的纵向距离，它是不可直接观测的。

而样本回归函数中的ｅt 是Ｙt 与样本回归线之间的纵向距离，当根据样本观测值拟合出样本回归线之后，可以计算出ｅt 的具体数值。

(三)误差项的标准假定假定１：误差项的期望值为０，即Ｅ（u t ）＝０；假定２：误差项的方差为常数，即Var(u t )＝Ｅ（2t u ）＝2σ 假定３：误差项之间不存在序列相关关系，其协方差为零，即当ｔ≠ｓ时有：Cov(u t u s )＝Ｅ（u t u s ）＝０假定４：自变量是给定的变量，与随机误差项线性无关。

假定５：随机误差项服从正态分布。

满足以上标准假定的一元线性模型，称为标准的一元线性回归模型。

三、一元线性回归模型的估计 （一）回归系数的点估计最小二乘法是通过使残差平方和为最小来估计回归系数的一种方法。

利用最小二乘法可得正规方程组：∑=∑+ttY X n 21ˆˆββ∑=∑+∑tt t t Y X X X 221ˆˆββ 求解这一方程组可得：∑∑-∑∑∑-=222)(ˆt t t t t t X X n Y X Y X n β ∑∑-=-=X Y n X n Y t t 221ˆˆˆβββ （二）总体方差的估计σ2的无偏估计S 2＝22-∑n e t式中，分子是残差平方和；分母是自由度，其中ｎ是样本观测值的个数，２是一元线性回归方程中回归系数的个数。

Ｓ2的正平方根又叫做回归估计的标准误差。

一般采用以下公式计算残差平方和：∑∑∑∑--=t t t t tY X Y Y e2122ˆˆββ（三）最小二乘估计量的性质120高斯. 马尔可夫定理：回归系数的最小二乘估计量是最优线性无偏估计量和一致估计量。

这一定理表明，在标准的假定条件下，最小二乘估计量是一种最佳的估计方式。

但是这并不意味着根据这一方式计算的每一个具体的估计值都比根据其他方式计算的具体估计值更接近真值，而只是表明如果反复多次进行估计值计算或是扩大样本的容量进行估计值计算，按最佳估计方式计算的估计值接近真值的可能性（概率）最大。

(四)回归系数的区间估计 回归系数区间估计的公式：jβˆ±ｔα／2(n-2)×j S βˆ （j =1,2）式中，j S βˆ是回归系数jβˆ估计的样本标准误差，ｔα／2(n-2)是显著水平为α，自由度为(n-2)的ｔ分布双侧临界值。

1ˆβS ＝S∑-+2)(1X XXnt2ˆβS ＝∑-2)(X X St三、一元线性回归模型的检验 （一） 回归模型检验的种类理论意义检验主要涉及参数估计值的符号和取值区间，如果它们与实质性科学的理论以及人们的实践经验不相符，就说明模型不能很好地解释现实的现象。

一级检验是对所有现象进行回归分析时都必须通过的检验。

二级检验又称经济计量学检验，它是对标准线性回归模型的假定条件能否得到满足进行检验。

（二）拟合程度的评价拟合程度是指样本观测值聚集在样本回归方程周围的紧密程度。

判断回归模型拟合程度优劣最常用的数量尺度是样本决定系数。

ｒ2＝SST SSR =1-SSTSSE决定系数ｒ2具有如下特性：1．ｒ2具有非负性。

1212．决定系数的取值范围为０≤ｒ2≤１。

3．决定系数是样本观测值的函数，它也是一个统计量。

4．在一元线性回归模型中，决定系数是单相关系数的平方。

（三）显著性检验回归系数的显著性检验，就是根据样本估计的结果对总体回归系数的有关假设进行检验。

回归系数显著性检验的基本步骤： 1.t 检验（1）提出假设。

Ｈo ：β2＝*2β， Ｈ1：β2≠*2β在许多回归分析的计算机程序里，常常令*2β＝0。

这是因为β2 是否为０，可以表明Ｘ对Ｙ是否有显著的影响。

（2）确定显著水平α。

显著水平的大小应根据犯哪一类错误可能带来损失的大小确定。

（3）计算回归系数的ｔ值。

2ˆβt ＝2ˆ*22ˆβββS -（4）确定临界值。

ｔ检验的临界值是由显著水平和自由度ｄｆ决定的。

这时应该注意，原假设和备择假设设定的方式不同，据以判断的接受域和拒绝域也不相同。

（5）做出判断。

如果2ˆβt 的绝对值大于临界值的绝对值，就拒绝原假设，接受备择假设；反之，如果2ˆβt 的绝对值小于临界值的绝对值，表明没有充分理由拒绝原假设。

2.p 检验前三步与t 检验相同，但t 值计算出来之后，并不与t 分布的临界值进行对比，而是直接计算自由度为n-2的t 统计量大于或小于根据样本观测值计算的2ˆβt 的概率即p 值。

然后将其与给定的显著水平对比，如果p 小于α，则拒绝原假设，反之则接受原假设。

利用Excel 进行回归分析时，计算机将直接给出回归系数估计的p 值。

四 、一元线性回归模型预测 （一）回归预测的基本公式fY ˆ ＝1ˆβ＋2ˆβＸf122式中，Ｘf 是给定的Ｘ的具体数值；f Y ˆ是Ｘf 给定时Ｙ的预测值；1ˆβ和2ˆβ是已估计出的样本回归系数。

回归预测是一种有条件的预测，在进行回归预测时，必须先给出Ｘf 的具体数值。

当给出的Ｘf 属于样本内的数值时，利用该式去计算fYˆ称为内插检验或事后预测。

而当给出的Ｘf 在样本之外时，利用该式去计算fY ˆ称为外推预测或事前预测。

（二）预测误差在实际的回归模型预测中，发生预测误差的原因可以概括为以下四个： 1.模型本身中的误差因素所造成的误差；2.由于回归系数的估计值同其真值不一致所造成的误差；3.由于自变量Ｘ的设定值同其实际值的偏离所造成的误差。

4.由于未来时期总体回归系数发生变化所造成的误差。

Ｅ（ｅf ）＝０Ｖar （ｅf ）＝σ2⎪⎪⎭⎫ ⎝⎛∑--+22)()(11X X X X n t f ＋ （三）区间预测Ｙf 的（１－α）的置信区间为：Ｙf ±ｔα／2(n-2)×Ｓｅf式中，S ｅf ＝Ｓ∑--++2211)()(X XX X tf n,ｔα／2(n-2)是置信度为（１－α）、自由度为（ｎ－２）的ｔ分布的临界值。

第三节 多元线性相关与回归分析一、标准的多元线性回归模型研究在线性相关条件下，两个和两个以上自变量对一个因变量的数量变化关系，称为多元线性回归分析.多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型相类似。

多元线性回归模型总体回归函数的一般形式：t kt k t t u X X Y ++⋯++=βββ221多元线性回归模型的样本回归函数：123tkt k t t e X X Y ++⋯++=βββˆˆˆ221 ; (t ＝1,2,…,n) 式中，e t 是Y t 与其估计tYˆ之间的离差，即残差。