样本一元线性回归方程
1一元线性回归方程
i =1 n
i =1 n
2
Lxy = ∑( Xi − X ) (Yi −Y )
i=1
ˆ ˆ β0 = Y − β1 X ˆ Lxy β1 = Lxx
二、OLS回归直线的性质 回归直线的性质
ˆ （1）估计的回归直线 Yi ）
（2） ）
ˆ ˆ = β 0 + β 1X i
前三个条件称为G-M条件 条件 前三个条件称为
§1.2 一元线性回归模型的参数估计
普通最小二乘法（ Squares） 普通最小二乘法（Ordinary Least Squares） OLS回归直线的性质 OLS回归直线的性质 OLSE的性质 OLSE的性质
一、普通最小二乘法
对于所研究的问题， 对于所研究的问题，通常真实的回归直线 E(Yi|Xi) = β0 + β1Xi 是观 测不到的。可以通过收集样本来对真实的回归直线做出估计。 测不到的。可以通过收集样本来对真实的回归直线做出估计。
Y
55 80 100 120140 160
X
二、随机误差项εi的假定条件 随机误差项
为了估计总体回归模型中的参数，需对随机误差项作出如下假定： 为了估计总体回归模型中的参数，需对随机误差项作出如下假定： 假定1： 假定 ：零期望假定：E(εi) = 0。 。 假定2： 假定 ：同方差性假定：Var(εi) = σ 2。 假定3： 假定 ：无序列相关假定：Cov(εi, εj) = 0, (i ≠ j )。 。 假定4： 假定 ： εi 服从正态分布，即εi ∼ N (0, σ 2 )。 。
以下设 x 为自变量(普通变量 Y 为因变量(随机变 普通变量) 普通变量 随机变 量) .现给定 x 的 n 个值 x1,…, xn, 观察 Y 得到相应的 n 个 值 y1,…,yn, (xi ,yi) i=1,2,…, n 称为样本点 样本点. 样本点 以 (xi ,yi) 为坐标在平面直角坐标系中描点,所得到 的这张图便称之为散点图 散点图. 散点图
9.4一元线性回归方程检验：拟合优度
一元线性回归模型检验实例
解
X 表示广告费用，Y 表示牙膏销售量。
利用观察数据计算得到广告费用对牙膏销售量的样本回归方程为
计算得到 Yˆi 1.649 1.043Xi
n
R2 SSR SST
(Yˆi
i 1 n
(Yi
Y )2 Y )2
10.33 13.46
0.7673
i 1
2. 反映回归直线的拟合程度 3. 取值范围在 [ 0 , 1 ] 之间
4. R 2 1，说明回归方程拟合的越好；R 20，说明回归方程拟合的
越差
5. 判定系数等于相关系数的平方，即R 2＝r 2
回归估计标准差
均方误差
n
n
(Yi Yˆi )2
ei2
MSE i1
i1
n2
n
Se MSE
(Yi Yˆi )2
i 1
3.13 0.3344
n2
30 2
一元线性回归模型检验实例
解 判定系数的实际意义是：在牙膏销售量的波动中，有76.73%可以
由牙膏销售量与广告费用之间的线性关系来解释，或者说，在牙膏销 售量的波动中，有76.73%是由广告费用所决定的。
i
i
i
Yˆ Y i
Y Y i
Y ....
.
X
X
图 因变量Y 的离差分解
判定系数
Yi Y (Yˆi Y ) (Yi Yˆi ) 两侧分别取平方求和
n
n
(Yi Y )2 ((Yˆi Y ) (Yi Yˆi ))2
i 1i ຫໍສະໝຸດ 1由于nn
(Yˆi Y )(Yi Yˆ) (ˆ0 ˆ1Xi Y )ei
一元线性回归方程
北京市城市居民家庭生活抽样调查表1 14 12 10 8 6 4 2 0 1976 1978 1980 1982 1984 1986 1988
Y: 人 均 收 入
x:年份
北京市城市居民家庭生活抽样调查图表 2 10 8 6 4 2 0 0 2 4 6 8
Y:人均食品支出
10 12 14 16 18
Fα (1,n-2),得否定域为F >Fα (1,n-2);
4.代入样本信息,F落入否定域则否定原假设, 线性关系显著;落入接受域则接受原假设, 线性关系不显著.
相关系数检验法: 相关系数检验法:
1.提出原假设:H0:b=0; lxy 2.选择统计量 R = lxxl yy 3.对给定的显著性水平α,查临界值rα (n-2), 得否定域为R >rα (n-2); 4.代入样本信息,R落入否定域则否定原假设,线性关 系显著;落入接受域则接受原假设,线性关系不显著.
第二节
一元线性回归方程
一 回归直线方程
两个变量之间的线性关系，其回归模型为： 两个变量之间的线性关系，其回归模型为：
yi = a + bxi + εi
ε 称为 y称为因变量，x称为自变量，
随机扰动，a,b称为待估计的回归参 数，下标i表示第i个观测值。
对于回归模型，我们假设：
εi ~ N( 0,σ ),i = 1,2,⋯,n E( εiε j ) = 0,i ≠ j
pt
qt
概率 0.25 0.50 0.25 0.25 0.50 0.25 … 0.25 0.50 0.25
qt = 11 − 4 pt+ εt
其中
这时， 这时，方程的形式为
εt
为随机变量. 为随机变量
一元线性回归方程的建立
第二节一元线性回归方程的建立一元线性回归分析是处理两个变量之间关系的最简单模型，它所研究的对象是两个变量之间的线性相关关系。
通过对这个模型的讨论，我们不仅可以掌握有关一元线性回归的知识，而且可以从中了解回归分析方法的基本思想、方法和应用。
一、问题的提出例2-1-1 为了研究氮含量对铁合金溶液初生奥氏体析出温度的影响，测定了不同氮含量时铁合金溶液初生奥氏体析出温度，得到表2-1-1给出的5组数据。
表2-1-1 氮含量与灰铸铁初生奥氏体析出温度测试数据如果把氮含量作为横坐标，把初生奥氏体析出温度作为纵坐标，将这些数据标在平面直角坐标上，则得图2-1-1，这个图称为散点图。
从图2-1-1可以看出，数据点基本落在一条直线附近。
这告诉我们，变量X与Y的关系大致可看作是线性关系，即它们之间的相互关系可以用线性关系来描述。
但是由于并非所有的数据点完全落在一条直线上，因此X与Y的关系并没有确切到可以唯一地由一个X值确定一个Y值的程度。
其它因素，诸如其它微量元素的含量以及测试误差等都会影响Y 的测试结果。
如果我们要研究X与Y的关系，可以作线性拟合（2-1-1）二、最小二乘法原理如果把用回归方程计算得到的i值(i=1,2,…n)称为回归值，那么实际测量值y i与回归值i之间存在着偏差，我们把这(i=1,2,3,…,n)。
这样，我们就可以用残差平种偏差称为残差，记为e i方和来度量测量值与回归直线的接近或偏差程度。
残差平方和定义为: (2-1-2) 所谓最小二乘法，就是选择a和b使Q(a,b)最小，即用最小二乘法得到的回归直线是在所有直线中与测量值残差平方和Q最小的一条。
由(2-1-2)式可知Q是关于a,b的二次函数，所以它的最小值总是存在的。
下面讨论的a和b的求法。
一元线性回归方程的应用
第四节一元线性回归方程的应用回归方程最主的应用就是用它进行估计或预测。
只要r2≠1，估计误差就不可避免。
因而在应用回归方程时，需要对估计的误差以及与之相联系的一些问题有所了解。
一、回归方程的建立与预测（或估计）对于一组X、Y的数据，我们可以建立回归方程，有了y对X的回归方程，也就找到了X与y之间变化的数量关系，对于任意一个X值都可估计出与之对应的y值。
一）回归方程的建立例下面是20名工作人员的智商和某一次技术考试成绩，根据这个结果求出考试成绩对智商的回归方程。
如果另有一名工作人员智商为120，则估计一下若让他也参加技术考试，将会得多少分？解：经检验两者具有线性关系计算得：X与Y的均值：107 71标准差：13.69 11.63 r=0.86代入公式则回归方程为：NO 智商X成绩Y估计Y'NO智商X成绩Y估计Y'1 89 55 57.86 11 84 53 54.212 97 74 63.7 12 121 82 81.223 126 87 84.87 13 97 58 63.74 87 60 56.4 14 101 60 66.625 119 71 79.76 15 92 67 60.056 101 54 66.62 16 110 80 73.197 130 90 87.79 17 128 85 86.338 115 73 76.84 18 111 73 73.929 108 67 71.73 19 99 71 65.1610 105 70 69.54 20 120 90 80.49二）回归方程的检验1．方差分析法SSR＝1997.48 SST=2705.14 SSE=707.66F=MSR/MSE=(SSR/dfR)/(SSE/dfE)= 1997.48 /(707.66/18)=50.81查表F(1,18)=8.28(0.01) 或 4.41(0.05) 结果显著2．回归系数法SX=13.69 SY=11.63 b=0.73 r=0.86三）用回归方程进行预测若X=120，代入回归方程得＝80.5就是说，这位工作人员虽没参加技术考试，但根据他的智商，估计其技术考试的分数应该为80.5。
一元线性回归
i
x )Yi
l xx
,
3
一元回归方程检验
⑴ F检验法：
当H0为真时，
SSE
SSE
2
2
~ 2 ( n 2),
2
~ (1);
且SSR与SSE相互独立；因此，当H0为真时，
SSR F ~ F (1, n 2), SSE ( n 2)
当F≥F1-α(1,n-2)时应该放弃原假设H0。
Y0的观测值y0的点预测是无偏的。
⑵ 当x＝x0时，用适合不等式P{Y0∈(G,H)}≥ 1-α的统计量G和H所确定的随机区间(G,H) 预测Y0的取值范围称为区间预测，而(G,H)称 为Y0的1-α预测区间。 若Y与样本中的各Y相互独立，则根据 Z＝Y0-(a+bx0)服从正态分布，E(Z)＝0， 2 1 ( x0 x ) 2 D( Z ) (1 ), n l xx SSE 及 2 ~ 2 ( n 2), Z与SSE相互独立，
Q 2 ˆ 是 的无偏估计。 n2
2
2. 总体中未知参数的估计 根据最小二乘法的要求由
Q Q 0, 0, 得 a b
n
2 [ y i (a bx i )] 0, i 1 n 2 [ y i (a bx i )] x i 0, i 1
(2)t检验法：
b ~ N ( ,
2
l xx
),
SSE
2
~ 2 (n 2),
当H0为真时，
l xx t b ~ T (n 2), SSE (n 2)
当|t|≥t1-0.5α(n-2)时应该放弃原假设H0。
根据x与Y的观测值的相关系数 (3)r检验法：
计量经济学讲义——线性回归模型的异方差问题1
Gleiser检验与Park检验存在同样的弱点。
(9.3) (9.4) (9.5)
9.4 异方差的诊断－方法4：怀特(White)检验法
Yi = B1 + B 2 X 2 i + B3 X 3 i + u i
2、做如下辅助回归： (9.6) (9.7)
1、首先用普通最小二乘法估计方程(9.6)，获得残差ei
E(Y|X)=α+β*X Y
＋u ＋u －u －u －u ＋u
0
同方差(homoscedasticity)
X 0
E(Y|X)=α+β*X
异方差(heteroscedasticity)
X
一元线性回归分析－回归的假定条件
假定5 无自相关假定，即两个误差项之间不相关。 Cov（ui,uj） = 0。
ui
9.2 异方差的性质
例9.1 美国创新研究：销售对研究与开发的影响 ^ R&D ＝ 266.2575 + 0.030878*Sales se＝(1002.963) (0.008347) t ＝(0.265471) (3.699508) p ＝(0.7940) R2 ＝ 0.461032 从回归结果可以看出： （1）随着销售额的增加，R&D也逐渐增加，即销售 额每增加一百万美元，研发相应的增加3.1 万美元。 （2）随着销售额的增加，R&D支出围绕样本回归线 的波动也逐渐变大，表现出异方差性。 (0.0019)
从统计学看线性回归（1）——一元线性回归
从统计学看线性回归（1）——⼀元线性回归⽬录1. ⼀元线性回归模型的数学形式2. 回归参数β0 , β1的估计3. 最⼩⼆乘估计的性质 线性性 ⽆偏性 最⼩⽅差性⼀、⼀元线性回归模型的数学形式 ⼀元线性回归是描述两个变量之间相关关系的最简单的回归模型。
⾃变量与因变量间的线性关系的数学结构通常⽤式（1）的形式：y = β0 + β1x + ε (1)其中两个变量y与x之间的关系⽤两部分描述。
⼀部分是由于x的变化引起y线性变化的部分，即β0+ β1x，另⼀部分是由其他⼀切随机因素引起的，记为ε。
该式确切的表达了变量x与y之间密切关系，但密切的程度⼜没有到x唯⼀确定y的这种特殊关系。
式（1）称为变量y对x的⼀元线性回归理论模型。
⼀般称y为被解释变量（因变量），x为解释变量（⾃变量），β0和β1是未知参数，成β0为回归常数，β1为回归系数。
ε表⽰其他随机因素的影响。
⼀般假定ε是不可观测的随机误差，它是⼀个随机变量，通常假定ε满⾜：（2）对式（1）两边求期望，得E(y) = β0 + β1x, （3）称式（3）为回归⽅程。
E(ε) = 0 可以理解为ε对 y 的总体影响期望为 0，也就是说在给定 x 下，由x确定的线性部分β0 + β1x 已经确定，现在只有ε对 y 产⽣影响，在 x = x0，ε = 0即除x以外其他⼀切因素对 y 的影响为0时，设 y = y0，经过多次采样，y 的值在 y0 上下波动（因为采样中ε不恒等于0），若 E(ε) = 0 则说明综合多次采样的结果，ε对 y 的综合影响为0，则可以很好的分析 x 对 y 的影响（因为其他⼀切因素的综合影响为0，但要保证样本量不能太少）；若 E(ε) = c ≠ 0，即ε对 y 的综合影响是⼀个不为0的常数，则E(y) = β0 + β1x + E(ε)，那么 E(ε) 这个常数可以直接被β0 捕获，从⽽变为公式（3）；若 E(ε) = 变量，则说明ε在不同的 x 下对 y 的影响不同，那么说明存在其他变量也对 y 有显著作⽤。
一元线性回归方程的建立
第二节一元线性回归方程的建立一元线性回归分析是处理两个变量之间关系的最简单模型，它所研究的对象是两个变量之间的线性相关关系。
通过对这个模型的讨论，我们不仅可以掌握有关一元线性回归的知识，而且可以从中了解回归分析方法的基本思想、方法和应用。
一、问题的提出例2-1-1 为了研究氮含量对铁合金溶液初生奥氏体析出温度的影响，测定了不同氮含量时铁合金溶液初生奥氏体析出温度，得到表2-1-1给出的5组数据。
表2-1-1 氮含量与灰铸铁初生奥氏体析出温度测试数据如果把氮含量作为横坐标，把初生奥氏体析出温度作为纵坐标，将这些数据标在平面直角坐标上，则得图2-1-1，这个图称为散点图。
从图2-1-1可以看出，数据点基本落在一条直线附近。
这告诉我们，变量X与Y的关系大致可看作是线性关系，即它们之间的相互关系可以用线性关系来描述。
但是由于并非所有的数据点完全落在一条直线上，因此X与Y的关系并没有确切到可以唯一地由一个X值确定一个Y值的程度。
其它因素，诸如其它微量元素的含量以及测试误差等都会影响Y 的测试结果。
如果我们要研究X与Y的关系，可以作线性拟合（2-1-1）我们称（2-1-1）式为回归方程，a与b是待定常数，称为回归系数。
从理论上讲，（2-1-1）式有无穷多组解，回归分析的任务是求出其最佳的线性拟合。
二、最小二乘法原理如果把用回归方程计算得到的i值(i=1,2,…n)称为回归值，那么实际测量值y i与回归值i之间存在着偏差，我们把这种偏差称为残差，记为e i(i=1,2,3,…,n)。
这样，我们就可以用残差平方和来度量测量值与回归直线的接近或偏差程度。
残差平方和定义为:(2-1-2) 所谓最小二乘法，就是选择a和b使Q(a,b)最小，即用最小二乘法得到的回归直线是在所有直线中与测量值残差平方和Q最小的一条。
由(2-1-2)式可知Q是关于a,b的二次函数，所以它的最小值总是存在的。
下面讨论的a和b的求法。
三、正规方程组根据微分中求极值的方法可知，Q(a,b)取得最小值应满足(2-1-3)由(2-1-2)式，并考虑上述条件，则(2-1-4)(2-1-4)式称为正规方程组。
一元线性回归
ˆ ˆ b0和b1分别参数为b0和b1的拟合值
线性部分(b0 +b1x)反映了由 x 变化而引起的变化。
3. 回归模型的求解
400 350 侵蚀量（t/km2 ） 300 250 200 150 100 50 0 0 100 200 300 降雨量（mm） 400 500 安徽岳西某小区土壤流失量与雨量关系图
2 2 i =1 i i =1 i i i =1 i
n
n
n
2
即： SSt
总平方和
=
SSe
残差平方和
+
SSR
回归平方和
自由度： n-1
n-2
1
F检验－回归方程显著性，自由度为(1，n-2)： 检验－回归方程显著性
MS F = MS
R e
r2 SS R = = (n − 2) 1− r2 SS e /( n − 2 )
∑ (y
i =1
n
i
− y)
2
ˆ ˆ ( y i − y ) 2 = ∑ [( y i − y i ) + ( y i − y )] 2 ∑
i =1 i =1
n
n
ˆ i ) 2 + ∑ ( y i − y ) 2 + 2∑ ( y i − y i )( y i − y ) ˆ ˆ ˆ = ∑ ( yi − y
b0 = y − b1 x
例：降雨量和土壤侵蚀量的回归方程
400 350 侵蚀量（t/km2） 300 250 200 150 100 50 0 0 100 200 300 降雨量（mm） 400 500 安徽岳西某小区土壤流失量与雨量关系图
y = - 9.2827 + 0.9269x
一元线性回归分析
S xx xi2 nx 2 218500 10 1452 8250 S xy xi yi nx y 101570 10 145 67.3
i 1
3985 ˆ S xy 3985 0.483 b S xx 8250 ˆ ˆ a y xb 67.3 145 0.483 2.735
这里45.394>2.306，即|t|值在H0的拒绝域内，故 拒绝H0 ，说明回归效果是显著的。 b的置信度为0.95(=0.05)的置信区间为 0.934 0.934 (b, b ) 0.483 2.306 , 0.483 2.306 8250 8250
i 1 n 2 n
2
ˆ ˆ yi y yi yi
i 1 i 1
2
S回 Qe
18
线性回归的方差分析
回归平方和
残差平方和
ˆ S回 yi y
i 1 n
n
2
ˆ Qe yi yi
i 1
2
Syy自由度为n-1， Qe自由度为n-2， S回自由度为1
平方和 1924.6 7.5 1932.1
自由度
均方
F比
回归 残差 总和
1 8 9
1924.6 0.94
2047.4
30
对=0.01，查出F0.01(1,8)=11.26 因为2047.3 >>11.26，所以回归效果是 非常显著的。
六、利用回归方程进行预报（预测） 回归问题中Y是随机变量，x是普通 变量。回归方程 y a bx 是Y对x的依赖 ˆ ˆ ˆ 关系的一个估计。对给定的x值，用回归 方程确定Y的值，叫预报。
一元线性回归方程中回归系数的几种确定方法
0 引 言
一元线性回归模型是统计学中回归分析预测理论的一种重要方法 ,应用于自然科学 、工程技术和经
济分析的各个领域 ,有较强的实用性·该方法的基本思想是 : 首先确定两个变量之间是否存在线性相
一元线性回归方程
n
n
避免其偏离差（有正误差、负误差）相互抵消，采用偏离差平方和 Q(a ，b) ( yi yi )2
i 1
i 1
( yi a bxi )2（也称残差平方和）来刻画观测值(xi ，yi )与直线 y a bx 的偏离程度 . 一般
所说的回归直线就是使 Q(a ，b) 最小的直线，求所需回归直线的截距和斜率，就转化成了求使
Lxx （4）写出回归（估计）方程 y a bx .
一元线性回归方程
1.2 线性相关关系的显著性检验
从以上建立回归直线方程的过程不难看出，用最小二乘法所建立的回归直线方程，只是通 过一组样本观察值 (xi ，yi ) (i 1，2 ， ，n) 来建立的 . 变量 x 与 y 之间是否存在线性关系，或者 其线性关系是否显著，还需进行检验.常用的线性相关关系的显著性检验有两种方法，即 F 检 验法和相关系数检验法 . 在此仅介绍相关系数检验法 .
0， 0.
即nan b a i1 xi
n
n
xi yi ，
i 1
i 1
n
n
b xi2 xi
i 1
i 1
yi
，取
x
y
1 n 1 n
n
i 1 n
i 1
xi ， yi .
一元线性回归方程
n
n
n
n xi yi xi yi
n
xi yi nx y
b
解之得
i 1
，
即Q(a ，b) Lyy (1 R2 ) .
一元线性回归方程
n
n
因为Q(a ，b) ( yi yi )2 0 ，Lyy ( yi y)2 0 ，
i 1
第二章一元线性回归模型
；
（c）比较绝对值 t1 与 tα 2 的大小。若 t1 > tα ，则拒绝原假设，判 定 β1 ≠ 0 ，解释变量 x 解释功效显著；若 t1 < tα ，则接受原假设，
2
判定
， x β1 = 0 不是有效的解释变量。
§2.3 显著性检验
（三）一元线性回归模型示例 例2.1 y=JYL，x=DSCYCZZZL，
ˆ β1 = β1 + ∑
xi − x u 2 i ∑(xi − x)
ˆ Eβ0 = β0
ˆ Eβ1 = β1
OLS估计的统计性质 §2.2 OLS估计的统计性质
在一切线性无偏估计中， ˆ ˆ 3. 在一切线性无偏估计中， β0 , β1独具最小方差
1 x2 ˆ var(β0 ) =σ 2 ( + ) 2 n ∑(xi − x)
0 ≤ R2 ≤ 1
2 R2 = rxy
计算公式
ˆ β12 ∑(xi − x)2 2 R = ∑( yi − y)2
OLS估计的统计性质 §2.2 OLS估计的统计性质
（一）线性回归模型的基本假定：
假定1. 解释变量是确定性变量，不具有随机性 假定2. (零均值假定) 假定3. (同方差假定)
Eui = 0 , i = 1 ,2 ,L, n
y = β0 + β1x + u
yi = β0 + β1xi + ui
{yi , xi }
i =1 ,2 ,L, n
i =1 ,2 ,L, n
§2.1 普通最小平方估计
（一）普通最小平方估计(OLS) 普通最小平方估计 待定回归函数 残差 残差平方和 驻点条件
ˆ ˆ ˆ y = β0 + β1x
计量经济学 第二章 一元线性回归模型
计量经济学第二章一元线性回归模型第二章一元线性回归模型第一节一元线性回归模型及其古典假定第二节参数估计第三节最小二乘估计量的统计特性第四节统计显著性检验第五节预测与控制第一节回归模型的一般描述（1）确定性关系或函数关系：变量之间有唯一确定性的函数关系。
其一般表现形式为：一、回归模型的一般形式变量间的关系经济变量之间的关系，大体可分为两类：（2.1)（2）统计关系或相关关系：变量之间为非确定性依赖关系。
其一般表现形式为：(2.2)例如：函数关系：圆面积S =统计依赖关系/统计相关关系：若x和y之间确有因果关系，则称(2.2)为总体回归模型，x(一个或几个）为自变量（或解释变量或外生变量），y为因变量（或被解释变量或内生变量），u为随机项，是没有包含在模型中的自变量和其他一些随机因素对y的总影响。
一般说来，随机项来自以下几个方面：1、变量的省略。
由于人们认识的局限不能穷尽所有的影响因素或由于受时间、费用、数据质量等制约而没有引入模型之中的对被解释变量有一定影响的自变量。
2、统计误差。
数据搜集中由于计量、计算、记录等导致的登记误差；或由样本信息推断总体信息时产生的代表性误差。
3、模型的设定误差。
如在模型构造时，非线性关系用线性模型描述了；复杂关系用简单模型描述了；此非线性关系用彼非线性模型描述了等等。
4、随机误差。
被解释变量还受一些不可控制的众多的、细小的偶然因素的影响。
若相互依赖的变量间没有因果关系，则称其有相关关系。
对变量间统计关系的分析主要是通过相关分析、方差分析或回归分析(regression analysis)来完成的。
他们各有特点、职责和分析范围。
相关分析和方差分析本身虽然可以独立的进行某些方面的数量分析，但在大多数情况下，则是和回归分析结合在一起，进行综合分析，作为回归分析方法的补充。
回归分析(regression analysis)是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。
一元线性回归
· · ·· ·· · · ·· ·
2 4 6 8 10
o线附 近, 这告诉我们变量x和y之间大致可看作线 性关系. 从图中还看到, 这些点又不完全在 一条直线上, 这表明x和y的关系并没有确切 到给定x就可以唯一确定y的程度.
其原因在于人有较大的个体差异, 因而身高 和体重的关系, 是既密切但又不能完全确定 的函数关系.
类似的变量间的关系在大自然和社会中 屡见不鲜.
例如 , 小麦的穗长与穗重的关系 ; 某班学生最 后一次考试分数与第一次考试分数的关系;温 度、降雨量与农作物产量间的关系;人的年龄 与血压的关系;最大积雪深度与灌溉面积间的 关系;家庭收入与支出的关系等等.
这种大量存在的变量间既互相联系但又不 是完全确定的关系，称为相关关系. 从数量的角度去研究这种关系，是数 理统计的一个任务. 这包括通过观察和试 验数据去判断变量之间有无关系，对其关 系大小作出数量上的估计 , 对互有关系的 变量通过其一去推断和预测其它,等等. 回归分析就是研究相关关系的一种重 要的数理统计方法.
V=I. R
以上两例的共同点在于，三个量中任意 两个已知，其余一个就可以完全确定. 也就 是说，变量之间存在着确定性的关系，并且 可以用数学表达式来表示这种关系. 然而，在大量的实际问题中，变量之 间虽有某种关系，但这种关系很难找到一 种精确的表示方法来描述.
例如,人的身高与体重之间有一定的关系, 知道一个人的身高可以大致估计出他的体重, 但并不能算出体重的精确值.
y=a+bx+ε, ε ～N(0， )
2
(1)
现对模型(1)中的变量x , y进行了n次独 立观察, 得样本 (x1,y1),…,(xn,yn) (3)
一元线性回归方程式
一元线性回归方程式为：y=a+b x
b=n∑xy−∑x∑y n∑x2−(∑x)2
a=y̅−bx̅
其中a、b都是待定参数，可以用最小二乘法求得。
（最小平方法）b表示直线的斜率，又称为回归系数。
n表示所有数据的项数。
∑x表示所有x的求和
∑y表示所有y的求和
∑xy表示所有xy的求和
∑x2表示所有x2的求和
(∑x)2表示∑x的平方，即所有x的求和再求平方。
x̅表示所有x的平均数
y̅表示所有y的平均数
答题解法如下：
解：（答：）相关数据如下表：
根据公式b=n∑xy−∑x∑y
n∑x2−(∑x)2
得：
b=6∗1481−21∗426
6∗79−212=8886−8946
474−441
=−60
33
=-1.82
根据公式a=y̅−bx̅得：
a=71−(−1.82)∗3.5=71-(-6.37)=71+6.37=77.37
代入方程式y=a+b x得：
y=77.37+（-1.82）x=77.37-1.82 x
已知7月份产量为7000件，则x=7（千件），代入得：
y=77.37-1.82 x=77.37-1.82*7=77.37-12.74=64.63（元）
根据一元回归方程（最小乘法或最小平方法），当7月份产量为7000件时，其单位成本为64.63元。
第3章一元线性回归模型的估计
3.1普通最小二乘法
图3-4 工作文件对话框
图3-5 工作文件窗口
3.1普通最小二乘法
工作文件窗口是EViews的子窗口，工作文件一建立就包含了两个对象，一 个是系数向量C（用来保存估计系数），另一个是残差序列RESID（实际值与 拟合值之差）。 3.建立工作对象
在工作文件窗口上选择Objects/New Object，弹出一个对象窗口，选择组 （Group）对象并命名，点击“OK”，如图3-6所示。
(Yi ˆ0 ˆ1Xi )Xi ei Xi 0
（3-10）
对式（3-9）、（3-10）进行整理得：
3.1普通最小二乘法
Yi nˆ0 ˆ1 X i （3-11）
Yi Xi ˆ0
X i ˆ1
X
2 i
（3-12）
式（3-11）和（3-12）称为正规方程，其中n是样本容量 。由这两个正规方程
式（3-15）和式（3-16）称为最小二乘估计量的离差形式。
对于最小二乘估计量（OLS估计量）ˆ0 、ˆ1 ，我们要做如下一些解释：
第一， OLS估计量 ˆ0 和 ˆ1 是由给定的样本观测值计算得到的。
第二， OLS估计量ˆ0和ˆ1 是总体参数 0 和 1 的点估计值。对于不同的样本
用最小二乘法可以计算得到不同的值，所以 ˆ0和 ˆ1 是统计量，是随机变量。
1 2 3 4 5 6 7 8 9 10 合计 平均
4000 4500 5000 5500 6000 6500 7000 7500 8000 8500 62500 6250
2687 3048 3374 3651 3772 4400 4797 4917 5526 5523 41695 4169.5
-2250 -1750 -1250 -750 -250
一元线性回归模型
一元线性回归模型1．一元线性回归模型有一元线性回归模型（统计模型）如下，y t = 0 + 1 x t + u t上式表示变量y t 和x t之间的真实关系。
其中y t 称被解释变量（因变量），x t称解释变量（自变量），u t称随机误差项， 0称常数项， 1称回归系数（通常未知）。
上模型可以分为两部分。
（1）回归函数部分，E(y t) = 0 + 1 x t,（2）随机部分，u t。
图2.1 真实的回归直线这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系；商品价格与供给量的关系；文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系；身高与体重的关系等。
以收入与支出的关系为例。
假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。
但实际上数据来自各个家庭，来自各个不同收入水平，使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。
随机误差项u t中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。
所以在经济问题上“控制其他因素不变”是不可能的。
回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略，（2）人的随机行为，（3）数学模型形式欠妥，（4）归并误差（粮食的归并）（5）测量误差等。
回归模型存在两个特点。
（1）建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。
（2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。
通常线性回归函数E(y t) = 0 + 1 x t是观察不到的，利用样本得到的只是对E(y t) = 0 + 1 x t 的估计，即对 0和 1的估计。
在对回归函数进行估计之前应该对随机误差项u t做出如下假定。
(1) u t 是一个随机变量，u t 的取值服从概率分布。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2、相关分析测定相关程度和方向，回归分析用 回归模型进行预测和控制；
3、相关分析只有一个结果 rxy ryx ；而在回归 分析中，自变量与因变量互换可以拟合两个独立 的回归方程。
联系：
1、相关分析是回归分析的基础和前提； 2、回归分析是相关分析的继续和深化。
（3）程度 0<|r|<1表示存在不同程度线性相关： |r|≤0.3为不存在线性相关 0.3< |r| ≤ 0.5 为低度线性相关； 0.5＜ |r| ≤0.8为显著线性相关； |r| ＞0.8为高度线性相关。
2019/6/6
例：P254 某地区居民货币收入和社会商品零售额资料
如下，试计算其相关系数，并作相关判别？
单位：亿元
年份 居民货币收入 社会商品零售额
12345678
12 13 14 15 14 16 18 20 10 12 12 13 13 14 15 17
2019/6/6
(1)存储x：x 122,x2 1910
(2)存储y： y 106, y2 1436
(3)存储xy： xy 1655
项目管理硕士研究生基础学位课——《统计学》课件
第六章 相关与回归分析
2019/6/6
第六章 相关与回归分析
本章教学目的：相关分析是研究变量之间相互关
系的一种重要的统计方法，通过本章的学习，使 学生：了解相关分析的意义，相关的种类、回归 分析的概念，掌握相关系数的计算和简单线性回 归分析。
本章教学重点：相关分析、回归分析 本章教学难点：回归分析 本章教学学时：4学时
2019/6/6
第一节 相关分析的意义和内容
一、相关分析的涵义
（一）变量间依存关系 1.函数关系 存在严格的数量依存关系。 2.相关关系 存在不确定性的依存关系。
（二）相关分析 研究两个或两个以上变量之间的相关方向和相
关程度的统计分析方法。
2019/6/6
二、相关关系的种类
（一）按变量之间相关的程度 1、完全相关 如销售额与销售量之间的关系（价格不变） 2、完全不相关 注意：虚假相关。如天气与股票价格的关系 3、不完全相关 如居民的收入与支出水平
n xy x y
n x2 ( x)2 n y2 ( y)2
2019/6/6
令E(x) , D(x) 2 y a bx
则：E( y) a b, D( y) b2 2 E(xy) E(ax bx2 ) a b( 2 2 )
Cov(x, y) E(xy) E(x)E( y)
a b( 2 2 ) (a b) b 2
r Cov(x, y) b 2 D(x) D(y) b
2019/6/6
（二）性质：
（1）相关系数r的取值范围：-1≤r≤1
（2）方向、类别 r>0 为正相关，r < 0 为负相关； r=0 表示不存在线性关系； |r|＝1 表示完全线性相关；
一、回归分析的概念
指在相关分析的基础上，根据相关关系的数 量表达式（回归方程式）与给定的自变量x，揭示 因变量y在数量上的平均变化，并据以进行因变量 的估计或预测的统计分析方法。
二、相关分析与回归分析的关系
区别：
1、相关分析中x与y对等，回归分析中x与y
要确定自变量和因变量（随机变量）；
2019/6/6
2019/6/6
二、相关图
年维修费
1200
1000
800
600
400
200
使 用
0
年
0
2
4
6
8
10 限
2019/6/6
三、相关系数
（一）基本公式：最先由卡尔.皮尔逊提出衡量一元 线性相关的密切程度。
r
2 xy
x y
1 n
(x
Байду номын сангаас
x)(
y
y)
1 n
(
x
x)2
1 n
(
y
y)2
(4)求r：
r
n xy x y
n x2 ( x)2 n y2 ( y)2
8 1655-122 106
308
=
0.975
(81910-1222 )(81436-1062 ) 315.899
2019/6/6
2019/6/6
2019/6/6
第三节 回归分析
900—1000 0 0 0 0 1 0 0 1
800—900 0 0 0 1 0 1 0 2
700—800 0 0 1 0 2 0 0 3
600—700 0 0 1 1 0 0 0 2
500—600 1 1 0 0 0 0 0 2
400—500 1 0 0 0 0 0 0 1
合计
2 1 2 2 3 1 1 12
2019/6/6
（二）按相关关系涉及变量的多少 1、单相关：一个变量对另一个变量的相关关
系。 如只研究农物产量与施肥量间的关系。
2、复相关：一个变量对两个或多个变量的相 关关系，称复相关。
如研究农物产量与施肥量、降雨量间的关 系。
3、偏相关：一个变量与多个变量相关时，假 定其他变量不变，只研究其中两个变量之间的 相关关系，称偏相关。
均收入水平等。 2、负相关 如商品流转额与流通费用。
Y轴 Y轴
2019/6/6
X轴
强正相关
X轴
强负相关
第二节 线性相关的测定
一、相关表
（一）简单相关表
机床 1 2 3 4 5 6 7 8 9 10 11 使用年限 2 2 3 4 4 5 5 6 6 6 8
年维修费 400 540 520 640 740 600 800 700 760 900 840 用（元）
2019/6/6
（二）单变量分组相关表 使用年限 机床数(台) 平均维修费用
2
2
3
1
4
2
5
2
6
3
8
1
9
1
合计
12
470 520 690 700 787 840 1080 --
2019/6/6
(三)双变量分组相关表
年维修费用
机床使用年限(年)
合
（元） 2 3 4 5 6 8 9 计
1000—1100 0 0 0 0 0 0 1 1
2019/6/6
（三）按变量之间相关关系的表现形态 1、线性相关：两种变量之间大致呈线性关系。 2、非线性相关（或曲线相关）：两种变量之
间不呈线性关系，近似某种曲线方程的关系。
Y轴 Y轴
2019/6/6
X轴
强正相关
X轴
曲线相关
（四）对线性相关，按相关变量变化的方向 1、正相关 如工人工资与劳动生产率；人均消费水平与人