一元线性回归模型
第一课时 一元线性回归模型及其参数的最小二乘估计
解析 由题意得－x＝3＋4＋4 5＋6＝4.5， －y＝25＋30＋4 40＋45＝35. ∵回归直线方程^y＝b^x＋a^中b^＝7，∴35＝7×4.5＋a^，解得a^＝3.5， ∴^y＝7x＋3.5. ∴当 x＝10 时，^y＝7×10＋3.5＝73.5(万元)． 答案 73.5
(2)列出下表，并用科学计算器进行有关计算．
i
1
2
3
4
5
xi
2
4
5
6
8
yi
30
40
60
50
70
xiyi
60
160
300
300
560
x2i
4
16
25
36
64
－x＝5，－y＝50，i＝∑5 1x2i ＝145，i＝∑5 1xiyi＝1 380
5
∑xiyi－5－x
－
y
于是可得，b^＝i＝15
∑xi2－5－x 2
【训练2】 某车间为了规定工时定额，需要确定加工零件所花费的时间，为此做了四 次实验，得到的数据如下：
零件的个数x(个) 加工的时间y(h)
23 2.5 3
45 4 4.5
(1)已知零件个数与加工时间线性相关，求出y关于x的线性回归方程； (2)试预测加工10个零件需要多少时间？
4
解 (1)由表中数据，得∑xiyi＝2×2.5＋3×3＋4×4＋5×4.5＝52.5， i＝1
【迁移2】 (变条件，变设问)本例中近似方程不变，每小时生产有缺点的零件件数是 7，估计机器的转速． 解 因为 y＝5710x－67，所以当 y＝7 时，7＝5710x－67，解得 x≈11，即估计机器的转速约为 11 转/秒．
第三章 一元线性回归模型
第三章 一元线性回归模型一、预备知识（一）相关概念对于一个双变量总体,若由基础理论，变量和变量之间存在因果),(i i x y x y 关系，或的变异可用来解释的变异。
为检验两变量间因果关系是否存在、x y 度量自变量对因变量影响的强弱与显著性以及利用解释变量去预测因变量x y x ，引入一元回归分析这一工具。
y 将给定条件下的均值i x i yi i i x x y E 10)|(ββ+=（3.1）定义为总体回归函数（PopulationRegressionFunction,PRF ）。
定义为误差项（errorterm ）,记为，即，这样)|(i i i x y E y -i μ)|(i i i i x y E y -=μ，或i i i i x y E y μ+=)|(i i i x y μββ++=10（3.2）（3.2）式称为总体回归模型或者随机总体回归函数。
其中，称为解释变量x （explanatory variable ）或自变量（independent variable ）；称为被解释y 变量（explained variable ）或因变量（dependent variable ）；误差项解释μ了因变量的变动中不能完全被自变量所解释的部分。
误差项的构成包括以下四个部分：（1）未纳入模型变量的影响（2）数据的测量误差（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间可能是非线性关系（4）纯随机和不可预料的事件。
在总体回归模型（3.2）中参数是未知的，是不可观察的，统计计10,ββi μ量分析的目标之一就是估计模型的未知参数。
给定一组随机样本，对（3.1）式进行估计，若的估计量分别记n i y x i i ,,2,1),,( =10,),|(ββi i x y E 为，则定义3.3式为样本回归函数^1^0^,,ββi y （）i i x y ^1^0^ββ+=n i ,,2,1 =（3.3）注意，样本回归函数随着样本的不同而不同，也就是说是随机变量，^1^0,ββ它们的随机性是由于的随机性（同一个可能对应不同的）与的变异共i y i x i y x 同引起的。
一元线性回归模型
1 n ˆ xi )2 = 1 ( Lyy − bLxy ). ˆ ˆ 即 σ = ∑ ( yi − a − b ˆ n i =1 n
2
n σ 2. 而σ 的无偏估计是 ˆ n−2
2
∴σ ˆ
*2
n 1 2 ˆ σ = ( Lyy − bLxy ). = ˆ n−2 n−2
ex1. 设有一组观察值如下，求回归方程 设有一组观察值如下，求回归方程.
ˆ ˆ ˆ 对于x0可得 y0 = a + bx0 , 称其为 Y0的点预测.
( 2) Y0的区间估计 : 选取 T =
σ* ˆ
ˆ Y0 − y0 ~ t ( n − 2) 2 1 ( x0 − x ) 1+ + n Lxx
对于任意给定的 0 < α < 1, 有 P { T < tα ( n − 2)} = 1 − α .
研究变量间的相关关系，确定回归函数， 研究变量间的相关关系，确定回归函数，由此预测和控 制变量的变化范围等就是回归分析。 制变量的变化范围等就是回归分析。 研究两个变量间的相关关系，称为一元回归分析； 研究两个变量间的相关关系，称为一元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 若回归函数为线性函数，则称为线性回归分析。 若回归函数为线性函数，则称为线性回归分析。
所以y与 之间显著地存在线性关系 之间显著地存在线性关系. 所以 与x之间显著地存在线性关系
四、一元线性回归模型的应用—预测与控制 一元线性回归模型的应用 预测与控制 1. 预测问题
(根据 = a + bx + ε , 研究 = x0时如何估计 0 ) Y x Y
(1) Y0的点估计 :
一元线性回归模型
几个常用结果以及注释 1. Σei =0
2. Σei
Xi=0
3.样本回归方程过（ X , Y ）点 样本回归方程过（ 4.截距为0的一元线性回归模型参数估 计式 一元线性回归模型参数估计举例（ P23页）
四、估计量的统计学性质
1. 线性性：b , b 都是Yi的线性函数。
0 1
∑ x y = ∑ x (Y Y ) = ∑ x Y b = ∑ x ∑ x ∑ x ∑ xY = ∑ x x 令： K = 则： b = ∑ K Y 是 Y ∑ x
4.线性回归模型 的普遍性
在实际经济分析中,由于经济变量之间的关系 在实际经济分析中 由于经济变量之间的关系 往往是非常复杂的,所以直接的精确线性模型是较 往往是非常复杂的 所以直接的精确线性模型是较 所以直接的精确线性模型 少的。 少的。 但是，由于第一，线性模型比较容易研究；第 但是，由于第一，线性模型比较容易研究； 二，现实经济分析中许多非线性问题可以经过简 单的数学处理转化为线性模型；第三， 单的数学处理转化为线性模型；第三，非线性模 型的分析基础是线性模型。 型的分析基础是线性模型。 所以，我们研究的思路是先学习线性回归模型， 所以，我们研究的思路是先学习线性回归模型， 然后学习非线性问题。 然后学习非线性问题。
表示 Xi ，Yi…… 离差形式用小写字母表示 xi ，yi……
三、举例说明
计量经济学模型为什么引入随机扰动项ui ？ 例题：需求模型 如前所述需求量Q受到商品价格P、当期 收入Yt 、其它商品价格P1 、前期收入Y t-1 、 经济政策G 、……等因素影响。所以， Q=f（P、 Y t 、P1、Y t-1、G……）
i i i i i 1 2 2 2 i i i i i 2 i i i 2 1 i i i
一元线性回归模型(计量经济学)
总体回归函数说明被解释变量Y的平均状 态（总体条件期望）随解释变量X变化的 规律。至于具体的函数形式，则由所考 察的总体的特征和经济理论来决定。
在例2.1中，将居民消费支出看成是其可 支配收入的线性函数时，该总体回归函
数为: E (Y |X i)01 X i
它是一个线性函数。其中，0，1是未知
第二章 经典单方程计量经济学模型： 一元线性回归模型
§2.1 回归分析概述 §2.2 一元线性回归模型的基本假设 §2.3 一元线性回归模型的参数估计 §2.4 一元线性回归模型的统计检验 §2.5 一元线性回归模型的预测 §2.6 一元线性回归建模实例
§2.1 回归分析概述
一、变量间的关系及回归分析的基本概念 二、总体回归函数 三、随机扰动项 四、样本回归函数
1430 1650 1870 2112
1485 1716 1947 2200
2002
2420 4950 11495 16445 19305 23870 25025 21450 21285 15510
一个抽样
由于调查的完备性，给定收入水平X的消费 支出Y的分布是确定的。即以X的给定值为条 件的Y的分布是已知的，如 P(Y=561 | X = 800) =1/4。 进而，给定某收入Xi，可得消费支出Y的条 件均值，如 E(Y | X = 800) =605。 这样，可依次求出所有不同可支配收入水平 下相应家庭消费支出的条件概率和条件均值 ，见表2.1.2.
相关分析主要研究随机变量间的相关形式 及相关程度。变量间的相关程度可通过计 算相关系数来考察。
具有相关关系的变量有时存在因果关系，
这时，我们可以通过回归分析来研究它们
之间的具体依存关系。
课堂思考题
一元线性回归模型的参数估计解读
为表达得更简洁，可以用离差形式表示OLS估计式：
( X i X )(Yi Y ) xi yi ˆ 1 __ 2 x 2 i (Xi X )
__ __
ˆ Y ˆX 0 1
__
其中xi X i X，yi Yi Y
注意：在计量经济学中，往往以小写字母表示对 均值的离差。 由于参数的估计结果是通过普通最小二乘法得到的， 故称为普通最小二乘估计量（ordinary least squares estimators）。
1969 2078 2585 2530 15674
5290000
6760000 8410000 10240000 12250000 53650000
3668500
5119400 6026200 8272000 8855000 39468400
n X iYi X i Yi 10 39468400 21500 15674 ˆ 1 2 2 10 53650000 215002 n X i ( X i )
xi ˆ 1 Y kiYi 2 i xi
1 1 ˆ ˆ 0 Y 1 X Yi kiYi X ( Xki )Yi wY i i n n
ˆ 、 ˆ 的均值（期望）等于总体 2.无偏性，即估计量 0 1 回归参数真值0与1
ˆ k Y k ( X u ) 证： ii i 0 1 i i 1
假定1：解释变量X i是确定性变量，不是随机变量
假定2：E(ui ) 0，即随机误差项的均值或期望为零
2 假定3：Var (ui ) （ 2为常数），即各个随机误差
项的方差相同
假定4：Cov(ui , u j ) 0(i j )，即不同的随机误差项 之间是互不相关的
21一元线性回归模型.ppt
同理，p(Y= ？ /X=260)=1/7
条件均值(条件期望 ) :
对Y的每一条件概率分布，我们能算出它 的均值 :
记做E(Y/X=Xi)
［简写为E(Y/Xi) ］
并读为“在X取特定Xi值时的Y的期望值”。
计算方法：
将表2.1中的有关列乘以表2.2中的相应列 的条件概率，然后对这些乘积求和便是。
第二章 一元线性回归模型
§2.1 一元线性回归模型概念基础 回归是计量经济学的主要工具 一、“回归”一词的历史渊源
Francis Galton F．加尔顿
回归一词最先由F．加尔顿 (FrancisC,alton)引入
加尔顿的普遍回归定律还被他的朋友 K．皮尔逊(KartPearson)证实
Karl Pearson K．皮尔逊
综合来看，回归分析一般可以用来：
（1） 通过已知变量的值来估计因变量的均值。
（2）对独立性进行假设检验―――根据经济理 论建立适当的假设。
例如，对于需求函数，你可以检验假设：需求的 价格弹性为-1.0；即需求曲线具有单一的价格 弹性。也就是说，在其他影响需求的因素保持 不变的情况下，如果商品的价格上涨1％，平 均而言，商品的需求量将减少1％。
P （
1/7 1/5 1/5 1/6 1/5 1/7 1/5 1/7 1/5
Y/ 1/7 1/5 1/5 1/6 1/5 1/7 1/5 1/7 1/5
Xi ） 1/7
1/6
1/7
1/7
1/7
1/7
1/7
Y的条 48 46 44 42 40 38 36 34 32 30
件均值
E(Y/X=Xi) Y的条件均值
·
·
·
· ·
一元回归线性模型
一元回归线性模型
一元线性回归模型，又称为简单线性回归模型，是机器学习中常
用的回归模型，它是利用一个自变量X来预测因变量Y的结果。
一元
线性回归模型将样本数据映射为一条直线，如y=ax+b，其中a是斜率，b是截距，也就是说，一元线性回归模型中的参数是斜率和截距，而拟
合的直线就是根据样本数据估计出来的最佳拟合直线。
目标函数是求解参数 a 和 b，使得误差平方和最小，具体来说，
目标函数的表达式为：J（a,b）=Σi(yi-f(xi))^2,其中f（x）=ax+b，yi为观测值，xi为观测值对应的自变量。
对于一元线性回归模型，求解参数 a 和 b 的最优方法要么是直
接用梯度下降法求解，要么是用最小二乘法求解。
梯度下降法求解时，需构造损失函数，使用梯度下降法迭代更新参数，直到获得最优结果；而最小二乘法求解时，通过求解参数关于损失函数的导数，便可解出
模型参数，从而得到最优结果。
一元线性回归模型在实际应用中有很多优点，其中最重要的就是
它易于拟合和解释，它求解简单，可以很大程度上减少了计算复杂度，而且可以很好地预测因变量的值，也可以用来检验变量之间的关系。
第二章 一元线性回归模型
∂Q ˆ ˆ = −2∑ (Yi − β 0 − β1 X i ) = 0 ∂β ˆ0 ˆ ˆ ∂Q = −2∑ (Y − β − β X )X = 0 i 0 1 i i ˆ ∂β1
化简得： 化简得：
ˆ ˆ ∑ (Yi − β 0 − β1 X i ) = 0 ˆ ˆ ∑ (Yi − β 0 − β1 X i )X i = 0
2.总体回归方程（线）或回归函数 总体回归方程（ 总体回归方程 即对（ ）式两端取数学期望： 即对（2.8）式两端取数学期望：
E y i）= β 0 + β 1 x i （
（2.9）
（2.9）为总体回归方程。由于随机项的影响，所 ）为总体回归方程。由于随机项的影响， 有的点（ ）一般不在一条直线上； 有的点（x,y）一般不在一条直线上；但所有的点 （x,Ey）在一条直线上。总体回归线描述了 与y ）在一条直线上。总体回归线描述了x与 之间近似的线性关系。 之间近似的线性关系。
Yi = β X i + ui
需要估计， 这个模型只有一个参数 需要估计，其最 小二乘估计量的表达式为： 小二乘估计量的表达式为：
∑XY ˆ β= ∑X
i i 2 i
例2.2.1：在上述家庭可支配收入-消费支出例中，对 ：在上述家庭可支配收入-消费支出例中， 于所抽出的一组样本数据， 于所抽出的一组样本数据，参数估计的计算可通过下面 的表2.2.1进行。 进行。 的表 进行
二、一元线性回归模型 上述模型中， 为线性的， 上述模型中， 若f(Xi)为线性的，这时的模型 为线性的 一元线性回归模型： 即为 一元线性回归模型：
yi = β 0 + β1 xi + ui 其中：yi为被解释变量，xi为解释变量，ui为随机误 差项，β 0、β1为回归系数。
从统计学看线性回归（1）——一元线性回归
从统计学看线性回归（1）——⼀元线性回归⽬录1. ⼀元线性回归模型的数学形式2. 回归参数β0 , β1的估计3. 最⼩⼆乘估计的性质 线性性 ⽆偏性 最⼩⽅差性⼀、⼀元线性回归模型的数学形式 ⼀元线性回归是描述两个变量之间相关关系的最简单的回归模型。
⾃变量与因变量间的线性关系的数学结构通常⽤式（1）的形式：y = β0 + β1x + ε (1)其中两个变量y与x之间的关系⽤两部分描述。
⼀部分是由于x的变化引起y线性变化的部分，即β0+ β1x，另⼀部分是由其他⼀切随机因素引起的，记为ε。
该式确切的表达了变量x与y之间密切关系，但密切的程度⼜没有到x唯⼀确定y的这种特殊关系。
式（1）称为变量y对x的⼀元线性回归理论模型。
⼀般称y为被解释变量（因变量），x为解释变量（⾃变量），β0和β1是未知参数，成β0为回归常数，β1为回归系数。
ε表⽰其他随机因素的影响。
⼀般假定ε是不可观测的随机误差，它是⼀个随机变量，通常假定ε满⾜：（2）对式（1）两边求期望，得E(y) = β0 + β1x, （3）称式（3）为回归⽅程。
E(ε) = 0 可以理解为ε对 y 的总体影响期望为 0，也就是说在给定 x 下，由x确定的线性部分β0 + β1x 已经确定，现在只有ε对 y 产⽣影响，在 x = x0，ε = 0即除x以外其他⼀切因素对 y 的影响为0时，设 y = y0，经过多次采样，y 的值在 y0 上下波动（因为采样中ε不恒等于0），若 E(ε) = 0 则说明综合多次采样的结果，ε对 y 的综合影响为0，则可以很好的分析 x 对 y 的影响（因为其他⼀切因素的综合影响为0，但要保证样本量不能太少）；若 E(ε) = c ≠ 0，即ε对 y 的综合影响是⼀个不为0的常数，则E(y) = β0 + β1x + E(ε)，那么 E(ε) 这个常数可以直接被β0 捕获，从⽽变为公式（3）；若 E(ε) = 变量，则说明ε在不同的 x 下对 y 的影响不同，那么说明存在其他变量也对 y 有显著作⽤。
一元线性回归模型
一．一元线性回归模型1. 一元线性回归模型的基本假设有哪些？违背假设是否能估计？为什么？ 答:①E(i V |i X )=0 随机项i V 的数学期望为0 ②Var(i V |i X )=E{[i V —E(i V )]2}=E (2i V )=2u σ③COV(i V ，j V )=E{[i V —E(i V )][j V —E(j V )]}=0 i V ，j V 相互独立不相关 ④COV(i V ，i X )=0 解释变量i X 与误差项i V 同期独立无关 ⑤i V ～N(0，2u σ) i X ，i V 服从正态分布的随机变量 违背的话可以估计 但是要对原数据适当的处理 2. 方差分析表与参数估计表的结构变差来源 平方和 自由度 均方F统计量回归 残差 ESS RSS 12n - ESS22e RSS n S -= 1(2)ESSF RSSn =-总变差 TSS1n -21y TSS n S -=―2R =ESS TSS =1—RSSTSS=2212211[()()]()()ni i i n niii i x x y y x x y y ===----∑∑∑TSS=21()nii yy =-∑ ESS=21ˆ()ni yy =-∑ RSS=21ˆ()ni i y y =-∑ Eviews 输出结果 参数估计值 估计值标准差 F 检验 Variable Coefficient Std. Error t-Statistic Prob.C （0β） （S(0ˆβ)） 0β<对0β显著 X 1β>非线性不通过R-squared Adjusted R-squaredProb(F-statistic) >方程本身不是线性的 结论：该案例结果不理想 无论从个别还是总体上原因：(1) 0β，1β个别检验不通过 (2)F 检验远远超过期望的值(>5%or>10%) (3) 2R =拟合度特别差<50%(注：2R >80%or>70%认为拟合度好)3. 回归方程的标准记法ˆi y=0β+1βi x Se=(S(0ˆβ)) (S(1ˆβ)) 22211ˆ()ˆ22nni i i i uey yn n σ==-==--∑∑2221121ˆ()2()ni u i nii e s n x x σβ===--∑∑222211ˆ()[]()Xn ii x s nx x βσ==+-∑ 111ˆˆ()t s ββ= *代表显著性大小 **代表1%下显著 *代表5%下显著 无*代表5%下不显著 4. t 检验与F 检验的步骤(1) t 检验：01:0H β=11:0H β≠Next 111ˆˆ()t s ββ=～t(n-2) Next 查t 分布表临界值2(2)t n α- α取1%或5% Next 当|t|≥2(2)t n α-拒绝原假设10β≠说明y 对x 的一元线性相关显著当|t|<2(2)t n α-不拒绝原假设10β≠说明y 对x 的一元线性相关不显著(2) F 检验：01:0H β=11:0H β≠ Next 12ESSF RSS n =-(上：回归 下：残差)=？(假设=100)Next 查F α(1，n-2) Next 当100≥F α(1，n-2)拒绝0H 说明y 对x 的一元线性相关显著当100<F α(1，n-2)不拒绝0H 说明y 对x 的一元线性相关不显著(注：统计软件用P 值进行检验P>α等价F<F α(1，n-2)此时不拒绝0H 当P<αF>F α(1，n-2)此时拒绝0H ) 二．多元线性回归模型1. 基本假设：(1) 随机误差项i V 的条件期望值为0 即E(i V |1i X …ki X )=0 (2) 随机误差项i V 的条件方差相同Var(i V |1i X …ki X )=2u σ (3) i V 之间无序列相关COV(i V ，j V )=0 (4) i V ～N(0，2u σ)(5)各种解释变量之间不存在显著的线性相关关系 2.矩阵表达式12ˆˆˆ.ˆn y y y y ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 11112211...1.....1...k k n kn x x x x x x x ⎫⎛⎪⎪ =⎪ ⎪ ⎝⎭0ˆˆ.ˆk βββ⎛⎫ ⎪= ⎪ ⎪⎝⎭ 1ˆ()()x x x y β-''= 参见P51 例3-1 3随机误差项u 的方差2u σ的最小二乘估计量221ˆ1nii X en k σ==--∑=21ˆ()1niii y yn k =---∑随机误差项i U 同方差且无序列相关 则方差协方差矩阵Var-COV(u)=E(uu ')=)(112.,...n n u E u u u u ⎛⎫⎪ ⎪ ⎪⎝⎭=2u σI4.方差分析表变差来源 平方和 自由度 均方F统计量回归 残差 ESSRSS 12n - ESS22e RSS n S -= 1(2)ESSF RSSn =-总变差 TSS1n -21y TSS n S -=―2R =ESS TSS TSS=21()n i i y y =-∑ ESS=21ˆ()n i y y =-∑ RSS=21ˆ()ni i y y =-∑ 221111(1)11RSSn n k R R TSS n k n ---=-=----- 222211ˆ()ˆ11nniiii i u ey ySe n k n k σ==-===----∑∑5. P69 8(1) 0β1β3β的个别检验不通过，2β的个别检验通过 (2)F 检验通过 对结果不满意三．违背古典假定的计量经济模型 2. 自相关D-W 检验 (1)d< L d ,u 存在一阶正自相关(2)d>4-L d ,u 存在一阶负自相关 (3)u d <d<4-u d ,不存在自相关(4)L d <d<u d ，或4-u d <d<4-L d 时,u 是否存在自相关,不能确定 4.异方差的white 检验(以二元线性模型为例) 二元线性回归模型：01122i i i i y x x u βββ=+++ ① 异方差与解释变量12,x x 的一般线性关系为：2i σ=0α+11i x α+22i x α+231i x α+242i x α+512i i x x α+i V ②<1>运用OLS 估计的式① <2>计算残差序列i并求2i<3>做2i对1i x ，2i x ，21i x ，22i x ，12i i x x 的辅助回归，即222011223142312ˆˆˆˆˆˆˆi i i i i i i e x x x x x x αααααα=+++++ ③其中2ˆi e 为2i e 的估计<4>计算估计量2nR ，n 为样本容量2R 为辅助回归的可决定系数<5>在不存在异方差的原假设下2nR 服从自由度为5的2χ分布，给定显著性水平α查2χ分布表得临界值2αχ(5) 如果2nR >2αχ(5)则拒绝原假设，表明模型中随机误差存在异方差 5.杜宾二步法：第一步求出自相关系数的估计值ˆ第二步利用ˆ进行广义差分变换 对差分模型利用OLS 求的参数0β和1β的估计值0ˆβ和1ˆβ 6.方差扩大因子检验多元回归模型中多重共线性：1x =f(x2,x3….xk) x2=f(x1,x3…xk) …xj=(x1,x2...1j x -…xk) xk=f(x1,x2….1k x -)对每个回归方程求其决定系数分别为12R ，22R (2)j R (2)k R ，在决定系数中寻求最大而接近者，比如2x R 最大，则可判定解释变量Xj 与其他解释变量的一个或多个相关程度高，因此就使回归方程式y=f(x1,x2….xk)表现高度多重共线性，计量经济学中检验多重共线性时，往往称(1-2j R )为自变量Xj 的容忍度，其倒数为方差扩大因子，记为211j jVIF R =- 当模型中全部k 个自变量所对应的方差扩大因子平均数远远大于1时就表明存在严重的多重共线性。
第二章 一元线性回归模型
__
__
2
/n
★样本相关系数r是总体相关系数 的一致估计
相关系数有以下特点：
• • • • 相关系数的取值在-1与1之间。 （2）当r=0时，线性无关。 （3）若r＞0 ，正相关，若r＜0 ，负相关。 （4）当0＜|r|＜1时，存在一定的线性相关 关系， 越接近于1，相关程度越高。 • （5）当|r|=1时，表明x与y完全线性相关 （线性函数），若r=1，称x与y完全正相关； 若r=-1，称x与y完全负相关。 • 多个变量之间的线性相关程度，可用复相 关系数和偏相关系数去度量。
●假定解释变量X在重复抽样中取固定值。 但与扰动项u是不相关的。(从变量X角度看是外生的)
注意: 解释变量非随机在自然科学的实验研究中相对
Yi 1 2 X i ui
●假定解释变量X是非随机的，或者虽然X是随机的，
容易满足，经济领域中变量的观测是被动不可控的， X非随机的假定并不一定都满足。
E( y xi ) 0 1xi
11
• 可以看出,虽然每个家庭的消费支出存在差 异,但平均来说，家庭消费支出是随家庭可 支配收入的递增而递增的。当x取各种值时, y的条件均值的轨迹接近一条直线,该直线称 为y对x的回归直线。（回归曲线）。 • 把y的条件均值表示为x的某种函数，可写 为：
E( y xi ) 0 1xi
Var ( y xi ) 2
Cov( yi , y j ) 0
y | xi ~ N (0 1xi , )
2
22
第三节 参数估计
• 一、样本回归方程
• 对于
yi 0 1 xi ui
• 在满足古典假定下，两边求条件均值，得到总体 回归函数：
第2章一元线性回归模型
布图上的点接近于一条曲线时，称为非线性相关。简单相关按
符号又可分为 正相关 （见图2.3.4 ）、负相关 （见图2.3.8 ）和零 相关 （见图2.3.6 ）。两个变量趋于在同一个方向变化时，即同
增或同减，称为变量之间存在正相关；当两个变量趋于在相反
方向变化时，即当一个变量增加，另一个变量减少时，称为变 量之间存在负相关；当两个变量的变化相互没有关系时，称为
4、普通最小二乘法
为什么要使用OLS？ （1）OLS的应用相对简便； （2）以最小化残差平方和为目标在理论很合理； （3）OLS估计量有很多有用的性质。 1）估计的回归线通过Y和X的均值。下列等式总是
ˆ ˆX 严格成立的：设下，可以证明，OLS是 “最优”的估计方法。
2.2.2 最小二乘估计量的性质
一个用于考察总体的估计量，可从如下几个方面考察其
优劣性： （1）线性。即它是否是另一个随机变量的线性函数；
（2）无偏性。即它的均值或期望是否等于总体的真实值；
（3）有效性。即它是否在所有的线性无偏估计量中具有 最小方差； （4）渐近无偏性。 即样本容量趋于无穷大时，它的均值 序列趋于总体的真值； （5）一致性。即样本容量趋于无穷大时，它是否依概率 收敛于总体的真值；
1．总变差的分解
ˆ b ˆX ˆ b Yt的估计值位于估计的回归线 Y t 0 1 t 上，Y围绕其均值的变异 (Y Y )可被分解为两部分：
ˆ Y ) (1) (Y t
ˆ) (2) (Yt Y t
样本回归函数：
3．相关系数检验
（1）变量相关的定义和分类
相关：指两个或两个以上变量间相互关系的程度或强度。
2 2 ˆ e ( Y Y ) i i OLS 最小化 i i 1 i 1
一元线性回归模型及其假设条件
§4.2 一元线性回归模型及其假设条件1．理论模型y=a+bx+εX 是解释变量，又称为自变量，它是确定性变量，是可以控制的。
是已知的。
Y 是被解释变量，又称因变量，它是一个随机性变量。
是已知的。
A,b 是待定的参数。
是未知的。
2．实际中应用的模型x b a yˆˆˆ+= ，bˆ，x 是已知的，y ˆ是未知的。
回归预测方程：x b a y += a ,b 称为回归系数。
若已知自变量x 的值，则通过预测方程可以预测出因变量y 的值，并给出预测值的置信区间。
3．假设条件满足条件：（1）E （ε）=0；（2）D （εi ）=σ2；（3）Cov (εi ,εj )=0,i ≠j ; (4) Cov (εi ,εj )=0 。
条件（1）表示平均干扰为0；条件（2）表示随机干扰项等方差；条件（3）表示随机干扰项不存在序列相关；条件（4）表示干扰项与解释变量无关。
在假定条件（4）成立的情况下，随机变量y ～N （a+bx ，σ2）。
一般情况下，ε～N （0，σ2）。
4．需要得到的结果a ˆ，b ˆ，σ2§4.3 模型参数的估计1．估计原理回归系数的精确求估方法有最小二乘法、最大似然法等多种，我们这里介绍最小二乘法。
估计误差或残差：y y e i i i -=，x b a y i +=，e e y y ii i i x b a ++=+= （5.3—1）误差e i 的大小，是衡量a 、b 好坏的重要标志，换句话讲，模型拟合是否成功，就看残差是否达到要求。
可以看出，同一组数据，对于不同的a 、b 有不同的e i ，所以，我们的问题是如何选取a 、b 使所有的e i 都尽可能地小，通常用总误差来衡量。
衡量总误差的准则有：最大绝对误差最小、绝对误差的总和最小、误差的平方和最小等。
我们的准则取：误差的平方和最小。
最小二乘法：令 ()()∑∑---∑======n i ni n i i x b a y y y e i i i i Q 112212 （5.3—2）使Q 达到最小以估计出a 、b的方法称为最小二乘法。
土地资源评价之回归分析
（3.2.9）
i 1
n
n
( yi yˆi )2 ( yˆi y)2 Q U
i 1
i 1
在式（3.2.9）中，Q称为误差平方和，或剩余平方和
n
Q ( yi yˆi )2 i 1
而
n
n
U ( yˆi yi )2 (a bxi a bx)2
③ 解上述正规方程组（3.2.4）式， 得到参数a与b的拟合值
aˆ y bˆx
（3.2.5）
n
bˆ Lxy Lxx
(xi x)( yi y)
i 1
n
(xi x)2
i 1
n i 1
xi yi
1n (
n i1
n
xi )(
i 1
yi )
n
n
n
Q ( ya yˆa )2 [ ya (b0 b1x1a b2 x2a bk xka )]2 min（3.2.13）
a1
a 1
由求极值的必要条件得
Q
b0
n
2 ( ya
a 1
yˆ a )
0
Q
b j
n
2 ( ya
49 157 270.400 2 407.549
9 2 260.180 197.239
50
2 086.426 266.541
10
334.332
99.729
51
3 109.070 261.818
11 11 749.080 558.921
52
8.2.1一元线性回归模型(共13张PPT)
2. 在一元线性回归模型（1）中，参数b的含义是什么？
Y = bx + a + e ,
(1)
E(e) = 0, D(e) = σ2.
解：在一元线性回归模型（1）中，参数b为斜率参 数，参数b的含义是父亲的身高每增加1cm，儿子的身高 平均增加bcm.
3. 将图中的点按父亲身 高的大小次序用折线连 起来，所得到的图像是 一个折线图，可以用这 条折线图表示儿子身高 和父亲身高之间的关系 吗？
(1)
E(e) = 0, D(e) = σ2.
我们称(1)式为Y关于x的一元线性回归模型.
其中，Y称为因变量或响应变量，x称为自变量或解释
变量；a和b为模型的未知参数，a称为截距参数，b称为斜
率参数；e是Y与bx+a之间的随机误差.
模型中的Y也是随机变量，其值虽然不能由变量x的值
确定，但是却能表示为bx+a与e的和(叠加)，前一部分由 x
而对于父亲身高为 xi 的某一名男大学生，他的身高yi 并不一定为b xi +a，它仅是该子总体的一个观测值，这个 观测值与均值有一个误差项ei=yi －(bxi +a).
思考? 你能结合具体实例解释产生模型(1)中随机误 差项的原因吗?
在研究儿子身高与父亲身高的关系时，产生随机误差 e的原因有：
8.2一元线性回归模型及其应用
通过前面的学习我们已经了解到，根据成对样本数据 的散点图和样本相关系数，可以推断两个变量是否存在相 关关系、是正相关还是负相关，以及线性相关程度的强弱 等.
进一步地，如果能像建立函数模型刻画两个变量之间 的确定性关系那样，通过建立适当的统计模型刻画两个随 机变量的相关关系，那么我们就可以利用这个模型研究两 个变量之间的随机关系，并通过模型进行预测.
一元线性回归模型
一元线性回归模型1．一元线性回归模型有一元线性回归模型（统计模型）如下，y t = 0 + 1 x t + u t上式表示变量y t 和x t之间的真实关系。
其中y t 称被解释变量（因变量），x t称解释变量（自变量），u t称随机误差项， 0称常数项， 1称回归系数（通常未知）。
上模型可以分为两部分。
（1）回归函数部分，E(y t) = 0 + 1 x t,（2）随机部分，u t。
图2.1 真实的回归直线这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系；商品价格与供给量的关系；文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系；身高与体重的关系等。
以收入与支出的关系为例。
假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。
但实际上数据来自各个家庭，来自各个不同收入水平，使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。
随机误差项u t中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。
所以在经济问题上“控制其他因素不变”是不可能的。
回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略，（2）人的随机行为，（3）数学模型形式欠妥，（4）归并误差（粮食的归并）（5）测量误差等。
回归模型存在两个特点。
（1）建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。
（2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。
通常线性回归函数E(y t) = 0 + 1 x t是观察不到的，利用样本得到的只是对E(y t) = 0 + 1 x t 的估计，即对 0和 1的估计。
在对回归函数进行估计之前应该对随机误差项u t做出如下假定。
(1) u t 是一个随机变量，u t 的取值服从概率分布。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章一元线性回归模型基本要求：1、了解相关与回归的概念2、理解线性回归模型的假定3、掌握普通最小二乘法4、理解最小二乘估计量的性质5、会进行回归模型的检验第一节一元线性回归模型概述一、相关与回归的基本概念（一）变量之间的关系各种经济变量之间的关系，一般可以分成两类，即完全确定的关系和非确定性的依存关系。
1．确定性关系或函数关系如果一个变量值能被一个或若干个其他变量值按某一规律唯一的确定，则这类变量之间就具有完全确定的关系。
例如，当每吨水的价格为P元时，居民应缴纳的水费Y（元）与用水量X（吨）之间的关系可表示为Y=PX。
2．非确定性关系如果变量之间既存在密切的数量关系，又不能由一个（或几个）变量之值精确的求出另一个变量之值，但在大量统计资料的基础上，可以判别这类变量之间的数量变化具有一定的规律性，也称为统计相关关系。
例如消费支出Y与可支配收入X之间有一定的关系，在一定范围内，收入增加，在理论上可以估计出增加的消费支出额。
但应看到，可支配收入虽然是影响消费支出的重要因素，却不是唯一的因素。
因此，根据可支配收入并不能精确的求出消费支出，也就不能用精确的函数关系表达式来表示这两个变量之间的关系。
计量经济学就是研究变量间的非确定关系的，变量间的统计相关关系可以通过相关分析和回归分析来研究。
（二）相关分析1、涵义相关分析是通过对经济现象的依存关系的分析，找出现象间的相互依存的形式和相关程度，以及依存关系的变动规律。
2、类型——从变量间的依存形式看，可分为线性相关和非线性相关。
线性相关反映变量间的依存关系可以近似的表示为一条直线；变量间的依存关系近似的表示为一条曲线则称为非线性相关。
3、指标从变量间的相关程度看，可以通过相关系数来度量。
两个变量之间的相关程度可以用简单相关系数来衡量；多个变量之间的相关程度可以用复相关系数、偏相关系数等来衡量。
（三）回归分析1．回归的定义回归分析是研究某一被解释变量（因变量）与另一个或多个解释变量（自变量）间的依存关系，其目的在于根据已知的解释变量值或固定的解释变量值（重复抽样）来估计和预测被解释变量的总体平均值。
在研究某一社会经济现象的发展变化规律时，所研究的现象或对象称为被解释变量，它是分析的对象，把引起这一现象变化的因素称为解释变量，它是引起这一现象变化的原因。
被解释变量则反映了解释变量变化的结果。
2．回归模型的分类（1）按模型中自变量的多少，分为一元回归模型和多元回归模型。
一元回归模型是指只包含一个解释变量的回归模型多元回归模型是指包含两个或两个以上解释变量的回归模型。
（2）按模型中参数与被解释变量之间是否线性，分为线性回归模型和非线性回归模型。
对于“线性”的解释：一种是就变量而言是线性的，即线性回归模型是指解释变量与被解释变量之间呈线性关系；另一种是就参数而言是线性的，即线性回归模型是指参数与被解释变量之间呈线性关系；非线性回归模型是指参数与被解释变量之间呈非线性关系。
就回归模型而言，通常“线性”是就参数而言的。
（3）按模型中方程数目的多少，分为单一方程模型和联立方程模型。
单一方程模型是指只包含一个方程的回归模型；联立方程模型是指包含两个或两个以上方程的回归模型。
3．相关与回归的关系相关分析是回归分析的基础和前提，回归分析则是相关分析的深入和继续。
相关分析需要依靠回归分析来表现变量之间数量相关的具体形式，而回归分析则需要依靠相关分析来表现变量之间数量变化的相关程度。
相关分析只研究变量之间相关的方向和程度，不能推断变量之间相互关系的具体形式，也无法从一个变量的变化来推测另一个变量的变化情况。
注意避免“虚假回归”：只有当变量之间存在高度相关时，进行回归分析寻求其相关的具体形式才有意义。
如果在没有对变量之间是否相关以及相关方向和程度做出正确判断之前，就进行回归分析，很容易造成“虚假回归”。
二者的区别：（1）在相关分析中涉及的变量不存在自变量和因变量的划分问题，变量之间的关系是对等的；而在回归分析中，则必须根据研究对象的性质和研究分析的目的，对变量进行自变量和因变量的划分。
因此，在回归分析中，变量之间的关系是不对等的。
（2）在相关分析中所有的变量都必须是随机变量；而在回归分析中，自变量是给定的，因变量才是随机的，即将自变量的给定值代入回归方程后，所得到的因变量的估计值不是惟一确定的，而会表现出一定的随机波动性。
（3）相关分析主要是通过一个指标即相关系数来反映变量之间相关程度的大小，由于变量之间是对等的，因此相关系数是惟一确定的。
而在回归分析中，对于互为因果的两个变量，则有可能存在多个回归方程。
二、一元线性回归模型（一）总体回归函数1、总体回归函数假若我们要研究的问题是某市N 户城镇居民家庭的可支配收入X 和消费支出Y 之间的关系，则全体N 户居民家庭构成了研究的总体。
表2-1给出了全部居民家庭可支配收入和消费支出统计资料。
表2-1 居民家庭可支配收入和消费支出统计表可支配收入 消费支出 户数 平均消费支出 （X ） （Y ）1211112111122122222 (|) (|j N j N X Y Y Y Y N E Y X X Y Y Y Y N E Y X 212) (i i i i ij iN i X Y Y Y Y N E Y 12|) (|k i k k k kj kN k X X Y Y Y Y N E Y X )k从表2-1可以看出：对于某一收入水平i X (k i ,,2,1 =)，有i N (k N N N N +++= 21)户居民家庭消费支出与其对应，反映出在某一收入水平下有关消费支出的条件分布。
根据该条件分布，可以计算出在某一收入水平下平均消费支出)/(i X Y E ，即条件均值。
从表2-1还可以看出：对于每一收入水平i X ，仅有唯一的一个条件均值)/(i X Y E 与其对应，这种一一对应的关系构成了函数关系，该函数称为总体回归函数（Population Regression Function, PRF ）。
记为：)()/(i i X f X Y E = （2-1）总体回归函数反映了给定X i 的Y 分布的总体均值随X 的变化而变化的关系。
2、回归系数：0β和1β总体回归函数f (X i )若采用线性函数的形式，有：ii X X Y E 10)/(ββ+= （2-2）其中0β和1β是未知而固定的参数，称为回归系数（Regression Coefficients ），0β称为截距系数（Intercept Coefficients ），1β称为斜率系数（Slope Coefficients ）。
该函数称为线性总体回归函数。
（二）总体回归函数的随机设定)/(i X Y E 描述了在某一收入水平下平均消费支出水平，但是对于某一户居民的家庭消费支出i Y 不一定恰好与该水平一致，或多或少地存在一些偏差。
该偏差用i μ表示，并定义：)/(i i i X Y E Y -=μ （2-3） 则有：i i i i i X X Y E Y μββμ++=+=10)/( （2-4）式（2-4）中i μ 反映了除收入之外众多影响消费支出的因素的综合影响，是一个不能观测的随机变量，称为随机误差项（Stochastic Error ）。
式（2-4）为总体回归函数的随机设定形式。
（三）样本回归函数根据总体资料可以建立总体回归函数，揭示被解释变量随解释变量的变化而变化的规律。
但在大多数实际情况中，总体的信息往往无法全部获得，我们所掌握的不过是与某些固定的X 值相对应的Y 值的样本。
需要根据已知的样本信息去估计总体回归函数。
假定现在不知道建立总体回归函数的总体资料，仅仅掌握来自总体的一组样本数据，例如，根据调查得到某市职工个人月可支配收入与月消费支出数据资料（见表2-2）表2-2 某市职工个人月可支配收入与月消费支出调查资料 单位：元/月 序 号 1 2 345 6 7 8 9 10 可支配收入（X ） 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 消费支出（Y ）700650900950110011501200140015501500根据以上样本数据拟合一个线性方程：ii X Y 10ˆˆˆββ+= (2-5) 该方程式称为样本回归函数（Sample Regression Function, SRF ）。
比较式（2-2）与（2-5），假若0ˆβ充分地“接近”0β，并且1ˆβ也充分地“接近”1β，就可以用样本回归函数i Y ˆ去估计总体回归函数E (Y | X i )。
所以i Y ˆ亦称为E (Y | X i )的估计量；0ˆβ称为0β的估计量；1ˆβ称为1β的估计量。
式（2-5）中i Y ˆ与实际的值存在一定的偏差，该偏差i e 用表示。
定义：ii i Y Y e ˆ-=则有： ii i i i e X e Y Y ++=+=10ˆˆˆββ （2-6）i e 称为样本剩余项，也称为残差。
Yβ0+β1X ii 图2-1 总体回归函数与样本回归函数的关系第二节 一元线性回归模型参数估计一、古典线性回归模型的假定以一元线性回归模型Y i = β0 + β1X i + μi 为例，古典线性回归模型的假定如下： 假定1：在给定X i 的条件下，μi 的条件均值为零。
即，E (μi | X i )=0。
假定2：在给定任意X i 、X j 的条件下，μi 、μj 不相关。
即，Cov(μi , μj )=0。
假定3：对于每一个X i ，μi 的条件方差是一个等于σ2的常数。
即，Var (μi | X i )=σ2 。
假定4：在给定X i 的条件下，X i 和μi 不相关。
即，Cov (μi , X i )=0。
满足以上四个假定的线性回归模型称为古典线性回归模型。
所谓“古典”是作为一种标准或规范来使用的，凡是不满足以上假定的回归模型，就不是“古典”回归模型。
在前述假定下，用最小二乘法得到的回归参数的估计值，按照高斯—马尔可夫定理（Gauss-Markov Theorem ）的意义来说，是“最优的”。
假定5：对于每一个μi 都服从于均值为零、方差为σ2正态分布。
即，μi ~ N （0，σ2） 满足以上五个假定的线性回归模型称为古典正态线性回归模型。
二、普通最小二乘法（一）最小二乘原理利用样本回归函数估计总体回归函数，是根据一个给定的包含n 组X 和Y 观测数据的样本，建立样本回归函数，使估计值i Y ˆ尽可能接近观测值Y i 。
最小二乘原理就是根据使样本剩余的平方和达到最小的准则，确定模型中的参数，建立样本回归函数。
01ˆˆiX ββ+（二）最小二乘估计量 1、计算、推导由 ii i i i X Y Y Y e 10ˆˆˆββ--=-=，得 ∑∑--=2102)ˆˆ(iiiX Yeββ （2-7） 对于给定的样本，∑2i e 的大小取决于0ˆβ和1ˆβ的大小，即∑2i e 是0ˆβ和1ˆβ的函数。