一元线性回归模型(20200619065502)
第二章一元线性回归模型
Y
60 40 20
0 -20 -40 -60
-60 -40 -20 0 20 40 60 X
相关系数为： 4.24E-18
(四)相关分析的特征
⑴.两个变量是对等关系，不分彼此，不 反 映任何自变量和因变量的关系，互换顺序是 一样的，是双向的关系。
⑵. 相关系数的范围是 -1≤r≤1，其值大小反 映两变量间相关的密切程度，正负号表示正 相关或负相关，其值的大小与尺度无关。
英国著名统计学家卡尔·皮尔逊（Karl Pearson） 1890年设计了一个用于测定两个变量之间线性相关 程度和相关方向的指标—简单相关系数,也称为 Pearson相关系数。 （1）相关系数的定义 （2）相关系数的计算 （3）根据相关系数初步判定变量之间的关系 （4）简单相关系数的缺陷
（1）相关系数的定义
X 2 2X X X 2
X 2 2X X nX 2
X 2
2nXБайду номын сангаас
X
2
nX
n
X 2 2n X 2 n X 2
X 2 nX 2
n X 2 X 2
n
同理：
y2
2
Y Y
Y 2 nY 2 n
（3）简单相关系数只适用于两个变量之间的相 关关系，所以称为简单相关系数若变量为三个或 三个以上时，就要用复相关系数计算。
（4）偏相关系数
大千世界中复杂的、多种因素存在相互关联。为 了描述其间的关联，这里定义的相关系数虽然比 协方差指标优越，但是仍然存在不足之处：它裹 胁了其它变量的影响或者它们之间的关系乃是其 它变量的变化所致.
XY XY
计量经济学第二章--一元线性回归模型
2 、同方差假定：每一个随机误差项的方差为常数，即:
经 济
Var(Yi ) Var(i ) 2 (常数)
学
该假定表明：给定X对应的每个条件
分布都是同方差的，每个Y值以相同
的分布方式在它的期望值E(Y)附近波
动
10
3、无自相关假定：任意两个随机误差项之间不相关，用数学
形式表示为：
Cov(i, j ) E (i E(i ))( j E( j )) 0
)
xiYi Y xi2
xi
xi 0
bˆ1
xiYi xi2
(bˆi
x12
x1Y1 x22
xn2
x12
x2Y2 x22
xn2
...
x12
xnYn x22
xn2
)
19
令
ki
xi xi2
则
bˆi
kiYi
(1) k i
(
xi xi2
)
xi xi2
0
计 量 经 ki的性质 济 学
2 n
2k1k21 2
2kn1kn n1 n
)
量
经
k12
E
(12
)
k22
E
(
2 2
)
kn2
E
(
2 n
)
2k1k2
E
(1
2
)
2kn
1kn
E
(
n1
n
)
济
学 由古典线性回归模型的假定可知，对每一个随机变量，有
E(i2) 2, E(i j ) 0(当i j时)
Var(bˆ1)
k12 E (12
一元线性回归模型
一元线性回归模型1．一元线性回归模型有一元线性回归模型（统计模型）如下，y t = β0 + β1 x t + u t上式表示变量y t 和x t之间的真实关系。
其中y t 称被解释变量（因变量），x t称解释变量（自变量），u t称随机误差项，β0称常数项，β1称回归系数（通常未知）。
上模型可以分为两部分。
（1）回归函数部分，E(y t) = β0 + β1 x t,（2）随机部分，u t。
图2.1 真实的回归直线这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系；商品价格与供给量的关系；文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系；身高与体重的关系等。
以收入与支出的关系为例。
假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。
但实际上数据来自各个家庭，来自各个不同收入水平，使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。
随机误差项u t中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。
所以在经济问题上“控制其他因素不变”是不可能的。
回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略，（2）人的随机行为，（3）数学模型形式欠妥，（4）归并误差（粮食的归并）（5）测量误差等。
回归模型存在两个特点。
（1）建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。
（2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。
通常线性回归函数E(y t) = β0 + β1 x t是观察不到的，利用样本得到的只是对E(y t) = β0 + β1 x t 的估计，即对β0和β1的估计。
在对回归函数进行估计之前应该对随机误差项u t做出如下假定。
(1) u t 是一个随机变量，u t 的取值服从概率分布。
一元线性回归模型的参数估计
斜率（β1）
表示 x 每变化一个单位，y 平均变化的数量。
一元线性回归模型的假设
线性关系
因变量 y 和自变量 x 之间存在线性关系。
误差项独立
误差项 ε 之间相互独 立，且与 x 独立。
误差项的正态性
误差项 ε 的分布是正 态的。
误差项的无偏性
误差项 ε 的期望值为 0，即 E(ε) = 0。
有限的方差
回归分析的分类
一元回归分析
研究一个自变量和一个因变量之间的关系。
多元回归分析
研究多个自变量和一个因变量之间的关系。
线性回归模型
线性回归模型是一种常用的回归分析方法，它假设自变量和因变量之间存在线性关系，即可以用一条 直线来描述它们之间的关系。
在一元线性回归模型中，自变量和因变量之间的关系可以表示为一条直线，即 y = ax + b，其中 a 是斜 率，b 是截距。
确定样本数据
收集用于估计参数的样本数据。
构建估计量
根据模型和样本数据构建用于估计参数的统计量。
计算估计值
通过计算统计量的值得到参数的估计值。
评估估计质量
通过统计检验和图形方法评估估计的质量和可靠性。
05 模型的评估与检验
模型的拟合度评估
决定系数（R^2）
衡量模型解释变量变异程度的指标，值越接 近1表示模型拟合度越好。
数据整理
将数据整理成适合进行统计分析 的格式，如表格或图形，以便后 续分析。
建立一元线性回归模型
确定自变量和因变量
根据研究问题选择合适的自变量和因变量，确 保它们之间存在一定的关联性。
散点图分析
绘制散点图，观察自变量和因变量之间的关系， 初步判断是否适合建立一元线性回归模型。
一元线性回归模型PPT课件
b1、b2
Yi B1 B2 Xi ui
ei
第18页/共67页
3.3 参数的最小二乘估计
• 参数估计：普通最小二乘法（OLS）
• 普通最小二乘法就是要选择参数 ，使得残差平方和（residual sum of squares, RSS） 最小。
•即
b1、b2
ei2
Q ei2
Yi Yˆi 2
Xi 也称 自变量（independent variable）
称为 参数（parameter）
B , B 1 称2为 随机扰动项（random error term）
ui
第13页/共67页
3.2 随机扰动项的来源
• 上式如何解释？
• 可以认为，在给定家庭收入水平 上，第i个学生的数学分数可以表达为两部分之和：
第14页/共67页
3.2 随机扰动项的来源
•
第15页/共67页
3.2 随机扰动项的来源
• 性质1：扰动项代表了未纳入模型变量的影响。例如个人健康状况、居住区域等等。 • 性质2：反映了人类行为的内在随机性。即使模型中包括了决定数学分数的所有变量，其内在随机性也
不可避免，这是做任何努力都无法解释的。 • 性质3：还代表了度量误差，例如收入的数据可能不等于真实值。 • 性质4：“奥卡姆剃刀原则”——即描述应该尽可能简单，只要不遗漏重要的信息，此时可以把影响Y
第8页/共67页
3.1 回归的涵义
• 样本回归函数（sample regression function, SRF） • 可用样本回归函数（SRF）表示样本回归线：
其中， 总体条件均值
的估计量；
Yˆi b1 b2 Xi
Yˆ E Y X • 并非所有样本数据都准确地i落在样本回归线上，因此建立随机i 样本回归函数：
一元回归线性模型
一元回归线性模型
一元线性回归模型，又称为简单线性回归模型，是机器学习中常
用的回归模型，它是利用一个自变量X来预测因变量Y的结果。
一元
线性回归模型将样本数据映射为一条直线，如y=ax+b，其中a是斜率，b是截距，也就是说，一元线性回归模型中的参数是斜率和截距，而拟
合的直线就是根据样本数据估计出来的最佳拟合直线。
目标函数是求解参数 a 和 b，使得误差平方和最小，具体来说，
目标函数的表达式为：J（a,b）=Σi(yi-f(xi))^2,其中f（x）=ax+b，yi为观测值，xi为观测值对应的自变量。
对于一元线性回归模型，求解参数 a 和 b 的最优方法要么是直
接用梯度下降法求解，要么是用最小二乘法求解。
梯度下降法求解时，需构造损失函数，使用梯度下降法迭代更新参数，直到获得最优结果；而最小二乘法求解时，通过求解参数关于损失函数的导数，便可解出
模型参数，从而得到最优结果。
一元线性回归模型在实际应用中有很多优点，其中最重要的就是
它易于拟合和解释，它求解简单，可以很大程度上减少了计算复杂度，而且可以很好地预测因变量的值，也可以用来检验变量之间的关系。
一元线性回归模型ppt课件
差e的原因.
例1.（多选）在如图所示的四个散点图，适合用一元线性回
归模型拟合其中两个变量的是( AC ).
例2．在一元线性回归模型中，下列关于Y＝bx＋a＋e的说法正确的是( C )
A．Y＝bx＋a＋e是一次函数
B．响应变量Y是由解释变量x唯一确定的
C．响应变量Y除了受解释变量x的影响外，可能还受到其他因素的影响，这
Y bx a e
(1)
2
E (e ) 0，D(e ) .
追问3.对于父亲身高为xi的某一名男大学生，他的身高yi一定是bxi+a吗？
对于父亲身高为的某一名男大学生，他的身高 并不一定为
bxi+a ，它仅是该子总体的一个观测值，这个观测值与均值有一个误
差项ei=yi -(+a).
相关程度较高.
编号
1
2
3
4
5
6
7
8
9
10
11
12
13
14
父亲身高/cm 174
170
173
169182172180172168
166
182
173
164
180
儿子身高/cm 176
176
170
170
185
176
178
174
170
168
178
172
165
182
问题2.根据表中的数据，儿子身高和父亲身高这两个变量之间的关系可以
参数；e是Y与bx+a之间的随机误差. 模型中的Y也是随机变量，其值虽不能由变
量x的值确定，但却能表示为bx+a与e的和，前一部分由x所确定，后一部分是随
计量经济学一元线性回归模型PPT课件
习题答案
• （1）收入、年龄、家庭状况、政府的相关政策等也是 影响生育率的重要的因素，在上述简单回归模型中， 它们被包含在了随机扰动项之中。有些因素可能与增 长率水平相关，如收入水平与教育水平往往呈正相关、 年龄大小与教育水平呈负相关等。
• （2）当归结在随机扰动项中的重要影响因素与模型中 的教育水平educ相关时，上述回归模型不能够揭示教 育对生育率在其他条件不变下的影响，因为这时出现 解释变量与随机扰动项相关的情形，基本假设4不满足。
存在原因
一般用希腊字母 或 表示
第一，人类的经济行为本身带有随机性； 第二，通常一个变量总是受众多因素的影响； 第三，任何函数反映经济变量之间的关系都只是一种简化反映； 第四，经济数据来源于调查统计，而非严格的控制实验；
第22页/共162页
二、随机误差项
结论
一个经济变量通常不能被另一个经济变量完全精确地决定，需要 引入随机误差项来反映各种误差的综合影响，主要包括：
i 1
（2-3）
相关系数的取值介于1—1之间， 取值为负表示两变量之间存在负相关关系； 取值为正表示两变量之间存在正相关关系； 取值为1表示两变量之间存在完全负相关关系； 取值为0表示两变量不相关； 取值为1表示两变量之间存在完全正相关关系。
第14页/共162页
例如：
函数关系：
圆面积 f ,半径 半径2
主要内容
得到回归方程； 3）对回归方程中的变量、方程进行显著性检验，推求参数
的置信区间、模型的预测置信区间；
4）利用回归模型解决实际经济问题。
第16页/共162页
4. 相关分析与回归分析之间的关系
联系：
1）都是对存在相关关系的变量的统计相关关系的研究； 2）都能测度线性相关程度的大小； 3）都能判断线性相关关系是正相关还是负相关。
一元线性回归模型
一．一元线性回归模型1. 一元线性回归模型的基本假设有哪些？违背假设是否能估计？为什么？ 答:①E(i V |i X )=0 随机项i V 的数学期望为0 ②Var(i V |i X )=E{[i V —E(i V )]2}=E (2i V )=2u σ③COV(i V ，j V )=E{[i V —E(i V )][j V —E(j V )]}=0 i V ，j V 相互独立不相关 ④COV(i V ，i X )=0 解释变量i X 与误差项i V 同期独立无关 ⑤i V ～N(0，2u σ) i X ，i V 服从正态分布的随机变量 违背的话可以估计 但是要对原数据适当的处理 2. 方差分析表与参数估计表的结构变差来源 平方和 自由度 均方F统计量回归 残差 ESS RSS 12n - ESS22e RSS n S -= 1(2)ESSF RSSn =-总变差 TSS1n -21y TSS n S -=―2R =ESS TSS =1—RSSTSS=2212211[()()]()()ni i i n niii i x x y y x x y y ===----∑∑∑TSS=21()nii yy =-∑ ESS=21ˆ()ni yy =-∑ RSS=21ˆ()ni i y y =-∑ Eviews 输出结果 参数估计值 估计值标准差 F 检验 Variable Coefficient Std. Error t-Statistic Prob.C （0β） （S(0ˆβ)） 0β<对0β显著 X 1β>非线性不通过R-squared Adjusted R-squaredProb(F-statistic) >方程本身不是线性的 结论：该案例结果不理想 无论从个别还是总体上原因：(1) 0β，1β个别检验不通过 (2)F 检验远远超过期望的值(>5%or>10%) (3) 2R =拟合度特别差<50%(注：2R >80%or>70%认为拟合度好)3. 回归方程的标准记法ˆi y=0β+1βi x Se=(S(0ˆβ)) (S(1ˆβ)) 22211ˆ()ˆ22nni i i i uey yn n σ==-==--∑∑2221121ˆ()2()ni u i nii e s n x x σβ===--∑∑222211ˆ()[]()Xn ii x s nx x βσ==+-∑ 111ˆˆ()t s ββ= *代表显著性大小 **代表1%下显著 *代表5%下显著 无*代表5%下不显著 4. t 检验与F 检验的步骤(1) t 检验：01:0H β=11:0H β≠Next 111ˆˆ()t s ββ=～t(n-2) Next 查t 分布表临界值2(2)t n α- α取1%或5% Next 当|t|≥2(2)t n α-拒绝原假设10β≠说明y 对x 的一元线性相关显著当|t|<2(2)t n α-不拒绝原假设10β≠说明y 对x 的一元线性相关不显著(2) F 检验：01:0H β=11:0H β≠ Next 12ESSF RSS n =-(上：回归 下：残差)=？(假设=100)Next 查F α(1，n-2) Next 当100≥F α(1，n-2)拒绝0H 说明y 对x 的一元线性相关显著当100<F α(1，n-2)不拒绝0H 说明y 对x 的一元线性相关不显著(注：统计软件用P 值进行检验P>α等价F<F α(1，n-2)此时不拒绝0H 当P<αF>F α(1，n-2)此时拒绝0H ) 二．多元线性回归模型1. 基本假设：(1) 随机误差项i V 的条件期望值为0 即E(i V |1i X …ki X )=0 (2) 随机误差项i V 的条件方差相同Var(i V |1i X …ki X )=2u σ (3) i V 之间无序列相关COV(i V ，j V )=0 (4) i V ～N(0，2u σ)(5)各种解释变量之间不存在显著的线性相关关系 2.矩阵表达式12ˆˆˆ.ˆn y y y y ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 11112211...1.....1...k k n kn x x x x x x x ⎫⎛⎪⎪ =⎪ ⎪ ⎝⎭0ˆˆ.ˆk βββ⎛⎫ ⎪= ⎪ ⎪⎝⎭ 1ˆ()()x x x y β-''= 参见P51 例3-1 3随机误差项u 的方差2u σ的最小二乘估计量221ˆ1nii X en k σ==--∑=21ˆ()1niii y yn k =---∑随机误差项i U 同方差且无序列相关 则方差协方差矩阵Var-COV(u)=E(uu ')=)(112.,...n n u E u u u u ⎛⎫⎪ ⎪ ⎪⎝⎭=2u σI4.方差分析表变差来源 平方和 自由度 均方F统计量回归 残差 ESSRSS 12n - ESS22e RSS n S -= 1(2)ESSF RSSn =-总变差 TSS1n -21y TSS n S -=―2R =ESS TSS TSS=21()n i i y y =-∑ ESS=21ˆ()n i y y =-∑ RSS=21ˆ()ni i y y =-∑ 221111(1)11RSSn n k R R TSS n k n ---=-=----- 222211ˆ()ˆ11nniiii i u ey ySe n k n k σ==-===----∑∑5. P69 8(1) 0β1β3β的个别检验不通过，2β的个别检验通过 (2)F 检验通过 对结果不满意三．违背古典假定的计量经济模型 2. 自相关D-W 检验 (1)d< L d ,u 存在一阶正自相关(2)d>4-L d ,u 存在一阶负自相关 (3)u d <d<4-u d ,不存在自相关(4)L d <d<u d ，或4-u d <d<4-L d 时,u 是否存在自相关,不能确定 4.异方差的white 检验(以二元线性模型为例) 二元线性回归模型：01122i i i i y x x u βββ=+++ ① 异方差与解释变量12,x x 的一般线性关系为：2i σ=0α+11i x α+22i x α+231i x α+242i x α+512i i x x α+i V ②<1>运用OLS 估计的式① <2>计算残差序列i并求2i<3>做2i对1i x ，2i x ，21i x ，22i x ，12i i x x 的辅助回归，即222011223142312ˆˆˆˆˆˆˆi i i i i i i e x x x x x x αααααα=+++++ ③其中2ˆi e 为2i e 的估计<4>计算估计量2nR ，n 为样本容量2R 为辅助回归的可决定系数<5>在不存在异方差的原假设下2nR 服从自由度为5的2χ分布，给定显著性水平α查2χ分布表得临界值2αχ(5) 如果2nR >2αχ(5)则拒绝原假设，表明模型中随机误差存在异方差 5.杜宾二步法：第一步求出自相关系数的估计值ˆ第二步利用ˆ进行广义差分变换 对差分模型利用OLS 求的参数0β和1β的估计值0ˆβ和1ˆβ 6.方差扩大因子检验多元回归模型中多重共线性：1x =f(x2,x3….xk) x2=f(x1,x3…xk) …xj=(x1,x2...1j x -…xk) xk=f(x1,x2….1k x -)对每个回归方程求其决定系数分别为12R ，22R (2)j R (2)k R ，在决定系数中寻求最大而接近者，比如2x R 最大，则可判定解释变量Xj 与其他解释变量的一个或多个相关程度高，因此就使回归方程式y=f(x1,x2….xk)表现高度多重共线性，计量经济学中检验多重共线性时，往往称(1-2j R )为自变量Xj 的容忍度，其倒数为方差扩大因子，记为211j jVIF R =- 当模型中全部k 个自变量所对应的方差扩大因子平均数远远大于1时就表明存在严重的多重共线性。
一元线性回归模型
1078 1254 1496 1683 1925 2233 2552 1122 1298 1496 1716 1969 2244 2585 1155 1331 1562 1749 2013 2299 2640 1188 1364 1573 1771 2035 2310 1210 1408 1606 1804 2101
• 因此,给定收入X得值Xi,可得消费支出Y得条 件均值(conditional mean)或条件期望 (conditional expectation):E(Y|X=Xi)。
• 该例中:E(Y | X=800)=605 • 描出散点图发现:随着收入得增加,消费“平均
地说”也在增加,且Y得条件均值均落在一根 正斜率得直线上。这条直线称为总体回归线。
3500
每 月 消 费 支 出 Y （元）
3000 2500 2000 1500 1000
500
0
500
1000
1500 2000 2500 3000 每月可支配收入X（元）
3500 4000
Y
E(Y X i ) 1 2 X i
**********
**********
**********
**********
– (2)对回归方程、参数估计值进行显著性检 验;
– (3)利用回归方程进行分析、评价及预测。
大家应该也有点累了，稍作休息
大家有疑问的，可以询问和交
12
二、总体回归函数
• 回归分析关心得就是根据解释变量得已知
一元线性回归模型
第二章一元线性回归模型第一节一元线性回归的概念框架一、回归分析的基本概念Simulate二、总体回归函数<PRF, Population Regression Function）(一>条件均值<条件期望）在X固定为某一数值的条件下Y的均值。
<二）PRF的定义如果Y的条件均值是X的函数，该函数成为PRF.PRF的另一种表达方式：在定义扰动项后，PRF亦可记为随机扰动项的含义：p34PRF是存在的，但也是未知的。
三、样本回归函数<SRF，Sample Regression Function）目的：根据来自样本的有限信息，尽可能真是地拟合总体回归函数。
根据样本数据，可以估计出下列函数，称为样本回归函数。
第二节样本回归函数的最小二乘估计<OLS， Ordinary Least Squares）一、O LS的估计准则二、截距系数和斜率系数的估计 P26-27三、OLS估计量的描述统计性质性质1：回归线通过X、Y的样本均值<样本均值点在回归线上）。
性质2：Y的估计值的均值等于其实际观测值的均值，即性质3：残差的均值为零。
4.残差与因变量的估计量不相关。
性质5：残差与解释变量不相关四、OLS估计的数理统计性质101011111111111221212.ˆ()ˆ()()()()()()()()1i i i i i i i i i i i i i ii i i i i i i i i i i i i i i i i ii i i i i ii i i k Y k X u k k X k u k X k u E E k X k u E k X E k u E k X E k u k X k E u k X k x X k x x x x x x x βββββββββββββββββ==++=++=+=+=+=+=+==+====∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑无偏性21201110110110111ˆˆˆ()()()1ˆ()()1()1(())1()1()i ii i i i i i i x E E Y X E Y X nE Y XE n E X u X n X E u X n n X X nn nX X βββββββββββββββββ==-=-=-=++-=++-=+-=+-∑∑∑∑∑∑∑3.最小方差性在所有线性无偏估计量中，OLS估计量的方差为最小――最优线性无偏估计量<Best Linear Unbiased Estimator, BLUE）----高斯－马尔科夫定理。
一元线性回归模型
ˆ u
i
Y
i
ˆ Y
i
Y
i
ˆ
0
ˆ X
1
i
A X i ,Y
i
横向距离
距离 A为实际点，B为拟合 直线上与之对应的点
纵 向 距 离
B
x
i
,
ˆ y
i
X
二、普通最小二乘法
二、普通最小二乘法
记
xi
2
(X i X )
2
X
2 i
1 n
X
i
2
xi yi
证： ˆ 易知
1
i
k iYi
i 2 i
ki ( 0 1 X i i ) 0 ki 1 ki X i
kii
k
x x
0
ki X
i
1
故
ˆ 1 1
kii
ˆ E (1) E (1
kii ) 1
高斯—马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下，在线性无 偏估计量一类中，最小二乘估计量有最小方差
一、OLS估计量的统计性质
ˆ ˆ 2、 无 偏 性 ， 即 估 计 量 0 、 1 的 均 值 （ 期 望 ） 等 于 总 体 回 归
参 数 真 值 0 与 1
2 1 X n n
2
2
(1 / n X k i )
第二章_一元线性回归模型
）
1420 1860 2260 2660
3540
合计 5740 10980 14580 18180 21780 19740 22540 25340 28140 30940
从表2.1中可以看出，对于每月1000元收 入的7户家庭，每月消费支出为700元到940元 不等。同样，当X=3000元时，9户家庭的每月 消费支出在2180元到2660元之间。
2
X
2 i
就不是线性的，因为 E(Y / X i ) 对 Xi 的一阶导数不是常数。
2．对参数为线性
对线性的第二种解释是指Y 的条件期望
E(Y / X i 是) 参数β的一个线性函数。它可
以是也可以不是变量的X 的线性函数。
此时，E(Y
/
X
i
)
1
2
X
2 i
就是
线性回归函数。E但(Y / Xi ) 1 2 Xi
其中，β1和β2 为未知而固定的参数，称 为回归系数；β1为截距系数,β2为斜率系 数。式（2.2）为线性总体回归函数。
三、线性的含义
1．对变量为线性 对线性的第一种解释是指Y 的条件期望是 Xi 的线性函数，例如式（2.2）就是线性回归 函数，该回归线是一条直线。
按这种解释
E (Y
/
X
i
)
1
如果我们观察图2.2中那些代表Y 的 各个条件均值的粗圆点，则表明这些条 件平均值落在一根有正斜率的直线上。 我们称这根直线叫做总体回归线，它是 Y 对X 的回归。
总体回归线就是当解释变量取给定值 时,被解释变量的条件均值或期望值的轨 迹。
图2.2表明，对每一Xi 都有Y 值的一个 总体和一个相应的均值。而回归线是穿 过这些条件均值的线。
一元线性回归模型及参数估计
步骤：收集数据、建立模型、 计算参数、评估模型
优点：简单易行，适用于线 性回归模型
最大似然估计法
定义：最大似然 估计法是一种基 于概率的参数估 计方法，通过最 大化样本数据的 似然函数来估计
参数。
原理：利用已知 样本数据和概率 分布函数，计算 出样本数据出现 的概率，然后选 择使得概率最大 的参数值作为估
参数估计的性质
无偏性
定义：参数估计量是 无偏估计时，其期望 值等于参数的真实值。
性质：无偏性是线性 回归模型参数估计的 最基本性质之一，是 评价估计量优劣的重 要标准。
证明：可以通过数学 推导证明无偏性，具 体过程可以参考相关 教材或论文。
应用：在回归分析中， 无偏性可以保证估计 的参数具有最小误差， 从而提高预测的准确 性和可靠性。
计值。
优点：简单易行， 适用于多种分布 类型的数据，具
有一致性。
局限：对样本数 据的要求较高， 当样本数据量较 小或分布不均时， 估计结果可能不
准确。
最小绝对误差准则
定义：最小化预测值与实际值之间的绝对误差
优点：对异常值不敏感，能够更好地处理数据中的噪声和异常值
缺点：可能导致模型过于复杂，过拟合数据 应用场景：适用于预测连续变量，尤其是当因变量和自变量之间的关系是 非线性的情况
行处理。
处理方法：包括 删除不必要的自 变量、合并相关 性较高的自变量、 使用其他模型等
方法。
模型预测与决策应用
预测未来趋势
利用一元线性回 归模型预测未来 趋势
模型参数估计的 方法和步骤
预测结果的解读 与决策应用
模型预测的局限 性及改进方法
制定决策依据
利用回归方程进行 预测
ห้องสมุดไป่ตู้
第二章 一元线性回归模型
由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘 估计量（ordinary least squares estimators）。
ˆ 例：根据数据计算 0 ˆ1
ˆ 1
(Y Y )( X X ) 10931250 20625000 (X X )
i i 2 i
E (Y X i ) f ( X i )
将总体被解释变量Y的条件均值表现为解释变量X的函数， 这个函数称为总体回归函数（Population Regression Function，简记为PRF）。这是总体回归函数的条件期望 表示方式。
假如Y的总体条件均值 E (Y 可表示为：
X i )是解释变量X的线性函数，
1
解方程组，得
ˆ 1
X Y nXY X nX
i i 2 i 2
(Y Y )( X X ) (X X )
i i 2 i
离差形式
ˆ ˆ 0 Y 1 X
令 xi X i X
y i Yi Y
ˆ
1
xy x
i 2 i
i
残差或剩余项
思考： 总体回归函数与样本回归函数的差别？ 相关分析与回归关系的异同？
2.2 一元线性回归模型的参数估计
一元线性回归模型的基本假定 参数的普通最小二乘估计（OLS） OLS估计线的性质 最小二乘估计量的性质
回归分析的主要目的是要通过样本回归函 数（模型）SRF尽可能准确地估计总体回归函 数（模型）PRF。 估计方法有多种，其种最广泛使用的是普通 最小二乘法（ordinary least squares, OLS）。 为保证参数估计量具有良好的性质，通常对 模型提出若干基本假设。 注：实际这些假设与所采用的估计方法紧密 相关。