最小二乘法估计量的性质(高斯—马尔可夫定理的初步证明)
第4章 最小二乘估计量的性质
因为
A XX XA XX X A XX XA XXX
1 1
1
Байду номын сангаас1
1 1 1 1 AA XX XA AXXX XX XXXX
AA XX 0
第4章
最小二乘估计量的特征
在满足基本假设的情况下，其结构参数的 普通最小二乘估计、最大或然估计及矩估计仍具 有： 线性性、无偏性、有效性。 同时，随着样本容量增加，参数估计量具有： 渐近无偏性、渐近有效性、一致性。
1、线性性
ˆ ( X X) 1 X Y CY β
其中,C=(X′X)-1 X′为一仅与固定的X有关的行 向量
1
所以
Var B 0 VarB AA 2 XX 2
1
AA XX 2 0
1
高斯—马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下，最小 二乘估计量是具有最小方差的线性无偏估计 量。
2、无偏性
ˆ ) E (( X X ) 1 X Y ) E (β E (( X X ) 1 X ( Xβ μ )) β ( X X ) 1 E ( X μ ) β
这里利用了假设: E(X′)=0
3、有效性（最小方差性）
其中利用了
ˆ ( X X) 1 X Y β
( X X ) 1 X ( Xβ μ) β ( X X ) 1 X μ
和
) 2I E (μμ
如果在上面以A替代 令 B0 AY
B0 X）= σ 2 AA' 则Var（
X X
'
1
高斯马尔可夫假设下ols估计量
高斯马尔可夫假设下ols估计量摘要：1.高斯- 马尔可夫定理的背景和条件2.OLS 估计量的定义和性质3.高斯- 马尔可夫定理下的OLS 估计量4.结论和应用正文：一、高斯- 马尔可夫定理的背景和条件高斯- 马尔可夫定理是线性回归分析中的一个重要定理，它描述了在一定假设条件下，最小二乘法（OLS）估计量的性质。
在经典线性回归模型中，我们通常假设观测数据符合正态分布，即误差项服从正态分布，这一假设被称为高斯分布假设。
此外，我们还需要假设线性回归模型中的参数满足马尔可夫假设，即参数之间的关系是线性的。
二、OLS 估计量的定义和性质OLS 估计量，即最小二乘法估计量，是一种用于求解线性回归模型参数的方法。
通过最小化观测数据的预测误差的平方和，我们可以得到参数的最佳值。
OLS 估计量具有以下性质：1.无偏性：OLS 估计量是参数的真实值的无偏估计，即E(估计值) = 真实值。
2.最小二乘性：OLS 估计量是使预测误差平方和最小的参数值。
3.线性性：OLS 估计量具有线性性质，即当模型参数发生变化时，估计量会按照相应的比例发生变化。
三、高斯- 马尔可夫定理下的OLS 估计量在高斯- 马尔可夫假设条件下，根据高斯- 马尔可夫定理，OLS 估计量是最优的线性无偏估计量。
这意味着在所有可能的线性无偏估计量中，OLS 估计量具有最小的预测误差平方和。
这一结论为OLS 估计量的广泛应用提供了理论依据。
四、结论和应用高斯- 马尔可夫定理为我们提供了在特定假设条件下，如何求解线性回归模型参数的最佳值的理论指导。
在实际应用中，我们通常使用OLS 估计量来求解回归模型参数，而高斯- 马尔可夫定理为我们提供了这一方法的理论支持。
《计量经济学》试题及答案大全(二)
《计量经济学》试题及答案第一章绪论一、填空题：1．计量经济学是以揭示经济活动中客观存在的___数量关系_______为内容的分支学科，挪威经济学家弗里希，将计量经济学定义为______经济理论____、______统计学____、___数学_______三者的结合。
2．数理经济模型揭示经济活动中各个因素之间的____理论______关系，用______确定____性的数学方程加以描述，计量经济模型揭示经济活动中各因素之间的____定量_____关系，用_____随机_____性的数学方程加以描述。
3．经济数学模型是用___数学方法_______描述经济活动。
第一章绪论4．计量经济学根据研究对象和内容侧重面不同，可以分为___理论_______计量经济学和___应用_______计量经济学。
5．计量经济学模型包括____单方程模型______和___联立方程模型_______两大类。
6．建模过程中理论模型的设计主要包括三部分工作，即选择变量、确定变量之间的数学关系、拟定模型中待估计参数的取值范围。
7．确定理论模型中所包含的变量，主要指确定__解释变量________。
8．可以作为解释变量的几类变量有_外生经济_变量、_外生条件_变量、_外生政策_变量和_滞后被解释_变量。
9．选择模型数学形式的主要依据是_经济行为理论_。
10．研究经济问题时，一般要处理三种类型的数据：_时间序列_数据、_截面_数据和_虚变量_数据。
11．样本数据的质量包括四个方面_完整性_、_可比性_、_准确性_、_一致性_。
12．模型参数的估计包括_对模型进行识别_、_估计方法的选择_和软件的应用等内容。
13．计量经济学模型用于预测前必须通过的检验分别是_经济意义检验、_统计检验、_计量经济学检验和_预测检验。
14．计量经济模型的计量经济检验通常包括随机误差项的_异方差_检验、_序列相关_检验、解释变量的_多重共线性_检验。
15．计量经济学模型的应用可以概括为四个方面，即_结构分析_、_经济预测_、_政策评价_、_检验和发展经济理论_。
gauss markov定理
gauss markov定理
高斯-马尔可夫定理是统计学中的一个基本原理，它断言在最小二乘意义下，正态误差的线性回归模型的最佳估计 (即：最小方差无偏估计) 是回归系数的线性无偏估计。
该定理是由高斯和马尔可夫独立提出的，因此被称为高斯-马尔可夫定理。
它的核心思想是：如果我们要对一个线性回归模型进行回归分析，并且假设误差项是独立、正态分布的，那么最小二乘估计得到的回归系数是无偏估计，并且具有最小方差。
因此，高斯-马尔可夫定理是线性回归模型中最优估计理论的基石。
高斯马尔可夫假设下ols估计量
高斯马尔可夫假设下OLS估计量1. 引言在统计学中，最小二乘法（Ordinary Least Squares, OLS）是一种常用的参数估计方法，用于拟合线性回归模型。
OLS估计量是基于高斯马尔可夫假设（Gauss-Markov assumption）下的一种无偏、一致且有效的估计方法。
本文将详细介绍高斯马尔可夫假设以及在该假设下的OLS估计量。
2. 高斯马尔可夫假设高斯马尔可夫假设是线性回归模型的关键假设之一，它包括以下几个假设条件： - 线性关系：自变量和因变量之间存在线性关系。
- 零条件均值：在给定自变量的条件下，误差项的条件均值为零。
- 同方差性：误差项的方差在所有自变量取值下都相等。
- 无自相关性：误差项之间不存在相关性。
- 无外生性：误差项与自变量之间不存在相关性。
高斯马尔可夫假设的核心是零条件均值和无自相关性。
零条件均值意味着在给定自变量的条件下，误差项的平均值为零，即误差项不受自变量的影响。
无自相关性意味着误差项之间不存在相关性，即任意两个误差项之间的协方差为零。
3. OLS估计量OLS估计量是基于高斯马尔可夫假设下的一种参数估计方法。
它通过最小化残差平方和来确定模型的参数估计值。
具体而言，OLS估计量的计算公式如下：β̂=(X T X)−1X T Y其中，β̂表示参数估计值，X是自变量的矩阵，Y是因变量的向量。
通过求解上述公式，可以得到使残差平方和最小化的参数估计值。
OLS估计量的优点在于它是无偏、一致且有效的。
无偏性指的是在样本趋于无穷大时，估计值的期望等于真实参数值；一致性指的是在样本趋于无穷大时，估计值以概率1收敛于真实参数值；有效性指的是在所有线性无偏估计中，OLS估计量具有最小的方差。
4. OLS估计量的性质OLS估计量在高斯马尔可夫假设下具有以下性质： - 线性性：OLS估计量是自变量的线性函数。
- 无偏性：在高斯马尔可夫假设下，OLS估计量是参数的无偏估计量。
参数最小二乘估计量的统计性质
ˆ
பைடு நூலகம்
(1 n
x
ki)
yi
(1 n
x
ki)(
xi
ui)
(
1 n
x
k i) ui
(2.3.7)
(2.3.7)表明 ˆ 是ui的线性函数。
二、无偏性
由(2.3.3)知 ˆ ki ui ，取期望值便有
E(ˆ ) ki E(ui)
(2.3.8)
其中E(ui) = 0，(2.3.8)表明 ˆ 是β的无偏估计量。
此时 ˆ* 与最小二乘估计量 ˆ 相等：
ˆ* ci yi ciki ki yi ˆ (2.3.15)
将此结果代入(2.3.14)便有
V (ˆ*)
2 u
k
2 i
2 u
xi2
此结果与(2.3.10)式相同。
(2.3.16)
对于ˆ 的最小方差性的证明与 ˆ 的证明完全类
似，请读者自己完成。
这样我们证明了，只要经典回归模型的假定2—5 满足，回归参数的最小二乘估计量就是线性、无 偏、最佳估计量，简称为最佳线性无偏估计量 (BLUE: best linear unbiased estimators)。这一 结论就是著名的高斯-马尔可夫 (Gauss Markov) 定理。 无偏性与最佳性结合起来构成了估计量好坏的重要 标志。由于最小二乘估计量的最佳线性无偏估计量 的特性，才使得最小二乘法得到了广泛的应用。
足条件
ci 0
ci xi 1
(2.3.13)
下面我们将在满足（2.3.13）的前提下，寻求 ˆ*
的最小方差：
V
(ˆ*)
V
(
ci
yi)
2 u
ci2
最小二乘法估计量的性质(高斯—马尔可夫定理的初步证明)
高斯—马尔可夫定理:若一元线性模型满足计量经济基本假设，则参数的最小二乘估计(OLS)是最小方差的线性无偏估计。
（BLUE )最小二乘法估计量OLS 的性质（高斯—马尔可夫定理的初步证明）1．线性性：0ˆβ和1ˆβ都是i y 的线性函数证明：ini nj j i n j jni iiy x x x x x x y x x∑∑∑∑====--=--=1121211)()()()(ˆβΘ ；令∑=--=nj ji i x xx x k 12)()(则有i ni i y k ∑==11ˆβ ，且有=∑ik，1=∑ii xk ，∑∑=-=ni ii x xk 122)(1从而1ˆβ是i y 的线性函数；同理，0ˆβ＝=-x y 1ˆβi i i i n i i y k x n y k x y n ∑∑∑⎪⎭⎫⎝⎛-=-=111令i i k x nw ⋅-=1，则有：i i y w ∑=0ˆβ，即0ˆβ也是iy 的线性函数。
另有：1=∑iw ，0=∑ii xw2. 无偏性：0ˆβ和1ˆβ都是0β、1β的无偏估计量； 即有：(),ˆ0ββ=E ()11ˆββ=E证明：先证()11ˆββ=EΘ ()i i i i n i i u x k y k ++==∑∑=1011ˆβββ， 又Θ0=∑ik，1=∑i i x k()∑∑∑=++===i i i i i ni i k u x k y k 01011ˆββββ+∑∑+i i i i u k x k 1β =∑+i i u k 1β()()1101ˆββββ=++⋅=∑∑∑i i i i i u E k x k k E(因为:0=∑ik，1=∑i i x k )同理，利用1=∑i w 和0=∑i i x w 可证得(),ˆ00ββ=E3. 最优性或最小方差性：在所有的线性无偏估计中，0ˆβ和1ˆβ分别是0β、1β的方差最小的有效估计量 证明：若1~β是原值1β的一个线性无偏估计（方差条件不限），且记∑=i i y c 1~β（∵线性估计），再根据无偏估计的特性，有：∑∑==1,0i i ix c c。
高斯-马尔科夫定理的内容解释
高斯-马尔科夫定理的内容解释嘿，朋友！咱们今天来聊聊高斯-马尔科夫定理。
这可是个在统计学里相当重要的家伙呢！你想想，咱们平常做研究、搞调查，总得从一堆乱糟糟的数据里找出点儿有用的规律和结论吧？这时候高斯-马尔科夫定理就像个神奇的指南针，能给咱们指明方向。
这个定理说呀，在线性回归模型中，如果一些条件满足了，那普通最小二乘法估计出来的回归系数就是最优线性无偏估计。
啥意思？简单说就是，在一定的前提下，用普通最小二乘法算出来的那些数，是又好又准的！就好比你要去一个陌生的地方，有好多条路可以走。
这普通最小二乘法就像是那条最直、最短、能最快带你到达目的地的路。
其他方法可能也能到，但要么绕远了，要么走偏了。
那到底要满足啥条件呢？比如说误差项的均值得是零，而且它们得相互独立，方差还得是常数。
这就像一群调皮的孩子，得守规矩，不能乱跑乱闹，不然整个局面就乱套啦。
再比如说，解释变量得和误差项不相关。
这就好像你做饭的时候，盐不能和糖混在一起，不然味道就不对啦！你可能会问，这定理有啥用啊？用处可大了去了！比如说在经济学里，咱们要研究某个因素对经济增长的影响，用这个定理就能帮咱们找到比较靠谱的结论。
在实际生活中，不也经常会遇到类似的情况吗？比如你想知道多锻炼是不是能让身体更健康，多学习是不是能考更高的分。
通过合理运用这个定理，就能让咱们的判断更准确，不容易被错误的信息给忽悠了。
你看，高斯-马尔科夫定理就像一位深藏不露的智者，默默地为我们在数据的海洋中指引方向，让我们不至于迷失。
咱们可得好好把它学明白，用起来，让它为咱们的研究和生活服务！总之，高斯-马尔科夫定理是统计学中的一颗璀璨明珠，咱们得好好珍惜，把它的光芒发挥到最大！。
简单线性回归模型试题及答案
第二章 简单线性回归模型、单项选择题:1、回归分析中定义的（B ）C 、解释变量和被解释变量都为非随机变量D 解释变量为随机变量，被解释变量为非随机变量 &下面哪一个必定是错误的（ C ）。
A Y?=30+0.2X i ,以丫 =0.8B 、= —75 + 1.5X i ,気=0.91 C 2.1X i , r XY =0.78 D 、 Y? = —12 —3.5X i , r XY = —0.969、 产量（X ,台）与单位产品成本（Y ,元/台）之间的回归方程为Y? = 356 -1.5X ，这说明（D 。
A 产量每增加一台，单位产品成本增加356元B 、产量每增加一台，单位产品成本减少1.5元C 、产量每增加一台，单位产品成本平均增加 356元D 、产量每增加一台，单位产品成本平均减少1.5元10、 回归模型Yi 八。
「X i , i = 1 ，…，25中，总体方差未知，检验H 。
： r =0时，所用的检验 统计量 —L 服从（D 。
S目A 2（n -2）B 、t （n-1）C 、2（n"）D 、t （n-2）11、 对下列模型进行经济意义检验，哪一个模型通常被认为没有实际价值的（ B ）。
A 、Ci （消费）=500弋.8^ （收入）B 、Qdi （商品需求）=10・0.81［（收入）0.9Pi （价格）CQ si （商品供给）二20（价格）D Y （产出量）765K 役（资本）L ："（劳动）12、进行相关分析时，假定相关的两个变量（A ）。
A 、解释变量和被解释变量都是随机变量2、 A 3最小二乘准则是指使（ D n Z （Y t -Y ） B 下图中“{”所指的距离是（ ）达到最小值的原则确定样本回归方程。
nE Y -Y? C 、max Y r -Y Dt -1n、' (Y t -Y?)2t 丄 5、 6、 线性 B 、无偏性 C、有效性 D参数-的估计量？具备有效性是指（B ）Var （ ?） =0 B 、Var （ ?）为最小 C 亠0反映由模型中解释变量所解释的那部分离差大小的是 总体平方和 B 、回归平方和 C 、残差平方和7、 (B )。
最小二乘估计量的性质
第三节 最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性 一、 线性特性的含义线性特性是指参数估计值1ˆβ和2ˆβ分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。
1、2ˆβ的线性特征证明 （1）由2ˆβ的计算公式可得： 222222()ˆt tttt ttttttt tt tt x y x Y x Y xxx xx x x x β--===⎛⎫== ⎪ ⎪⎝⎭∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y需要指出的是，这里用到了因为t x 不全为零，可设2tt tx b x =∑，从而，t b 不全为零，故2ˆt t b β=∑Y 。
这说明2ˆβ是t Y 的线性组合。
（2）因为12t t t Y X ββμ=++，所以有()212122ˆt t t t t t t t t t t tb b X b b X b b βββμββμβμ==++=++=+∑∑∑∑∑∑Y这说明2ˆβ是t μ的线性组合。
需要指出的是，这里用到了220t t t t t x x b x x ===∑∑∑∑∑以及 ()2222222201t t tt t t tt ttttttttx x X x b X X x x x x X x X x x x x x⎛⎫+⎪== ⎪⎝⎭++==+=∑∑∑∑∑∑∑∑∑∑∑∑∑2、1ˆβ的线性特征证明 （1）因为12ˆˆY X ββ=-，所以有 ()121ˆˆ1t t t t tY X Y X b nXb n ββ=-=-⎛⎫=- ⎪⎝⎭∑∑∑Y Y这里，令1a Xb n=-，则有1ˆt a β=∑Y 这说明1ˆβ是t Y 的线性组合。
（2）因为回归模型为12t t t Y X ββμ=++，所以()11212ˆt t t t t t t t t ta a X a a X a βββμββμ==++=++∑∑∑∑∑Y因为111t t t a Xb X b nn⎛⎫=-=-=⎪⎝⎭∑∑∑∑。
最小二乘估计
回归方程的精度和相关系数
为了估计回归方程的精度，进一步计算数据点 xi, yi 偏 离最佳直线y=a+bx的大小，所以计算剩余标准差 s ， 它反映着回归方程与各数据点的拟合程度。
s
vi n2
2
(1R ) syy n2
2
其中：
( yi ) 2 syy yi n
一元线性回归
首先，求偏差平方和，得： 2 n n φ= vi 2 yi a bxi
i 1 i 1 φ是a, b的函数。按最小二乘法，当a, b选择合适，能使 φ为最小时，y=a+bx才是最佳曲线。 对a和b分别求出偏导数。得：
vi i 1 a n vi 2 i 1 b
在多元回归中残差向量为：
残差平方和为：
多元线性回归
多元回归系数的估计表达式：
多元回归模型残差的样本方差：
也可得到多元判定系数R2：
原理-非线性回归
设由实验获得了两个变量x,y的一组数据(xi, yi),且由数据点 在x，y坐标中的分布规律可以判断出两个变量间成非线性 关系。用一条曲线（数学关系式）最佳地代替数据点的分 布规律方法： （1）根据数据点的分布尽可能准确地绘出一条曲线，并和 已有确切数学表示式的曲线相比较，寻找合适的数学关系 式。 （2）进行变量替换，将 化，在 使非线性关系线性
原理-一元线性回归
已知函数为线性关系，其形式为： y=a+bx (1) 式中a, b为要用实验数据确定的常数。此类方程叫线性 回归方程，方程中的待定常数a, b叫线性回归系数。 由实验测得的数据是 x= x1, x2,………. xn 时， 对应的y值是y= y1,y2,…….yn
2.2 最小二乘的估计性质
ˆ ) E ( k ) k E ( ) E( i i 1 i i 1 1 1
同样地，容易得出
ˆ ) E ( w ) E( ) w E ( ) E( i i i i 0 0 0 0
3、有效性（最小方差性） ， 即在所有线性无偏估计量
2
x nX n x
2 i 2 i
2
2
X n x
2 i i
2 2
（2）证明最小方差性
ˆ * 是其他估计方法得到的关于 的线性无偏估计量： 假设 1 1
ˆ* c Y ii 1
其中，ci=ki+di，di为不全为零的常数
则容易证明
ˆ * ) var( ˆ) var( 1 1
ˆ + ˆ Xi + ei • (2) 估计的统计模型 ： Yi= 0 1
• (3) 真实的回归直线：E(Yi) = 0 + 1 Xi
ˆ = ˆ + ˆ Xi • (4) 估计的回归直线： Y i 0 1
二、参数估计量的概率分布及随机误差 项方差的估计
ˆ 的概率分布 ˆ 和 1、参数估计量 0 1
2 1 x 1 1 2 2 2 Xk i X 2 k i2 2 X k i X 2 i 2 x n n n n i 2
2
2 1 X n x2 i
高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
ˆ 证： 1
x y x
i 2 i
04_OLS的性质-Gauss-Markov定理
OLS 估计是无偏估计，即 得数学期望分别等于总体回归系数的值 ； 证明：
容易计算 ； ；
因此我们有
于是
(*) ；
思考 1 上面的证明用到 CLM 模型的哪些假设条件？
2 式， 于是
其中， 是
的方差，也叫总体方差；
思考 1 上面的计算过程应用了 CLM 模型的哪些基本假设？ 2 计算证明
04 最小二乘估计(OLS)的统计性质
前面我们介绍了一元线性回归模型的参数估计方法，即最小二乘估计,在此我们 首先需要明确以下几点事实：
OLS 不是估计回归系数的唯一办法！ （因此我们需要讨论采用这种方法的好处……）
OLS 估计量 是随机变量! （因此我们需要讨论其统计性质，期望，方差，分布……）
OLS 估计的最小方差性，即假设 计量，则总有
是用其它方法得到任意一组线性无偏估
我们把结论证明的过程留给感兴趣的同学. 思考 该结论说明了什么？
Gauss-Markov 定理 在满足 CLM 的一般假设下，OLS 估计是最优线性无偏估计（the Best Linear Unbiased Estimator，BLUE）
实践最小二乘估计法本身并不需要对模型施加额外条件； （但是，在讨论其性质的时候，我们需要施加一些假设，注意这些假设，它 是我们后半部分课程讨论的重点！）
OLS 是线性估计，即 证明：
均是
的线性函数；
令
，则 可以表示为
即， 可以表示为 的线性组合. 练习 类似证明， 也可以表示为 的线性组合；
古扎拉蒂《计量经济学基础》复习笔记和课后习题详解(双变量回归模型：估计问题)【圣才出品】
6．假定 6：观测次数 n 必须大亍待估计的参数个数。
7．假定 7：X 发量的性质。 （1）在一个给定的样本中，X 的叏值必须要有发异，即 var（X）是有限的正数。 （2）为了避免回归结果叐到异常观测值的支配，X 发量的叏值没有异常，即没有一个 X 值相对余观测而言过大戒过小。
3．假定 3：干扰项 ui 的均值为零，即 E（ui|Xi）＝0。 此假定是所选回归模型中丌存在设定偏误的另一种表述，该假定意味着模型设定中丌存 在遗漏重要发量、包含丌必要发量和错误函数形式的情况。E（ui|Xi）＝0 同时也意味着这 两个发量乊间无关，ui 是一个外生的发量。若 X 是非随机的，E（ui）＝0。
Yi＝β1＋β2Xi＋ui
由亍 PRF 无法直接观测，可通过样本回归斱程 SRF 去估计：
∧
∧
∧
∧
∧
Yi＝β1＋β2Xi＋ui＝Yi＋ui
∧
∧
∧
∧
所以：ui＝Yi－Yi＝Yi－β1－β2Xi。
选择残差平斱和尽可能小的 SRF，即最小化下式：
∧
∧
∧
∧
∑ui2＝∑（Yi－Yi）2＝∑（Yi－β1－β2Xi）2
ˆ2 n
n
Yi X i
X
2 i
Xi
Yi
n
Xi X
Yi Y
2
2
Xi
n Xi X
xi yi xi2
＿＿
＿
＿
其中X和Y是 X 和 Y 的样本均值，幵且定义 xi＝Xi－X和 yi＝Yi－Y，可得：
ˆ1 n
X
2 i
Yi
n
X
2 i
Xi
X iYi
2
Y ˆ2 X
最小二乘法的原理
最小二乘法的原理
最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。
根据样本数据，采用最小二乘估计式可以得到简单线性回归模型参数的估计量。
但是估计量参数与总体真实参数的接近程度如何，是否存在更好的其它估计式，这就涉及到最小二乘估计式或估计量的最小方差（或最佳）（Best）性、线性（Linear）及无偏（Unbiased）性，简称为BLU特性。
这就是广泛应用普通最小二乘法估计经济计量模型的主要原因。
下面证明普通最小二乘估计量具有上述三特
性 [10] 。
1、线性特性
所谓线性特性，是指估计量分别是样本观测值的线性函数，亦即估计量和观测值的线性组合。
2、无偏性
无偏性，是指参数估计量的期望值分别等于总体真实参
数 [10] 。
3、最小方差性
所谓最小方差性，是指估计量与用其它方法求得的估计量比较，其方差最小，即最佳。
最小方差性又称有效性。
这一性质就是著名的高斯一马尔可夫（Gauss-Markov）定理。
这个定理阐明了普通最小二乘估计量与用其它方法求得的任何线性无偏估计量相比，它是最佳的。
第四讲_(计量经济学第二章)
^ − ^ − ^ − β0 = Y − β1 X1 − β2 X2 ^ ( ∑ yi x1i )∑ x22i −( ∑ yi x2i )∑ x1i x2i 2 2 2 β1 = ∑ x1i ∑ x2 i −( ∑ x1i x2 i ) ^ ( y x ) x2 −( y x ) x x β 2 = ∑ i 2i 2∑ 1i 2 ∑ i 1i ∑2 1i 2i ∑ x1i ∑ x2 i −( ∑ x1i x2 i )
∑x1i x2i )x2i ]Y
= ∑k1iYi
∑ x12i −( ∑ yi x1i )∑ x1i x2i β2 = ∑ x2 x2 −( ∑ x x )2 1i 2 i 1i ∑ 2 i 2 ∑[(∑ x1i ) x2 i yi ]−∑[(∑ x1i x2 i ) x1i yi ] = 2 2 2 ∑ x1i ∑ x2 i −( ∑ x1i x2 i ) 2 [(∑ x1i ) x2 i −( ∑ x1i x2 i ) x1i ] = ∑{ ∑ x2 x2 −( ∑ x x )2 yi } 1i 2 i 1i ∑ 2 i
二元线性回归 模型参数的普 通最小二乘估 计。
1、将解简化： 、将解简化：
β1 =
=
∑[(
^
( ∑ yi x1i )
∑ ∑x1i x2i 2 2 2 ∑ x1i ∑x2i −( ∑ x1i x2i )
2 x2i −( ∑ yi x2i )
∑
2 x2i )x1i yi ]−∑[(
∑
(
x1i x2i )x2i yi ]
α
2
1 − α p{| T1 |< t } = 1 − α
^ ^
^ ^ 2 1 2 1
得置信区间： 得置信区间： ( β 1 − t α × S β , β 1 + t α × S β )
2.2 一元线性回归模型的最小二乘估计
（1）线性性，即它是否是另一随机变量的线性 函数；
（2）无偏性，即它的均值或期望值是否等于总 体的真实值；
（3）有效性，即它是否在所有线性无偏估计量 中具有最小方差。
这三个准则也称作估计量的小样本性质。
拥有这类性质的估计量称为最佳线性无偏估计 量（best liner unbiased estimator, BLUE）。
3、有效性（最小方差性），即在所有线性无偏估计量
中，最小二乘估计量ˆ0 、 ˆ1 具有最小方差。
(1)先求ˆ0 与ˆ1 的方差
var(ˆ1) var( kiYi )
k
2 i
var( 0
பைடு நூலகம்
1X i
i
)
k
2 i
var(i
)
xi xi2
易知 故
ki
xi 0 xi2
ˆ1 1 ki i
ki Xi 1
E(ˆ1 ) E(1 ki i ) 1 ki E(i ) 1
同样地，容易得出
E(ˆ0 ) E(0 wi i ) E(0 ) wi E(i ) 0
二、参数的普通最小二乘估计（OLS）
给定一组样本观测值（Xi, Yi）（i=1,2,…n）要 求样本回归函数尽可能好地拟合这组值.
普通最小二乘法（Ordinary least squares, OLS） 给出的判断标准是：二者之差的平方和
n
n
Q (Yi Yˆi )2 (Yi (ˆ0 ˆ1 X i )) 2
为保证参数估计量具有良好的性质，通常对 模型提出若干基本假设。
常用算法分析——最小二乘法
常用算法分析——最小二乘法目录1.引言2.普通最小二乘法（OLS）3.OLS实现4.广义最小二乘法（GLS）简介1、引言最小二乘法应该是我们最早接触的一种数值估计算法。
它的特殊形式，一元线性回归，被广泛地应用于多种数值统计分析场合。
例如，在验证欧姆定律（U = IR）时，通常的实验方法是分别测量出多个不同电压Ui下，通过电阻的电流值Ii，然后将这些(Ui, Ii)观测点，代入到一元最小二乘公式(1-1)中，便可计算出\hat{R}。
\begin{cases}a&=&\frac{\sum{xy}-\frac{1}{N}\sum{x}\sum{y}}{\sum{x^2}-\frac{1}{N}(\sum{x})^2}\\b&=&\frac{1}{N}\sum{y}-\frac{a}{N}\sum{x}\end{cases} (1-1)由此可得出线性拟合式(1-2)\hat{y}=a\hat{x}+b (1-2)其中，\hat{y}=\hat{U},\ \hat{x}=\hat{I},\ a=\hat{R},\ b 是残差。
通过此方法将观测点及拟合曲线绘制在同一个直角坐标系中，正常情况下可以直观地看到，观测点会均匀分布在直线附近，且每个点的残差平方和（即方差）最小。
“最小二乘法”由此得名。
2、普通最小二乘法（OLS）最小二乘法显然不只是一元线性回归那么简单，它还可以应用于多元参数的拟合。
本节将对普通最小二乘法（Ordinary Least Squares）的原理进行简单的推导和证明。
2.1、高斯—马尔可夫定理高斯—马尔可夫定理（the Gauss–Markov theorem，简称G-M定理）在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量（即Best Linear Unbiased Estimator，简称BLUE)。
G-M定理共对OLS普通线性方程提出5个假设：假设1（线性关系）：要求所有的母集团参数（population parameters）为常数，用来保证模型为线性关系。
03最小二乘估计量的性质
ZX Zy 1 βIV plim plim ( Z X ) Zy n n
1
3.5 工具变量与两阶段最小二乘估计
• 工具变量估计量的渐近分布
bIV ~ N [β,
a
2
n
-1 Q-1 Q Q ZX ZZ XZ ], Q ZX plim(Z X / n), Q ZZ (Z X / n )
Frequency
3.2 最小二乘估计量的统计性质
• 最小方差性
• 令b0=Cy为β的另外一个无偏估计量，则：E[Cy|X]=E[(CXβ+Cε)|X]=β， 显然CX=I 1 1 C [ X : 0 ] X • 考虑 ，其中 0 是X的K行构成的逆，则Var[b0|X]=σ2CCʹ 0 • 令D=C-(XʹX)-1Xʹ，则Dy=b0-b，于是
第三讲
最小二乘估计量
3.1 最小二乘估计的动机 3.2 最小二乘估计量的统计性质 3.3 数据问题 3.4 最小二乘估计量的渐近性质 3.5 工具变量与两阶段最小二乘
3.1 最小二乘回归的动机
• 最小均方误预测（Minimum mean squared error predictor）
• 记y的线性预测为xʹγ，这个预测的均方误为
Var[b0 | X] 2[(D (XX)1 X)(D (XX)1 X)]
• 由CX=I=DX+(XʹX)-1XʹX，可知DX=0，因此
Var[b0 | X] 2 ( XX) 1 2 DD Var[b | X] 2 DD
3.2 最小二乘估计量的统计性质
• 工具变量与两阶段最小二乘（工具变量个数>内生回归元个数）
bIV
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
---------------------------------------------------------------最新资料推荐------------------------------------------------------
最小二乘法估计量的性质（高斯—马尔可夫定理的初
步证明）
高斯马尔可夫定理: 若一元线性模型满足计量经济基本假设，
则参数的最小二乘估计(OLS) 是最小方差的线性无偏估计。
（BLUE) 最小二乘法估计量 OLS 的性质（高斯马尔可夫定理的
初步证明） 1．线性性：
0 和1 都是iy的线性函数证明：
；
令=j=njiixxxxk12)()( 则有 iniiyk==11 ，且有0=ik，
1=iixk，=i=niixxk122)(1 从而1 是iy的线性函数；同理， 0 ＝
令iikxnw=1，则有：
iiyw=0，即0 也是iy的线性函数。
另有：
1=i w，0=iixw 2. 无偏性：
0 和1 都是0 、1 的无偏估计量；即有：
( )=,00=E ( )11=E 证明：
先证 ( )11E ，又，
1=iixk ()=i=++==iiiiinikuxkyk01011+1 +iiiiukxk ==+iiuk1 ( )(因为: ( )u1101=++=i0iiiiiEkxkkE =ik，1ixk) 同理，利用
1=i w和0=iixw可证得 ( ),00=E 3. 最优性或最小方差性：在所有的线性无偏估计中，0 和1 分别是0 、1 的方差最小的
1 / 2
有效估计量证明：
若1~ 是原值1 的一个线性无偏估计（方差条件不限），且记=iiyc1~（∵线性估计），再根据无偏估计的特性，有：再记P==111==1, 0iiixcc。
()iiiykc~，则有11~+= P ( )Cov(+)),(2)()(),(2),(),(),(~,~~1111111111PCovDPDPCovCovP PPPCovCovD++=+=++== 如果能证明0),(1=PCov，则利用方差不小于 0 的性质，判定)()()()~(111DDPDD+=，1 即为所有无偏的线性估计中方差最小的。
∵2u2i2u1)())((),)((),(iiiiiiiiiikkckkcykykcCovPCov=== 又∵=j=njiixxxxk12)()( 且有：
0=ik，1=iixk，=i=niixxk122)(1 所以0)(1)(1212112i===j=j=i=injnjnniiiiixxxxxcxckkc，0),~((1 =PCov, 有：
)()()()111DDPDD+=，命题得证。
（此处利用了==1, 0iiixcc）。