第五章 多元回归分析大样本性质
第5章 多元回归分析OLS的渐近性
Sampling Distributions as n
n3
n1 < n2 < n3 n2 n1
b1
湖大商学院 chenqianli
5.1 一致性
定理5.1：OLS的一致性 ˆ 在假定MLR.1-MLR.4下，OLS的估计量 b j 是参数 b j 的一致估计量 ( j 0,1, , k ) 在简单回归模型中可容易推导出：
湖大商学院 chenqianli
5.2 渐近正态和大样本推断
大样本下的其他检验：大样本下对多元排除约 束进行检验的方法还有：Wald检验、似然比检 验和拉格朗日乘数检验。它们考虑的出发点不 同，但是渐近等价的。 拉格朗日乘数检验：考虑多元回归模型 y b0 b1 x1 bk xk u 对最后q个变量是否排除的假设为： H0 : bk q1 bk 0
湖大商学院 chenqianli
2ห้องสมุดไป่ตู้
a
5.2 渐近正态和大样本推断
以上定理的重要之处在于，它去掉正态性假设 MLR.6，只要求误差项具有有限方差。它指出， 只要样本足够大，进行参数检验和构造置信区 间，都与经典线性模型下的做法完全一样。 样本容量要多大才能符合大样本的要求？有些 学者认为n=30就令人满意，但这不可能对付u 的所有可能的分布，样本还是尽可能的大，这 在社会科学基本能满足。在大样本下使用的统 计量又称渐近统计量。
湖大商学院 chenqianli
5.1 一致性
估计量的无偏性固然重要，但并非总能实现， 如回归中 的估计量 ˆ 就不是无偏估计量。既 然并非所有有用的估计量是无偏的，所以几乎 所有的经济学家都同意，一致性是对一个估计 量的最起码要求。 描述一致性有几种不同方法，直观的理解为： 如果一个估计量是一致的，则随着样本容量的 增加，该估计的分布会越来越紧密地分布在所 估计的真实参数的周围，当n趋于无穷时，其 分布就紧缩成单一的点，即真实参数值。 一致估计量允许我们通过增加样本容量的途径来 对未知参数做出符合任意精度要求的估计。
05_第五章ols估计
b 的渐近分布为
' 2 1 −1 b ~ N (β , Σ− xxV Σ xx / n ) ； V = E ( x xε ) 。
a
s 2 的大样本性质
根据假定 4.1~4.3
证明：
ei ≡ y i − xi b = ε i − xi (b − β )
ei2 = ε i2 − 2(b − β ) ' xi'ε i − (b − β ) ' xi' xi (b − β )
证明：根据中心极限定理
1 n d n ( ∑ xiε i ) → N (0, E ( x ' xε 2 )) ， 又 因 为 n i =1
， 根 据 Slutsky 定 理 的 推 论 ，
1 p lim( n
∑x x )
i =1
n
' −1 i i
1 = Σ− xx
d 1 −1 n (b − β ) → N (0, Σ − xxV Σ xx ) 。
n 1 1 ' −1 −1 p lim ∑ xiε i = E ( xε ) = 0 ；再根 根据大数定理 p lim( ∑ xi xi ) = Σ xx ； n i =1 n i =1
n
据 Slutsky 定理，有
p lim b = β
。
7
根据假定 4.1～4.4,b 的渐近正态性为：
d 1 −1 n (b − β ) → N (0, Σ − xxV Σ xx ) 。
lim P{| X n − c |< ε } = 1
n →∞
）； 记 为
p lim X n = c 。
Chebychev’s 不等式： 不等式
P(| X n − c |≥ ε ) ≤
多元统计分析回归分析
03
多元线性回归分析
多元线性回归模型的建立
确定自变量和因变量
01
在建立多元线性回归模型时，首先需要明确哪些变量是自变量
（解释变量），哪些是因变量（响应变量）。
确定模型形式
02
根据研究目的和数据特征，选择合适的多元线性回归模型形式，
如线性、多项式、逻辑回归等。
确定模型参数
03
根据选择的模型形式，确定模型中的参数，如回归系数、截距
04
多元非线性回归分析
多元非线性回归模型的建立
确定因变量和自变量
首先需要确定回归分析中的因变量和自变量， 并收集相关数据。
确定模型形式
根据理论或经验，选择合适的非线性函数形式 来表示自变量与因变量之间的关系。
确定模型参数
根据数据，使用适当的方法确定模型中的参数。
多元非线性回归模型的参数估计
01
详细描述
在社会调查中，回归分析可以帮助研究者了解不同因素对人类行为的影响，例如 教育程度、收入、性别等因素对个人幸福感的影响。通过回归分析，可以揭示变 量之间的关联和因果关系，为政策制定和社会干预提供科学依据。
生物医学数据的回归分析
总结词
生物医学数据的回归分析是多元统计分析在生命科学领域的应用，用于研究生物标志物和疾病之间的 关系。
详细描述
在经济领域，回归分析被广泛应用于股票价格、通货膨胀率 、GDP等经济指标的分析和预测。通过建立回归模型，可以 分析不同经济变量之间的因果关系，为政策制定者和投资者 提供决策依据。
社会调查数据的回归分析
总结词
社会调查数据的回归分析是多元统计分析在社会科学领域的应用，用于研究社会 现象和人类行为。
特点
多元统计分析具有多维性、复杂性和实用性。它可以处理多个变量之间的交互 作用和综合效应，广泛应用于各个领域，如经济学、社会学、生物学等。
伍德里奇《计量经济学导论》(第4版)笔记和课后习题详解-第5~9章【圣才出品】
βˆ1 的不一致性为：
plimβˆ1 β Cov x1,u /Var x1
圣才电子书 十万种考研考证电子书、题库视频学习平台
第 5 章 多元回归分析：OLS 的渐近性
5.1 复习笔记
一、一致性
1．定理 5.1：OLS 的一致性
在假定 MLR.1～MLR.4 下，对所有的 j＝0，1，2，…，k，OLS 估计量 βˆ j 都是 βj 的一
致估计。
其次，零条件均值假定意味着已经正确地设定了总体回归函数（PRF）。也就是说，在 假定 MLR.4 下，可以得到解释变量对 y 的平均值或期望值的偏效应。如果只使用假定 MLR.4＇，那么，β0＋β1x1＋β2x2＋…＋βkxk 就不一定代表了总体回归函数，也就面临着 xj 的某些非线性函数可能与误差项相关的可能性。
三、OLSHale Waihona Puke 的渐近有效性4 / 162
圣才电子书
1．简单回归模型
标准正态分布在式中出现的方式与 tn－k－1 分布不同。这是因为这个分布只是一个近似。
实际上，由于随着自由度的变大，tn－k－1 趋近于标准正态分布，所以如下写法也是合理的：
βˆj βj
/ se
βˆ j
a
~ tnk 1
2．其他大样本检验：拉格朗日乘数统计量
（1）包含 k 个自变量的多元回归模型
①假定 MLR.4＇是一个更自然的假定，因为它直接得到普通最小二乘估计值。
多元回归——大样本性质
计量经济学七多元回归模型——大样本性质小样本性子：估计量在样本大小为有限的情况下表现出来的性质，例如无偏估计； 大样本性质：估计量在样本大小为无限的情况下表现出来的性质，例如一致估计一、一致估计()[()()]0,,:()lim (),()n n n n n n P T p T T θτθτθετθεθτθτθτθ→∞-<<+=∀∈Θ−−→=p n 设T 是在样本大小为时对的估计量,如果lim T 记为或则为的一致估计量定理1、在假设MLR1到MLR4下， ,ββ是的一致估计即：lim n n p ββ→∞=。
定理1中的MLR3可以弱化为MLR3’：123:[|,,...,]03':[]0,)033'3'k M LR E x x x M LR E x M LR M LR M LR εεε===⇒⇒和cov(3M LR遗漏变量：011220111121121::,,cov(,):lim var()y x x y x x x p x βββεββεβββββ=+++=++=+正确的模型但估计的模型记由此模型得出的的估计量为有 即如果遗漏的变量与模型中的自变量相关，则得出的结果不是一致估计。
二、大样本的推论定理2、在假设MLR1到MLR5下，在大样本中(0,)(0,1)aa N I N ββ−−→-−−→，其中 22σσ是的一致估计。
由定理2，可在没有假设MLR6的情况下，在大样本中对单个参数进行检验。
LM 检验（拉格朗日乘数检验）011010111,01122:0,,0:;2. ,, ;3. ;4. k k k q k k q k q kk ku q y x x H y x x LM x x x x LM nR LM μβββμβββββμμμμβββεχ-+--=++++===++++=++++= 2限制的模型检验的步骤1.由限制的模型,得出残差,记为用为因变量为自变量:得出拟合度R 计算在大样本中为分布。
第5章多元线性回归分析1
样本，可表示为
Y 1 1 2 X 2 1 3 X 3 1 ... k X k 1 u 1
Y 2 1 2 X 2 2 3 X 3 2 ... k X k 2 u 2
Y n 1 2 X 2 n 3 X 3 n ... k X k n u n
相关系数，即全部自变量参与回归的总体相
关系数，Rmxi 为去掉xi 的复相关系数。可见
部分相关系数的平方是在总体拟合效果中扣 除了其他变量综合拟合效果之后剩余部分。
15
16
多元线性回归模型
●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验
17
§5.1多元线性回归模型及古典假定
j 个解释变量的单位变动对应变量平均值的影响。
20
多元线性回归
指对各个回归系数而言是“线性”的，对变量则 可是线性的，也可是非线性的 例如：生产函数
YALKu
取自然对数
l n Y ln A l n L l n K l n u
21
多元总体回归函数
Y 的总体条件均值表示为多个解释变量的函数
因为 Xe=0 ，则正规方程为：
XXβˆ =XY
32
OLS估计式
由正规方程 多元回归中 二元回归中
XXβˆ =XY ( X X ) k k 是 满 秩 矩 阵 ,其 逆 存 在
βˆ=(XX)-1XY
ˆ1Y-β ˆ2X2-β ˆ3X3
ˆ2(
yix2 i)( x3 2 i)-( yix3 i)( x2 ix3 i) ( x2 2 i)( x3 2 i)-( x2 ix3 i)2
多元回归分析
Multi Regression
22
Adjusted R2
在迴歸分析中，如果自變項的個數很多，有時 候就要用調整後的判定係數代替原先的判定係 數，因為增加新的自變項後，均會使R2變大。
「Adjusted R2」為調整後的判定係數：
SSE 2 2 n k 1 1 n 1 (1 R 2 ) Adjusted R R a 1 SST n k 1 n 1
平均平方和MS SSR MSR k SSE MSE n k 1
F F MSR MSE
ˆ Note: 殘差 ei yi yi ,i 1, 2,, n
K為預測變數個數(不含β0)
Multi Regression 18
模式檢定(1)
迴歸分析之假說檢定包括總檢定與邊際檢定兩種。 總檢定： – 目的在探討迴歸模式中的所有斜率係數是否全部 為0。 – 當斜率係數不全為0時，Y與(X1,X2,…,XK)才具有 某種程度的函數關係 。 – 總檢定之虛無假說與對立假說可列示如下： H0: j=0，對所有j H1: j0，對某些j (j=1,2,…,K) – 檢定統計量: F=MSR/MSE
2 iid
或
Y1 1 X11 X1k 0 1 Y2 1 X21 X2k 1 2 Yn 1 Xn1 Xnk k n
Yn1 Xn(k1)β(k1)1 ε n1
Multi Regression
17
迴歸分析 ―變異數分析表
變異來源 迴歸 隨機 總和 平方和SS
ˆ ˆ SSR y 2 (Y Y ) 2
SSE e 2 (Y Y ) 2
多元回归分析
多元回归分析引言多元回归分析是一种统计方法，用于探究自变量对因变量的影响程度。
它通过建立一个数学模型，分析多个自变量与一个因变量之间的关系，以预测因变量的变化。
本文将介绍多元回归分析的基本原理、应用场景和步骤。
基本原理多元回归分析建立了一个包含多个自变量的线性回归方程，如下所示：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε其中，Y为因变量，X1、X2、…、Xn为自变量，β0、β1、β2、…、βn为回归系数，ε为误差项。
回归系数表示自变量对因变量的影响程度。
多元回归分析可以通过最小二乘法估计回归系数，即找到使误差项平方和最小的系数值。
在得到回归系数后，可以通过对自变量的设定值，预测因变量的值。
应用场景多元回归分析广泛应用于各个领域，例如经济学、社会科学和工程学等。
以下是一些常见的应用场景：1.经济学：多元回归分析可以用于预测经济指标，如国内生产总值（GDP）和通货膨胀率。
通过分析多个自变量，可以了解各个因素对经济发展的影响程度。
2.社会科学：多元回归分析可以用于研究社会现象，如教育水平和收入水平之间的关系。
通过分析多个自变量，可以找出对收入水平影响最大的因素。
3.工程学：多元回归分析可以用于预测产品质量，如汽车的油耗和引擎功率之间的关系。
通过分析多个自变量，可以找到影响产品质量的关键因素。
分析步骤进行多元回归分析时，以下是一般的步骤：1.收集数据：收集自变量和因变量的数据，并确保数据的可靠性和有效性。
2.数据预处理：对数据进行清洗和转换，以消除异常值和缺失值的影响。
3.变量选择：根据实际问题和领域知识，选择合适的自变量。
可以使用相关性分析、变量逐步回归等方法来确定自变量。
4.拟合模型：使用最小二乘法估计回归系数，建立多元回归模型。
5.模型评估：通过检验残差分布、解释变量的显著性和模型的拟合程度等指标，评估多元回归模型的质量。
6.预测分析：使用已建立的多元回归模型，对新的自变量进行预测，得到因变量的预测值。
第五章 多元回归分析大样本性质
遗漏变量（续）
• 因此，考虑渐进有偏的方向就如同分析遗 漏变量导致的有偏的方向一样 • 两者的不同在于分析渐进有偏时使用的是 总体的方差和协方差，而分析有偏时采用 的是样本的相应统计量 • 注意：不一致性是大样本中的问题，样本 量的增大并不能解决不一致性的问题
大样本的检验
• 前面提到在经典线性模型（ CLM）的假设 下，样本呈正态分布，因此我们可以推导 出相应的t 分布和F 分布用来进行检验 • 这里样本的正态分布是通过假设总体的扰 动项呈正态分布后得到的 • 这个关于扰动项的正态假设意味着在给定x 的情况下y 也呈正态分布
ln L
ln LR
似然比检验
ln L(θ )
c(θ )
Байду номын сангаас
d ln L dθ
拉格朗 日乘数 检验
沃尔德检验
θ
渐进有效
• OLS 和其它一些估计值都是一致的 • 但是 Gauss-Markov(即：MLT1-MLR5) 假 设下, OLS 估计值的渐进方差最小 • 因此我们说OLS 估计是渐进有效的 • 注意在异方差的情况下，以上命题不成立
一致性的证明
• 在MLR1-MLR5的假设下， OLS 是 BLUE(最优的线性无偏估计）, 但是在其它 一些情况下，无偏估计并不总是存在的 • 在那些情况中，我们可能会使用一致估 计。这里的“一致”指的是当n → ∞时，估 计量的分布收敛于系数的真实值
当n ↑时样本（估计）的分布
n3
n1 < n2 < n3 n2 n1
渐进正态（续）
• 因为 t 分布在很大自由度的情况下趋近于
正态分布，我们可以认为：
(βˆ
ˆ ~t − β se β j j j n − k −1
多元回归分析法
White 检验
Breusch-Pagan检验能检验出任何线性形式 的异方差 而White检验则能够通过加入所有解释变 量的平方项和交叉项来检验非线性形式的 异方差 检验的方法仍然是利用F统计量和LM统计 量来检验xj, xj2和xjxh的联合显著性
CCER, Fall 2004
OLS 也可以用来估计x 和y 的非线性的方 程， 但对于要估计的系数来说仍然是线 性的 可以取x 或 y 的对数形式，或两者的对数 形式 可以用 x 的平方项 可以用 x 变量之间的交叉项
CCER, Fall 2004 10
对于对数方程的解释
假设方程为 ln(y) = b0 + b1ln(x) + u b1 则是 x 对y 的弹性 若为 ln(y) = b0 + b1x + u b1 则近似的反映一单位x 的变化导致的y 的百分比变化量 若为 y = b0 + b1ln(x) + u b1 则近似的反映x百分之百的变化量导 致的y的变化
CCER, Fall 2004 11
含平方项的模型
假设模型为 y = b0 + b1x + b2x2 + u ，此时我们 不能把 b1 解释为每单位x的变化导致的 y 的变 化, 我们需要把 b2 也考虑进来, 因为
ˆ 2b ˆ x x, so ˆ b y 1 2 ˆ ˆ y ˆ x b1 2 b 2 x
y b1 b 3 x2 , 因此加总 x1 对 y x1 的影响时， 我们通常估计其在 x2 处的影响
CCER, Fall 2004
14
调整后的 R-Squared
前面分析了 R2 总会随着解释变量的增大而增大 但调整后的 R2把模型中解释变量的数量考虑了进 来, 因此可能会反而变小
课件-数理统计与多元统计 第五章 回归分析 5.3-5误差方差的估计
9
lxy ( xi x)( yi y) 2995 i 1
9
9
lxx ( xi x)2 6000, l yy ( yi y)2 1533.38
i 1
i 1
bˆ0
y bˆ1 x
11.6，bˆ1
l xy l xx
0.499167
即得经验回归方程： yˆ 11.6 0.499167x
被估计的回归方程所解释的变差数量，即当
自变量个数增加时，会使预测误差变小，从
而减少SSE，此时SSR变大，R2会变大，可 能因此而高估R2造成误读。因此实际中常用 修正的复决定系数(adjusted multiple cofficient of determinnation) ：
Ra2
1
(1
R2 )( n
xi/0C
0
10
20
30
40
yi/mg 14.0 17.5 21.2 26.1 29.2
xi/0C
50
60
70
80
yi/mg 33.3 40.0 48.0 54.8
试估计回归参数b0,b1, σ2,给出经验回归方程:
yˆ bˆ0 bˆ1x
12
解：由数据计算：
1 9
19
x 9 i1 xi 40, y 9 i1 yi 31.56667
H0 : b1 b2 L bp 0 的假设检验步骤:
i) 提出假设: H0 : b1 b2 L bp 0
ii)给定显著性水平α=?,样本容量n=?,p=?
iii) 选择检验统计量,当H0真时:
F SSR / p ~ F ( p, n p 1) SSE / (n p 1)
iv) H0的拒绝域为：
5多元回归分析大样本理论
Consistency v.s. unbiasedness
一致性与无偏性
Unbiased estimators are not necessarily consistent, but those whose variances shrink to zero as the sample size grows are consistent. 无偏估计量未必是一致的，但是那些当样 本容量增大时方差会收缩到零的无偏估计 量是一致的。
12
Proving Consistency
证明一致性
The OLS estimated slope parameter from simple regression is 简单回归中的斜率估计量即
xi1 x1 yi 2 xi1 x1 xi1 x1 ui b1 2 xi1 x1 n 1 xi1 x1 ui b1 2 1 n xi1 x1
15
A Weaker Assumption
一个更弱的假定
For unbiasedness, we assumed a zero conditional mean – E(u|x1, x2,…,xk) = 0 要获得估计量的无偏性，我们假定零条件期望 – E(u|x1, x2,…,xk) = 0 For consistency, we can have the weaker assumption of zero mean and zero correlation(MLR.3’) – E(u) = 0 and Cov(xj,u) = 0, for j = 1, 2, …, k 而要获得估计量的一致性，我们可以使用更弱的假定： 零期望和零相关性假定。 Without this assumption, OLS will be biased and inconsistent! 如果这个较弱的假定也不成立，OLS将是有偏而且不一 致的。
多元线性回归分析
多元线性回归分析多元线性回归分析是一种使用多个自变量来预测因变量的统计方法。
它可以帮助我们理解自变量对因变量的影响，并预测因变量的值。
在这篇文章中，我们将讨论多元线性回归的基本概念、假设和模型，以及如何进行参数估计、模型拟合和预测。
Y=β0+β1X1+β2X2+...+βnXn+ε在这个方程中，Y是因变量，X1、X2、..、Xn是自变量，β0、β1、β2、..、βn是回归系数，ε是误差项。
假设1.线性关系：自变量和因变量之间存在线性关系。
2.独立性：样本数据是独立采样的。
3.多重共线性：自变量之间不存在高度相关性。
4.正态分布：误差项服从正态分布。
5.同方差性：误差项的方差是常数。
参数估计为了估计回归系数，我们使用最小二乘法来最小化残差平方和。
残差是观测值与模型估计值之间的差异。
最小二乘法的目标是找到最佳的回归系数，使得观测值的残差平方和最小化。
模型拟合一旦估计出回归系数，我们可以使用它们来拟合多元线性回归模型。
拟合模型的目标是找到自变量的最佳线性组合，以预测因变量的值。
我们可以使用拟合后的模型来预测新的观测值，并评估模型的拟合程度。
预测在实际应用中，多元线性回归模型可以用于预测因变量的值。
通过给定自变量的值，我们可以使用估计的回归系数来计算因变量的预测值。
预测值可以帮助我们了解自变量对因变量的影响，并作出决策。
总结多元线性回归分析是一种重要的统计方法，它可以帮助我们理解自变量对因变量的影响，并预测因变量的值。
在进行多元线性回归分析时，我们需要考虑模型的假设，进行参数估计和模型拟合，并使用拟合后的模型进行预测。
通过多元线性回归分析，我们可以获得有关变量之间关系的重要见解，并为决策提供支持。
多元统计分析---回归分析
n
x2a xka)b2 .... (
xk2a)bk
n
xka ya
a1
a1
a1
a1
a1
（.2.15)
方程组（2.15）式称为正规方程组。 引入矩阵
1
1
x11 x21 xk1
x12
x22
.
xk
2
X 1
x13
x23
xk
3
1 x1n x2n xkn
1 1 1 1
x11
样本判定系数0.902 说明 Y的变动有 90.2%可以由自变量 X1 和 X2 解释。
三、非线性回归模型
• 非线性关系线性化的几种情况
✓ 对于指数曲线 y debx，令 y ln y, x 可x以将 其转化为直线形式： y a b，x 其
中， a ln；d
✓ 对于对数曲线 y a bln x ，令 y y，x ln，x 可 以将其转化为直线形式： y a bx；
48 65 590.080 2 250.435
8 3 695.195 243.907
49 157 270.400 2 407.549
9 2 260.180 197.239
50
2 086.426 266.541
10
334.332
99.729
51
3 109.070 261.818
11 11 749.080 558.921
( yi y)2
可以证明
i 1
（2.8）
n
S总 L yy
( yi y)2
i 1
n
n
（2.9）
( yi yˆi )2 ( yˆi y)2 Q U
多元回归的大样本性质
定理5.1
• 定理5.1: 在假定MLR.1到MLR.4下，OLS截距 估计量和斜率估计量都是一致的估计量。
• 对简单回归而言，证明估计量的一致性和 证明无偏性的方法是类似的。
12
证明一致性
bˆ1
xi1 x1 yi xi1 x1 2
b1
xi1 x1 ui xi1 x1 2
b1.
由于当n趋于无穷时分子趋于零而分母不
趋于零，故bˆ1的概率极限即b1。
14
证明OLS的一致性
• 多元回归中OLS估计量的一致性的证明可以 通过矩阵运算得到。
15
一个更弱的假定
• 要获得估计量的无偏性，我们假定零条件 期望 – E(u|x1, x2,…,xk) = 0
• 而要获得估计量的一致性，我们可以使用 更弱的假定：零期望和零相关性假定。 E(u) = 0 and Cov(xj,u) = 0
n1 b1 n1
xi1 x1 ui xi1 x1 2
13
证明一致性
Because as n ,
n1 xi1 x1 ui 0
n1 xi1 x1 2 does not converge to zero,
plimbˆ1
b1
n 1 n 1
xi1 x1 ui xi1 x1 2
Wn 便是 的一个一致估计量。 当 Wn具有一致性时，我们也称 为Wn 的概率极限，写
作 p lim(Wn ) .
4
一致性和无偏性的区别
• 无偏性指的是，做很多次估计，得到同一 个系数的不同的估计值。这些估计值的期 望等于真值。
• 一致性指的是，做一次估计，但强调的是 这次估计用的样本容量很大。当样本容量 无穷大的时候，这个估计值的期望等于真 值。
第五章 相关和回归分析
第五章相关分析和回归分析5.1有人研究了黏虫孵化历期平均温度（x，℃）与历期天数（y，d）之间关系，试验资料如下表，试求黏虫孵化历期平均温度（x，℃）与历期天数（y，d）的简单相关系数。
并建立孵化历期平均温度（x，℃）与历期天数（y，d）之间的一元线性回归方程（要求给出检验结果并描述）。
表5.1 黏虫孵化历期平均温度与历期天数资料5.2 下表为某县1960-1971年的1月份雨量（x1,mm）、3月上旬平均温度（x2,℃）、3月中旬平均温度（x3,℃）、2月份雨量（x4,mm）和第一代三化螟蛾高峰期（y，以4月30日为0）的测定结果。
试计算1月份雨量（x1,mm）、3月上旬平均温度（x2,℃）分别与第一代三化螟蛾高峰期（y）的偏相关系数。
5.3 下表为观测的七个不同高度的风速资料，试建立风速随高度变化的曲线方程。
并确定最合理的是什么样的曲线类型（要求写出曲线方程）。
表5.3 观测的不同高度的风速资料5.4根据多年的大豆分期播种资料，建立大豆产量（y）与生育期降水量（x i）之间的多元线性回归方程。
表5.4 大豆不同生育期降水量与产量数据产量（kg/ha）y生育期降水量（mm）播种-出苗x1出苗-第三叶x2第三叶-开花x3开花-结荚x4结荚-成熟x53982 52 132 180 219 206 3397 25 132 198 201 206 2915 29 170 149 190 202 2142 25 207 111 192 204 1874 43 167 188 111 205 1934 40 85 216 64 189 1692 4 107 192 64 194 1532 18 46 138 165 301 1203 15 49 149 153 299 1200 32 30 137 233 248 1168 7 112 168 158 225 1160 0 111 181 145 225 887 14 104 199 138 208 1124 22 34 26 50 156 927 22 35 25 50 156 870 9 33 25 50 154 979 16 28 22 50 156 924 32 12 37 30 154 1071 33 13 52 20 149 1056 29 15 50 20 149 1124 1 14 50 20 149 924 3 12 50 20 149 1374 11 34 30 8 1635.5根据表5.2的数据试应用逐步回归方法求预报第一代三化螟蛾高峰期的最优线性回归方程（要求给出方程和系数的检验结果）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
β1
OLS估计的一致性
• 在MLR1-MLR5假设下, OLS估计值是一致 的（也是无偏的） • 我们可用类似证明无偏性的方法来证明简 单回归的一致性 • 一致性的证明会用概率极限(converge in probability) 的方法
一致性的证明
ˆ = ( ( x − x )y ) β ∑ i1 1 i 1 = β1 + ( n
拉格朗日乘子统计量（续）
2 2 LM ~ χ q , 从而我们可以根据χ q a
分布选择一个临界值c， 根据
χ q2分布计算相应的p值
• 在大样本的情况下， F 检验和LM 检验应该是相 似的 • 在单个排除变量的检验中， F 和t 检验是完全相 同的；但 LM 检验和 F 检验并不相同
（2）三种渐进等价检验
−1
∑( x
i1
(∑( x − x ) ) − x )u ) ( n ∑ ( x − x ) )
2 i1 1 −1 2 1 i i1 1
ˆ = β + Cov ( x , u ) Var ( x ) = β plimβ 1 1 1 1 1 因为 Cov ( x1 , u ) = 0
一个更弱的假设
• 在无偏性的证明中，我们假设了条件均值 为零： E(u|x1, x2,…,xk) = 0 • 证明一致性，我们只要相对较弱的假设， 均值为零： E(u) = 0; 不相关： Cov(xj,u) = 0, j = 1, 2, …, k • 没有这个假设，OLS就是有偏和不一致的
2 2 1 1 2
遗漏变量（续）
• 因此，考虑渐进有偏的方向就如同分析遗 漏变量导致的有偏的方向一样 • 两者的不同在于分析渐进有偏时使用的是 总体的方差和协方差，而分析有偏时采用 的是样本的相应统计量 • 注意：不一致性是大样本中的问题，样本 量的增大并不能解决不一致性的问题
大样本的检验
• 前面提到在经典线性模型（ CLM）的假设 下，样本呈正态分布，因此我们可以推导 出相应的t 分布和F 分布用来进行检验 • 这里样本的正态分布是通过假设总体的扰 动项呈正态分布后得到的 • 这个关于扰动项的正态假设意味着在给定x 的情况下y 也呈正态分布
σ
n
渐进正态
在MLR1-MLR5假设下,
2 2 ˆ (i) n β j − β j ~ Normal ( 0, σ a j ) , a
(
)
其中 a = plim ( n
2 j 2 2
−1
∑ rˆ )
2 ij a
ˆ 是σ 的一致估计 (ii) σ ˆ −β (iii) β j j
(
) ( )
ˆ ~ Normal ( 0,1) se β j
渐进正态（续）
• 因为 t 分布在很大自由度的情况下趋近于
正态分布，我们可以认为：
(βˆ
ˆ ~t − β se β j j j n − k −1
) ( )
a
注意：虽然我们不再需要正态分布的假设，但 是我们仍然需要同方差的假设
渐进的标准差
如果 u 不是正态分布，我们有时把标准差称作 渐进的标准差, 因为
大样本的检验（续）
• 很容易可以举出一些情况，正态分布的假 设不能满足 • 任何偏斜的变量，如工资、储蓄、逮捕 等，就不是正态分布，因为正态分布总是 对称分布 • OLS 是最优的线性无偏估计（ BLUE）并 不需要正态假设，正态假设只有在检验时 才会用到
中心极限定理
即使没有正态假设(MLR6), 根据中心极限定理 我们可以证明OLS 的估计值是渐进正态的 渐进正态意味着：当 n →∞ , P(Z<z)→Φ(z) ， 或者 P(Z<z) ≈ Φ(z) 中心极限定理表明：标准化后的“任何均值为µ 方差为σ2 的总体的平均值”渐进的服从标准正 态分布, 或者表示为： Y − µY a Z= ~ N (0,1)
作业：pp176 5.1 5.2 5.5 5.6
遗漏变量：一致？
• 正如我们前面推导遗漏变量导致的有偏估计一 样，现在我们来看不一致性（或者说渐进有偏） 的情况。
真实模型: y = β 0 + β1 x1 + β 2 x2 + v 估计的模型: y = β 0 + β1 x1 + u , 因此 % =β +β δ u = β x + v , 且 plimβ 其中 δ = Cov ( x1 , x2 ) Var ( x1 )
拉格朗日乘子统计量（续）
• 假设我们的标准模型为： y = β0 + β1x1 + β2x2 + . . . βkxk + u 虚拟假设为：H0: βk-q+1 = 0, ... , βk = 0 • 首先，我们做符合虚拟假设的回归
% +β % x + ... + β % x +u % y=β 0 1 1 k −q k −q % , 再用u % 然后从以上回归中得出 u 对 x1 , x2 ,..., xk (即所有变量) 进行回归 LM = nRu2 , 其中 Ru2 来自第二个回归
一致性的证明
• 在MLR1-MLR5的假设下， OLS 是 BLUE(最优的线性无偏估计）, 但是在其它 一些情况下，无偏估计并不总是存在的 • 在那些情况中，我们可能会使用一致估 计。这里的“一致”指的是当n → ∞时，估 计量的分布收敛于系数的真实值
当n ↑时样本（估计）的分布
n3
n1 < n2 < n3 n2 n1
ˆ = se β j ˆ ≈c se β j j
( ) ( )
2 ˆ σ , 2 SST j 1 − R j
(
)
n
因此我们可以预计标准差会收敛于一个与√n 的倒数成比例的比值
拉格朗日乘子统计量
• 当我们使用大样本并根据渐进正态分布做 检验时，我们会用到t 和 F 以外的一些统计 量 • 拉格朗日乘子（ LM）统计量是用来检验多 元排除变量的假说的统计量之一 • LM 要使用辅助的回归，因此也被称为nR2 统计量
ln Lln LRFra bibliotek似然比检验
ln L(θ )
c(θ )
d ln L dθ
拉格朗 日乘数 检验
沃尔德检验
θ
渐进有效
• OLS 和其它一些估计值都是一致的 • 但是 Gauss-Markov(即：MLT1-MLR5) 假 设下, OLS 估计值的渐进方差最小 • 因此我们说OLS 估计是渐进有效的 • 注意在异方差的情况下，以上命题不成立
第五章 多元回归分析 ——大样本性质
• • • • 小样本和大样本性质 一致估计 大样本推论 渐进有效
小样本和大样本性质
• 小样本性质：估计量在样本大小为有限 的情况下表现出来的性质。
– 例如：无偏估计； t、F检验 。
• 大样本性质：估计量在样本大小为无限 的情况下表现出来的性质。
– 例如：大数定律； 一致估计；LM检验