多元回归分析

2
引言：OLS方差与序列相关
•对于简单回归模型：yi = b0 + b1xi + ui
假定x1的均值为0
ˆ b1

n
i 1 n
xi yi xi
2
b1
t 1
1 SSTx

n
i 1
xi ui
ˆ Var( b1 )
n n n 1 1 Var( i 1 xi ui ) [ x x E (ui u j )] 2 2 i 1 j 1 i j SSTx SSTx n n 1 2 [i 1 xi Var(ui ) i 1 j i xi x j E (ui u j )] 2 SSTx
12
OLS的无偏性
Unbiasedness of OLS
13
Assumptions for Unbiasedness
• 假定 TS.1: (Linear in parameters,参数线性) yt = b0 + b1xt1 + . . .+ bkxtk + ut • 假定 TS.2: (Zero conditional mean 零值条 件期望): E(ut|X) = 0, t = 1, 2, …, n
21
OLS的正态抽样分布
Normal Sampling Distributions of OLS
22
关于OLS的正态抽样分布的假定
Assumptions for Normal Sampling Distributions of OLS
• 假定TS.6: (Normality,正态性): 误差项独立 于X，且是i.i.d. Normal(0, s2). 。 • TS.6: (Normality): The errors ut are independent of X， and are independently and identically distributed as Normal(0, s2). • TS.1-6: 可称为时间序列的经典线性模型 (CLM)假定(CLM assumptions for time series)：
Baidu Nhomakorabea16
OLS估计量的方差 Variances of OLS Estimators
17
Assumptions for OLS Variances
• 假定TS.4: (Homoskedasticity in error terms误差具有同方差性): Var(ut|X) = Var(ut) = s2 • 假定TS.5: (No serial correlation between error terms误差项之间没有序列相关): Corr(ut,us| X)=0 for t s
8
Examples of Time Series Models
有限分布滞后模型: Finite Distributed Lag Models • 有限分布滞后模型（finite distributed lag，FDL） 则允许一个或多个变量的滞后值对当期的被解释 变量产生影响 ： yt = a0 + d0zt + d1zt-1 + d2zt-2 + ut A finite distributed lag (FDL) model allows one or more variables to affect y with a lag: yt = a0 + d0zt + d1zt-1 + d2zt-2 + ut • 一般， q阶有限分布滞后模型包括z的q阶滞后项 More generally, a finite distributed lag model of order q will include q lags of z • yt = a0 + d0zt + d1zt-1 +…+ d2zt-q + ut
其中SSTj 是xij 的总离差平方和，而Rj2是xj对其它自变量回归 得到的R方。 • Theorem 10.2 (OLS sampling variances): Under the time series Gauss-Markov assumptions TS.1-5, the variance of ˆ , bj conditional on X, is Var( bˆ | X ) s SST (1 R ) where SSTj is the total sum of squares of xij and Rj2 is the Rsquared from the regression of xj on the other independent variables.
注：任何一期残差项ut与所有期的解释变量X都不相关
• 假定 TS.3: (No perfect collinearity,无完全 共线性): no independent variable is constant or a
perfect linear combination of the others.
Skip
9
Examples of Time Series Models 有限分布滞后模型: Finite Distributed Lag Models
• 称d0称为即期/冲击倾向，即期/冲击乘数 (impact propensity，impact multiplier)， 反映z变化1单位，导致的y的即时变化。 • 即期/冲击倾向dj随着时间j的变化，称为滞 后分布(lag distribution),反映了z的一个 暂时性变化，对于y的动态影响。 • 称d0 + d1 +…+ dq为长期倾向(long-run propensity, LRP; long-run multiplier)，反 映了z的一个永久性变化，所导致的y的长 期变化。
18
定理10.2 ( OLS的抽样方差) Theorem 10.2:OLS sampling variances
• 定理10.2 ( OLS的抽样方差)：在时间序列的高斯—马尔可 ˆ 夫假定TS.1-5下，b j 的条件于X的方差，
ˆ Var( b j | X )
s2
SSTj (1 R 2 ) j
Multiple Regression Analysis
yt = b0 + b1xt1 + . . .+ bkxtk + ut Time Series Data & Serial Correlation
1
• 10.1 The Nature Of Time Series Data 10.1 时间序列数据的性质 • 10.2 Examples Of Time Series Regression Models 10.2 时间序列回归模型的例子 • 10.3 Finite Sample Properties Of Ols Under Classical Assumptions 10.3 经典假定下的OLS有限样本性质
14
对假定TS.2的进一步说明 More On TS.2
• TS.2零值条件期望意味着解释变量是严格外生 (strictly exogenous): 所有解释变量x都是外生 • 与截面数据情形一致的假定是同期外生 (contemporaneously exogenous): E(ut|xt)=0, 即所有解释变量在当期都是外生变量 • [时间序列中，同期外生性只有在大样本的情况 下才能保证模型一致(还需弱独立性假定)。小 样本的无偏性需要严格外生的假设]
6
10.2 Examples Of Time Series Regression Models 10.2 时间序列回归模型的例子
7
Examples of Time Series Models 静态模型:static model
• 一个静态模型表达了同一时期各个变量之 间的关系： yt = b0 + b1zt + ut • A static model relates contemporaneous variables: yt = b0 + b1zt + ut
ˆ s 2 SSR / n k 1
20
Theorem 10.4 : Gauss-Markov Theorem
• 定 理 10.4( 高 斯 - 马 尔 可 夫 定 理 ) ： 在 假 定 TS.1-5下，条件于X，OLS估计量是最优线 性无偏估计量(BLUE)。 • Theorem 10.4 (Gauss-Markov Theorem): Under Assumptions TS.1-5, the OLS estimators are the best linear unbiased estimators conditional on X.
• 时间序列数据有一个时间上的顺序，而截面数据 则没有 Time series data has a temporal ordering, unlike cross-section data • 时间序列数据是随机过程的一个实现值 A time series data set is one realization of a stochastic (i.e. random) process • 由于我们面对的不再是个人的随机样本，须要对 原有假设做出一些更改 Will need to alter some of our assumptions to take into account that we no longer have a random sample of individuals
• 同方差：Var(ui)=si2= s2
• 随机抽样假定：Cov(ui, uj)=E(uiuj)=0, i≠j
3
10.1 The Nature Of Time Series Data 10.1 时间序列数据的性质
4
时间序列数据的性质：时间序列与截面数据
The Nature Of Time Series Data: time Series vs. Cross Sectional
10
Examples of Time Series Models 动态模型: dynamic model
• A dynamic model 动态模型 yt = b0 + b1yt-1 + ut
11
10.3 Finite Sample Properties Of Ols Under Classical Assumptions 10.3 经典假定下的OLS有限样本性质
5
说明：时间序列数据是随机过程的一个实现值
• 时间序列数据是随机过程的一个实现值 a time series data set is one possible outcome, or realization, of the stochastic process. • 按照时间顺序排列的一个随机变量序列，称为随机过程， 时间序列过程。 Formally, a sequence of random variables indexed by time is called a stochastic process or a time series process • 一个时间序列所有的可能实现值构成的集合，相当于截面 分析中的总体。 The set of all possible realizations of a time series process plays the role of the population in cross-sectional analysis.
15
Theorem 10.1 (Unbiasedness of OLS):
OLS的无偏性
• 定理 10.1 (OLS的无偏性): 在假定TS.1-3下， OLS估计量条件于X是无偏的，因此，也是 无条件无偏。 • Theorem 10.1 (Unbiasedness of OLS): Under Assumptions TS.1-3, the OLS estimators are unbiased conditional on X, and therefore unconditionally as well.
2 j j 2 j
19
Theorem 10.3: Unbiased Estimation of σ2
• 定理10.3：在假定TS.1-5下， σ2的无偏估计量 为: ˆ s 2 SSR / n k 1 • Theorem 10.3: Under assumptions TS.1 – 5, the unbiased estimator of σ2 is