受约束回归模型
计量经济学 第二版 课后习题1-14章 中文版答案汇总
即 是条件无偏。
10.
其中 = =
= = =0
= + -2
= + -2n 2= -
= =
用n1表示n个样本中X=0的样本个数,n2表示X=1的样本个数,n1+n2=n,则:
,
= , = =
=n2
已知
= -( ) =
+ =
11.
(1) = =485.10-523.10=-38
SE( )=SE( )= = ≈7.65
2.46> = = =2.143>1.96
= = =1.038<1.96
College、Female、Age对AHE的回归系数都在1%水平下统计显著,Northeast、
Midwest对AHE的回归系数在5%水平下统计显著。South对AHE的回归系数
与$10/h差距很远。
②β1的95%置信区间为[ -1.96SE( ), +1.96SE( )],其中 =1.47,SE( )=0.07
1.3328≤β1≤1.6072
5.53312≤4β1≤6.4288
即多接受4年大学教育,平均每小时多赚[5.53312,6.4288]美元,在95%的置信水平
下与回归结果吻合。
(2) $15.67
$17.12
4.
(1)地区间平均收入存在重大差异。东北部工人平均每小时比西部工人多挣$0.69;中西部
则比西部多$0.60/h;但南部比西部少$0.27/h。
(2)因为美国将国家经济分成东北部、中西部、南部以及西部四个片区,如果不居住在东北
部、中西部、南部,那一定居住在西部,所以无需West变量即可涵盖所有的样本。
第三章--回归模型的检验
对于中国居民人均消费支出的例子:
一元模型:F=285.92
二元模型:F=2057.3 给定显著性水平 =0.05,查分布表,得到临界 值:
一元例:F(1,21)=4.32 二元例: F(2,19)=3.52 显然有 F F(k,n-k-1) 即二个模型的线性关系在95%的水平下显著成立。
99.4
96.9
2758.9
1637.2
157.0
117.7
1999 4615.9 1932.1
98.7
95.7
2723.0
1566.8
169.5
123.3
2000 4998.0 1958.3
100.8
97.6
2744.8
1529.2
182.1
128.1
2001 5309.0 2014.0
100.7
2、关于拟合优度检验与方程显著性检
验关系的讨论
由
R2 1 RSS
TSS
与
F
ESS / k
RSS / n k
1
可推出: R2
kF
n k 1 kF
或
F
R2 / k
1 R2 / n k 1
三、变量的显著性检验(t检验)
方程的总体线性关系显著每个解释变量对被 解释变量的影响都是显著的
因此,必须对每个解释变量进行显著性检验, 以决定是否作为解释变量被保留在模型中。
问题:
由增加解释变量个数引起的R2的增大与拟合 好坏无关,R2需调整。
调整的可决系数(adjusted coefficient of determination)
计量经济学复习资料整理
1、建模型的注意事项与步骤、计量经济学功能的评价、影响计量经济学成功建立的要素、模型为什么需引入随机扰动项、计量经济学模型与数学函数之间的区别 功能以及其评价、影响计量经济学成功建立的要素功能:结构分析(定量揭示经济变量之间的相互关系,包括:弹性分析、乘数分析和比较静态分析)2、经济预测(计量经济学模型的预测是寻找出经济变量过去的变化规律,并据此对经济变量未来的值进行预测,如对股票价格、经济增长率的预测)3、政策评价(计量经济学模型具有“经济政策实验室”功能,刺激汽车购买政策的效果评价)4、检验与发展经济理论(计量经济学模型是检验经济理论的有效工具,在对经济学理论的检验过程中推动经济学理论的发展,消费理论的检验与发展) 评价:(1):四大功能中,检验经济理论与结构分析功能的可靠性强,而政策分析与经济预测功能的可靠性较弱。
(2):建立模型的理论、估计模型的方法与数据的质量是决定模型能否成功建立的三要素。
建立模型的步骤:1、确定模型包含的变量,被解释变量由问题确定,解释变量确定依据(a.经济学理论和经济学行为分析、b.用统计检验的方法确定)2、确定模型的数学形式:),,...,,(21u X X X f Y k =(加法模型:uX X X Y k k +++++=αααα...22110;乘法模型:u X X X Y kk βββ...2121=)确定解释变量与被解释变量的注意事项:1、现在和未来不能解释过去2、没有特别说明,计量经济学中的变量视为为随机变量 引入随机扰动项:随机扰动项是被解释变量与解释变量一定的条件下,被解释变量条件期望的差。
随机扰动项的引入:代表影响被解释变量的未知因素;代表众多对被解释变量有微小作用的变量的综合;代表数据观测误差。
计量经济学与数学函数的区别: 因果关系与相关关系的区别与联系相关关系:两变量之间线性关系,相关系数反映两变量之间的相关关系,定义: 设D(X)>0, D(Y)>0,称)()(),(Y D X D Y X Cov XY =ρ为变量x y 的相关系数相关性分析与回归分析的差异相关性分析:通过样本相关系数推断总体的相关性。
多元线性回归模型的各种检验方法
对多元线性回归模型的各种检验方法对于形如u X X X Y k k +++++=ββββΛΛ22110 (1)的回归模型,我们可能需要对其实施如下的检验中的一种或几种检验:一、 对单个总体参数的假设检验:t 检验在这种检验中,我们需要对模型中的某个(总体)参数是否满足虚拟假设0H :j j a =β,做出具有统计意义(即带有一定的置信度)的检验,其中j a 为某个给定的已知数。
特别是,当j a =0时,称为参数的(狭义意义上的)显著性检验。
如果拒绝0H ,说明解释变量j X 对被解释变量Y 具有显著的线性影响,估计值j βˆ才敢使用;反之,说明解释变量j X 对被解释变量Y 不具有显著的线性影响,估计值j βˆ对我们就没有意义。
具体检验方法如下:(1) 给定虚拟假设 0H :j j a =β;(2) 计算统计量 )ˆ(ˆ)ˆ()(ˆjj j j j j Se a Se E t βββββ-=-= 的数值; 11ˆ)ˆ(++-==j j jj jj j C C Se 1T X)(X ,其中σβ(3) 在给定的显著水平α下(α不能大于1.0即10%,也即我们不能在置信度小于90%以下的前提下做结论),查出双尾t (1--k n )分布的临界值2/αt ;(4) 如果出现 2/αt t >的情况,检验结论为拒绝0H ;反之,无法拒绝0H 。
t 检验方法的关键是统计量 )ˆ(ˆj jj Se t βββ-=必须服从已知的t 分布函数。
什么情况或条件下才会这样呢?这需要我们建立的模型满足如下的条件(或假定):(1) 随机抽样性。
我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21ΛΛ=。
这保证了误差u 自身的随机性,即无自相关性,0))())(((=--j j i i u E u u E u Cov 。
(2) 条件期望值为0。
给定解释变量的任何值,误差u 的期望值为零。
lasso回归约束条件
lasso回归约束条件
Lasso回归约束条件。
在统计学和机器学习领域,Lasso回归是一种常用的线性回归方法,它具有一种特殊的约束条件,被称为L1正则化。
这种约束条件可以帮助我们在建模过程中实现特征选择和模型简化,从而提高模型的泛化能力和解释性。
Lasso回归的数学形式可以表示为以下优化问题:
minimize ||y Xβ||^2 + λ||β||_1。
其中,y是观测到的响应变量,X是自变量的设计矩阵,β是模型的系数向量,λ是正则化参数。
L1正则化项λ||β||_1使得一些系数变为零,从而实现了特征选择的效果。
Lasso回归约束条件的作用是通过对系数向量的L1范数进行惩罚,促使模型中的一些系数变得稀疏或者为零。
这样可以剔除对模型预测能力贡献较小的特征,从而简化模型并提高其泛化能力。
与Ridge回归相比,Lasso回归更容易导致稀疏解,因此在特征选择方
面具有更好的性能。
除了特征选择的作用,Lasso回归约束条件还可以帮助防止过
拟合,提高模型的鲁棒性和解释性。
通过控制正则化参数λ的大小,我们可以在偏差和方差之间找到一个平衡点,从而使得模型在不同
数据集上都能取得较好的性能。
总之,Lasso回归约束条件是一种强大的工具,可以在建模过
程中实现特征选择、模型简化和防止过拟合。
它在实际应用中得到
了广泛的应用,并在数据科学和机器学习领域发挥着重要作用。
希
望本文的介绍能够帮助读者更好地理解和应用Lasso回归约束条件。
6多元线性回归模型的区间估计
0.998325
S.E. of regression
0.018000
Sum squared resid
0.003240
Log likelihood
38.73345
F-statistic
2583.276
Prob(F-statistic)
0.000000
β1+β2+β3=0.05
Std. Error t-Statistic 0.402367 9.031001 0.041628 25.35381 0.035033 -2.284556 0.125921 -7.345299 Mean dependent var S.D. dependent var Akaike info criterion Schwarz criterion Hannan-Quinn criter. Durbin-Watson stat
S.E. of regression
26.56264 Akaike info criterion
Sum squared resid
13405.90 Schwarz criterion
Log likelihood
-101.7531 Hannan-Quinn criter.
F-statistic
2056.887 Durbin-Watson stat
均值E(Y|X0)的(1-α)预测区间:
Yˆ0t2ˆ X0(XX)1X0)E(Y|X0) Yˆ0t2ˆ X0(XX)1X0
3. 一点启示
• 计量经济学模型用于预测时,必学严格科学地描述 预测结果。 • 如果要求给出一个准确的预测值,那个真实值与该 预测值相同的概率为0。 • 如果要以100%的概率给出区间, 那么该区间是∞。 • 模型研究者的任务是要尽可能地缩小致信区间。
第5章多元线性回归模型
调整的复 判定系数 可以为负!
由此式可以看出,R2 R2 ,即调整的复判定系数不大于未
经调整的复判定系数,这意味着随着解释变量的增加,R 2
将越来越小于 R2 。
(四)不同模型之间复判定系数的比较
ln Yi 1 2 X 2i 3 X 3i u1i
Yi 1 2 X 2i 3 X 3i u2i
同理
var(ˆ3 ) (
2
x32i )(1 r223 )
总体方差的估计
ˆ 2
uˆ
2 i
n3
残差平方和的自由度=样本容量的大小-待 估计的参数的个数
§5.3 多元线性回归模型的统计检验
一、拟合优度检验
(一)复判定系数R2的计算公式
R2 ESS
2
( yi ˆ2 x2i ˆ3 x3i )(x3i ) 0
x2i yi ˆ2 x22i ˆ3 x2i x3i
x3i yi ˆ2 x2i x3i ˆ3 x32i
参数估计量为:
ˆ2 (
x2i yi )( x32i ) ( x3i yi )( x2i x3i ) ( x22i )( x32i ) ( x2i x3i )2
Yt 1 2 X t u1t
Yt 1 2 X t u2t
Yt 1 2 X t ut
参数稳定性的检验步骤:
(1)将两序列合并为一个大样本后进行回 归,得到大样本下的残差平方和RSS3
自由度为 T+m-k
(2)分别以两个连续时间序列作为样本进行 回归,得到相应的残差平方和: RSS1与 RSS2
静观后效法
(一)t检验法
第四章 非线性回归与非线性约束
具体检验时,用来对原假设进行检验的似然比统 用来对原假设进行检验的似然比统 具体检验 计量定义为: 计量定义为: L( β R ) LR = −2(ln L( β R ) − ln L( βUR )) = −2 ln L( βUR )
LR ~ χ , m为限制条件的个数。
2 m 2 若LR大于给定显著性水平下的χ m临界值,
2
exp[−
1 2σ
2
(Yi − f ( X 1i , X 2i , L X ki , β1 , β 2 ,L β p )) 2 ]
则N个观测值的对数似然函数为 LnL = ∑ p (Yi , X i β ) = − ( N / 2) ln(2π ) − ( N / 2) ln(σ )
2
− (σ / 2)∑ (Yi − f ( X 1i , X 2i , L X ki , β1 , β 2 , L β p ))
L( β R ) 则似然比定义为λ = . L( βUR )
L( β R ) 则似然比定义为λ = . L( βUR )
L越大表明对数据的拟合程度越好,分母来自无条 越大表明对数据的拟合程度越好, 越大表明对数据的拟合程度越好 件模型,变量个数越多,拟合越好, 件模型,变量个数越多,拟合越好,因此分子小于分 似然比在0到 间 母,似然比在 到1间。分子是在原假设成立下参数的 极大似然函数值,是零假设的最佳表示。 极大似然函数值,是零假设的最佳表示。而分母则表 示在在任意情况下参数的极大似然函数值。 示在在任意情况下参数的极大似然函数值。比值的最 大极限值为1,其值靠近1, 大极限值为 ,其值靠近 ,说明局部的最大和全局最 大近似,零假设成立可能性就越大。 大近似,零假设成立可能性就越大。
设L( βUR )代表没有限制条件时似然函数 的极大值, L( β R )代表有限制条件时似然函数的极大值,
《中级计量经济学》非选择题 参考答案.
第3章 多元线性回归模型3.4.3 简答题、分析与计算题1.给定二元回归模型:t t t t u x b x b b y +++=22110 (t=1,2,…n)(1) 叙述模型的古典假定;(2)写出总体回归方程、样本回归方程与样本回归模型;(3)写出回归模型的矩阵表示;(4)写出回归系数及随机误差项方差的最小二乘估计量,并叙述参数估计量的性质;(5)试述总离差平方和、回归平方和、残差平方和之间的关系及其自由度之间的关系。
2.在多元线性回归分析中,为什么用修正的决定系数衡量估计模型对样本观测值的拟合优度?3.决定系数2R 与总体线性关系显著性F 检验之间的关系;在多元线性回归分析中,F 检验与t 检验有何不同?在一元线性回归分析中二者是否有等价的作用?4.为什么说对模型施加约束条件后,其回归的残差平方和一定不比未施加约束的残差平方和小?在什么样的条件下,受约束回归与无约束回归的结果相同?5.观察下列方程并判断其变量是否呈线性,系数是否呈线性,或都是或都不是。
(1) t t t u x b b y ++=310(2) t t t u x b b y ++=log 10(3)t t t u x b b y ++=log log 10 (4) t t t u x b b b y +⋅+=)(210(5) t t t u x b b y +=)/(10(6) t bt t u x b y +−+=)1(110(7)t t t t u x b x b b y +++=10/22110 6.常见的非线性回归模型有几种情况?7.指出下列模型中所要求的待估参数的经济意义:(1)食品类需求函数:u P P I Y ++++=231210ln ln ln ln αααα中的321,,ααα(其中Y为人均食品支出额,I 为人均收入,为食品类价格,为其他替代商品类价格)。
1P 2P (2)消费函数:t t t t u Y Y C +++=−1210βββ中的1β和2β(其中C 为人均消费额,Y 为人均收入)。
回归模型的要素
回归模型的要素
回归模型是一种统计分析方法,用于建立变量之间的关系模型。
它基于变量之间的线性关系假设,并通过拟合数据来估计模型参数。
回归模型包含以下要素:
1. 因变量(Dependent Variable):也称为被解释变量或目标变量,它是我们想要预测或解释的变量。
2. 自变量(Independent Variables):也称为解释变量或预测变量,它们是用来解释或预测因变量的变量。
回归模型可以包含一个或多个自变量。
3. 线性关系(Linear Relationship):回归模型假设因变量与自变量之间存在线性关系,即自变量的变化对因变量的影响是线性的。
4. 残差(Residuals):在回归模型中,残差是指观测值与模型预测值之间的差异。
回归模型的目标是通过最小化残差的平方和来找到最佳拟合线。
5. 模型参数(Model Parameters):回归模型的参数是用来描述自变量与因变量之间关系的数值。
在线性回归模型中,参数表示自变量对因变量的影响程度。
6. 截距(Intercept):截距是回归模型中的常数项,表示在自变量为零时,因变量的预测值。
它反映了因变量在没有自变量影响时的基准水平。
通过确定回归模型的要素,并进行数据拟合和参数估计,我
们可以使用回归模型来预测或解释因变量的变化。
计量经济学-参考答案3-4
第三章 多元线性回归模型一、名词解释1、多元线性回归模型:在现实经济活动中往往存在一个变量受到其他多个变量影响的现象,表现在线性回归模型中有多个解释变量,这样的模型被称做多元线性回归模型,多元是指多个解释变量2、调整的可决系数2R :又叫调整的决定系数,是一个用于描述多个解释变量对被解释变量的联合影响程度的统计量,克服了2R 随解释变量的增加而增大的缺陷,与2R 的关系为2211(1)1n R R n k -=----。
3、偏回归系数:在多元回归模型中,每一个解释变量前的参数即为偏回归系数,它测度了当其他解释变量保持不变时,该变量增加1单位对被解释变量带来的平均影响程度。
4、正规方程组:采用OLS 方法估计线性回归模型时,对残差平方和关于各参数求偏导,并令偏导数为0后得到的方程组,其矩阵形式为ˆX X X Y β''=。
5、方程显著性检验:是针对所有解释变量对被解释变量的联合影响是否显著所作的检验,旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出判断。
二、单项选择题 1、C 2、A3、B4、A5、C6、C7、A8、D 9、B 10、D三、多项选择题1、ACDE2、BD3、BCD4、BC5、AD四、判断题、 1、√2、√3、×4、×5、√五、简答题 1、 答:多元线性回归模型与一元线性回归模型的区别表现在如下几个方面:一是解释变量的个数不同;二是模型的经典假设不同,多元线性回归模型比一元线性回归模型多了个“解释变量之间不存在线性相关关系”的假定;三是多元线性回归模型的参数估计式的表达更为复杂。
2、 答:在满足经典假设的条件下,参数的最小二乘估计量具有线性性、无偏性以及最小性方差,所以被称为最优线性无偏估计量(BLUE )对于多元线性回归最小二乘估计的正规方程组,能解出唯一的参数估计量的条件是(X X ')-1存在,或者说各解释变量间不完全线性相关。
计量经济学第五章(新)
利用Eviews得回归方程为:
ˆ ln y 1.6524 0.3397 ln x1 0.9460 ln x2
t = (-2.73) p= (0.0144*) R2=0.995 (1.83) (0.085) (9.06) (0.000**)
对回归方程解释如下:斜率系数0.3397表示 产出对劳动投入的弹性,即表明在资本投入保持 不变的条件下,劳动投入每增加一个百分点,平 均产出将增加0.3397个百分点。同样地,在劳动 投入保持不变的条件下,资本投入每增加一个百 分点,产出将平均增加0.8640个百分点。两个弹 性系数相加为规模报酬参数,其数值等于1.1857 ,表明墨西哥经济的特征是规模报酬递增的(如 果数值等于1,属于规模报酬不变;小于1,则属 于规模报酬递减)。
20.5879 z 1 20.5879 x (4.6794 ) (4.3996 ** )
3、半对数模型和双对数模型
形式为:
ln y 0 1 x u y 0 1 ln x u
的模型称为半对数模型。 把形式为:
ln y 0 1 ln x u
即可利用多元线性回归分析的方法处理了。
例如,描述税收与税率关系的拉弗曲线:抛物线 t = a + b r + c r2 c<0
t:税收;
r:税率
设 z1 = r, z 2 = r2, 则原方程变换为 s = a + b z1 + c z 2 c<0
例 某生产企业在1981-1995年间每年的产量和总成本如下 表,试用回归分析法确定其成本函数。
表5-1 墨西哥的实际GDP、就业人数和实际固定资本
年份 1955 1956 1957 1958 1959 1960 1961 1962 1963 1964 1965 1966 1967 1968 1969 1970 1971 1972 1973 1974 GDP 114043 120410 129187 134705 139960 150511 157897 165286 178491 199457 212323 226977 241194 260881 277498 296530 306712 329030 354057 374977 就业人数 8310 8529 8738 8952 9171 9569 9527 9662 10334 10981 11746 11521 11540 12066 12297 12955 13338 13738 15924 14154 固定资产 182113 193749 205192 215130 225021 237026 248897 260661 275466 295378 315715 337642 363599 391847 422382 455049 484677 520533 561531 609825
§3.6 受约束回归
= e X(β β)
e’e为无约束样本回归模型的残差平方和RSSU 为无约束样本回归模型的残差平方和 样本回归模型的残差平方 受约束与无约束模型都有相同的 受约束与无约束模型都有相同的TSS 模型都有相同的 由(*)式 ) 从而 RSSR ≥ RSSU ESSR ≤ ESSU
二、对回归模型增加或减少解释变量
考虑如下两个回归模型
Y = β 0 + β1 X 1 + + β k X k +
Y = β 0 + β 1 X 1 + + β k X k + β k +1 X k +1 + β k + q X k + q +
(*) (**)
(*)式可看成是(**)式的受约束回归: 式可看成是( )式的受约束回归 受约束回归: 式可看成是
这意味着, 通常情况下, 这意味着 , 通常情况下 , 对模型施加约束 条件会降低模型的解释能力。 条件会降低模型的解释能力。
根据数理统计学的知识: 根据数理统计学的知识:
( RSS R RSSU ) /(kU k R ) F= ~ F (kU k R , n kU 1) RSSU /(n kU 1)
(**)
如果对(**)式回归得出
β 0 , β 1 , β 3 ,, β k 1
β k = β k 1
则由约束条件可得: β 2 = 1 β 1
主要介绍F检验 主要介绍 检验 在同一样本下, 无约束样本回归模型为 在同一样本下,记无约束样本回归模型为 Y = Xβ+ e 受约束样本回归模型为 受约束样本回归模型为
§3.6 受约束回归
第五章 经典线性回归模型(II)(高级计量经济学-清华大学 潘文清)
如何解释j为“当其他变量保持不变,Xj变化一个 单位时Y的平均变化”?
本质上: j=E(Y|X)/Xj 即测度的是“边际效应”(marginal effect)
因此,当一个工资模型为 Y=0+1age+2age2+3education+4gender+ 时,只能测度“年龄”变化的边际效应: E(Y|X)/age=1+22age 解释:“当其他变量不变时,年龄变动1个单位时 工资的平均变化量” 2、弹性: 经济学中时常关心对弹性的测度。
X1’X1b1+X1’X2b2=X1’Y (*) X2’X1b1+X2’X2b2=X2’Y (**) 由(**)得 b2=(X2’X2)-1X2’Y-(X2’X2)-1X2’X1b1 代入(*)且整理得: X1’M2X1b1=X1’M2Y b1=(X1’M2X1)-1X1’M2Y=X1-1M2Y=b* 其中,M2=I-X2(X2’X2)-1X2’ 又 M2Y=M2X1b1+M2X2b2+M2e1 而 M2X2=0, M2e1=e1-X2(X2’X2)-1X2’e1=e1 则 M2Y=M2X1b1+e1 或 e1=M2Y-M2X1b1=e* 或
b1是1的无偏估计。
设正确的受约束模型(5.1.2)的估计结果为br,则有 br= b1+ Q1b2
或 b1=br-Q1b2 无论是否有2=0, 始终有Var(b1)Var(br) 多选无关变量问题:无偏,但方差变大,即是无效 的。变大的方差导致t检验值变小,容易拒绝本该纳 入模型的变量。
§5.2 多重共线性
1、估计量的方差 在离差形式的二元线性样本回归模型中: yi=b1x1i+b2x2i+e
第五章_约束回归
(**)
如果对(**)式回归得出
ˆ ˆ ˆ ˆ β 0 , β 1 , β 3 ,L, β k −1
ˆ ˆ β k = β k −1
ˆ ˆ 则由约束条件可得: β 2 = 1 − β 1
例 3.6.1 中国城镇居民对食品的人均消费需求 实例中,对零阶齐次性 零阶齐次性检验: 实例中 零阶齐次性
这里的F 这里的F检验适合所有关于参数线性约束的检验 如:多元回归中对方程总体线性性 方程总体线性性的F检验: 方程总体线性性 H0: βj=0 j=1,2,…,k
这里:受约束回归模型为
Y = β 0 + µ*
上述参数稳定性检验要求n2>k。 如果出现n2<k ,则往往进行如下的邹氏预测检 邹氏预测检 验(Chow test for predictive failure)。
分别以β、α 表示第一与第二时间段的参数,则 β
Y1 = X 1β+ μ 1 Y2 = X 2α+ μ = X 2β+ X 2 (α− β)+ μ = X 2β+ γ+ μ α 2 2 2
受约束回归
一、模型参数的线性约束 二、对回归模型增加或减少解释变量 三、参数的稳定性 *四、非线性约束 四
一、模型参数的线性约束
对模型
Y = β 0 + β1 X 1 + β 2 X 2 + L + β k X k + µ
(*)
施加约束
β1 + β 2 = 1
β k −1 = β k
第一部分2 经典线性回归模型
分析: 原假设H0: 备择假设H1:至少有一个约束不满足。
H1成立,对应原模型(长模型),也称为不受约束模型(UR): 回归残差(RSSUR)
H0成立,对应短模型,也称为受约束模型(R) 回归残差(RSSR)
构造统计量:
为了检验RSSR与RSSUR的差距。 如果原假设成立,约束条件自然成立,因此两者差距小。(小于临界 值) 如果备择假设成立,约束条件不成立,两者差距大,(大于临界值)
(2)(3)可以合并为: 假设(2),(3)说明随机项u的方差-协方差矩阵为对角矩阵:
(4)各解释变量之间不存在严格的线性关系(即不存在“严格的多重 共线性”)
即X是满秩的。此时矩阵X’X也是满秩的, 所以行列式 ,保证了 可逆。是OLS估计可以进行的前提。
含义: ①从直观含义来看。模型中的变量对于解释Y提供了新的信息,不能由 其他信息完全替代 ②从参数的含义来看。保持其他信息不变时,如果存在严格多重共线, 则无法做到 ③从系数的求解来看:缺少足够信息将两变量的影响区分开来 三、最小二乘估计 1、最小二乘估计原理 分析:直观上看,也就是要求在X和Y的散点图上穿过各观测点画出一 条“最佳”直线,如下图所示。
4、最小二乘估计的矩阵表示 (具体可以参考陈强的书) 我们的目标是使得回归的残差平方和达到最小,即:
则它的一阶条件为: 化简得:
四、OLS估计量的性质 1、线性性(有助于确定估计量的分布)
2、无偏性(有助于确定正态分布的均值) 即 其中, 两边取期望 与零均值假定,以及非随机解释变量两个假设有关
3、最小方差性(有助于确定正态分布的方差) (1)方差-协方差矩阵: (2)方差协方差矩阵的计算 方法1: 方法2
3、调整的拟合优度 (1)拟合优度(判定系数)的缺陷 可以证明,多重决定系数时模型中解释变量个数的不减函数,这给对 比含有不同解释变量个数的模型的决定系数带来困难(缺陷),需要修 正。
多元线性回归模型(习题与解答)
多元线性回归模型(习题与解答)第三章多元线性回归模型一、习题(一)基本知识类题型3-1.解释下列概念:1)多元线性回归2)虚变量3)正规方程组4)无偏性5)一致性6)参数估计量的置信区间7)被解释变量预测值的置信区间8)受约束回归9)无约束回归10)参数稳定性检验3-2.观察下列方程并判断其变量是否呈线性?系数是否呈线性?或都是?或都不是?1)i i i X Yεββ++=3102)i i i X Yεββ++=log103)i i i X Yεββ++=log log104)i i i X Yεβββ++=)(2105)i ii X Yεββ+=106)i i i X Yεββ+−+=)1(1107)i i i i X X Yεβββ+++=10221103-3.多元线性回归模型与一元线性回归模型有哪些区别?3-4.为什么说最小二乘估计量是最优的线性无偏估计量?多元线性回归最小二乘估计的正规方程组,能解出唯一的参数估计的条件是什么?3-5.多元线性回归模型的基本假设是什么?试说明在证明最小二乘估计量的无偏性和有效性的过程中,哪些基本假设起了作用?3-6.请说明区间估计的含义。
(二)基本证明与问答类题型3-7.什么是正规方程组?分别用非矩阵形式和矩阵形式写出模型:i ki k i i i u x x x y+++++=ββββL22110,n i,,2,1L =的正规方程组,及其推导过程。
3-8.对于多元线性回归模型,证明:(1)∑=0i e(2)0)ˆˆˆ(ˆ110=+++=∑∑iki k i i i e x x e yβββL3-9.为什么从计量经济学模型得到的预测值不是一个确定的值?预测值的置信区间和置信度的含义是什么?在相同的置信度下如何才能缩小置信区间?为什么?3-10.在多元线性回归分析中,t检验与F检验有何不同?在一元线性回归分析中二者是否有等价的作用?3-11.设有模型:u x x y+++=22110βββ,试在下列条件下:(1)121=+ββ(2)21ββ=分别求出1β和2β的最小二乘估计量。
受限约束回归的检验
若 j j 则可写为:
(结构有变化)
Y1 Y2
=
X1 0
0 X2
β α
+
u1 u2
(实际做的是两段回归)
其中: β, α 为参数列向量,Y1, Y2 为列向量,X1, X2 为矩阵
这是 β α 情况下的无约束模型。 17
如果在时间 n1前后模型没有显著的结构变化,参数具
或
Y
*
1
2
X
* 2
L
m X m X m1 m1 L
k
1
X
* k 1
u*
其中
Y*
Y
X
3
,X
* 2
X2
X3
,
X* k 1
X k 1
Xk
与无约束模型(U)相比,这是受约束模型(R) 4
3. 对模型参数的非线性约束
相对于无约束模型(U):
Y 1 2 X 2 3 X 3 L m X m X m1 m1 L X k1 k1 k X k u
这种情况下计算的F统计量其数值的平方根与对k 作t
检验的统计量相同,作受约束回归检验与作t检验等价
14
2. 解释变量的联合显著性检验
(U) Y 1 2 X 2 L m X m X m1 m1 L k X k u (R) Y 1 v 这里的(R)模型施加了除截距项外的所有解释变量的参
(RSSR ESSU ) 2 服从 2分布,自由度为 (kU kR )
两个独立 2 变量的比值服从F分布,则
F
(RSSR RSSU ) (kU RSSU (n kU )
kR )
~
F (kU
kR,n
kU
)
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
但是,如果约束条件 受约束回归 但是 如果约束条件为真,则受约束回归 如果约束条件为 无约束回归模型具有相同的解释能力 模型与无约束回归模型具有相同的解释能力, 模型与无约束回归模型具有相同的解释能力 RSSR 与 RSSU的差异变小。 可用RSSR - RSSU的大小来检验约束的真实性 可用 根据数理统计学的知识:
Y1 X 1 = Y X 2 2 0 β μ + 1 I n 2 γ μ 2
(**)
可见,用前n1个样本估计可得前k个参数β的估计, β 而γ不外是用后n2个样本测算的预测误差X2(α - β) γ α
合并两个时间序列为( 1,2,…,n1 ,n1+1,…,n1+n2 ), 无约束回归模型 则可写出如下无约束回 无约束回
Y1 X 1 = Y 0 2 0 β μ + 1 X 2 α μ 2
(*)
如果α=β,表示没有发生结构变化,因此可针对 α β 如下假设进行检验: H0: α=β β
这里,运用了ESSR =0。
二、对回归模型增加或减少解释变量
考虑如下两个回归模型
Y = β 0 + β1 X 1 + L + β k X k + µ
Y = β 0 + β 1 X 1 + L + β k X k + β k +1 X k +1 + L β k + q X k + q + µ
(*) (**)
RSSU / σ 2 ~ χ 2 (n − kU − 1)
RSS R / σ 2 ~ χ 2 (n − k R − 1)
( RSS R − RSSU ) / σ 2 ~ χ 2 (kU − k R )
于是:
( RSS R − RSSU ) /(kU − k R ) F= ~ F (kU − k R , n − kU − 1) RSSU /(n − kU − 1)
于是
e′ e * ≥ e′e *
(*)
e’e为无约束 无约束样本回归模型的残差平方 残差平方和RSSU 无约束 残差平方 受约束与无约束 相同的TSS 受约束 无约束模型都有相同的 无约束 相同的 由(*)式 从而 RSSR ≥ RSSU ESSR ≤ ESSU
这意味着,通常情况下 , 对模型施加约束 这意味着 通常情况下, 通常情况下 条件会降低模型的解释能力。 条件会降低模型的解释能力
* Y * = β 0 + β 1 X 1* + β 3 X 3 + L + β k −1 X k −1 + µ *
(**)
如果对(**)式回归得出
ˆ ˆ ˆ ˆ β 0 , β 1 , β 3 ,L, β k −1
ˆ ˆ β k = β k −1
ˆ ˆ 则由约束条件可得: β 2 = 1 − β 1
如果参数没有发生变化,则γ=0,矩阵式简化为 γ ,
Y1 X 1 μ = β+ 1 Y X μ 2 2 2
(***)
0 β μ + 1 I n 2 γ μ 2
(*)式可看成是(**)式的受约束回归: 受约束回归: 受约束回归
β k +1 = β k + 2 = L = β k + q = 0 H0: 相应的F统计量为:
( RSS R − RSSU ) / q F= RSSU /( n − (k + q + 1)) = ( ESSU − ESS R ) / q ~ F (q, n − (k + q + 1)) RSSU /(n − (k + q + 1))
2、邹氏预测检验
上述参数稳定性检验要求n2>k。 如果出现n2<k ,则往往进行如下的邹氏预测检 邹氏预测检 验(Chow test for predictive failure)。 邹氏预测检验的基本思想: 邹氏预测检验的基本思想 先用前一时间段n1个样本估计原模型,再用 估计出的参数进行后一时间段n2个样本的预测。 如果预测误差较大,则说明参数发生了变化, 如果预测误差较大,则说明参数发生了变化, 否则说明参数是稳定的。 否则说明参数是稳定的
参数稳定性的检验步骤: 参数稳定性的检验步骤:
(1)分别以两连续时间序列作为两个样本进行回 归,得到相应的残差平列并为一个大样本后进行回归, 得到大样本下的残差平方和RSSR (3)计算F统计量的值,与临界值比较: 若F值大于临界值,则拒绝原假设,认为 发生了结构变化,参数是非稳定的。 该检验也被称为邹氏参数稳定性检验 (Chow test for parameter stability)。
这里:KU - KR=n2 RSSU=RSS1
邹氏预测检验步骤: 邹氏预测检验步骤: 检验步骤 第一步,在两时间段的合成大样本下做OLS回归, 第一步 得受约束模型的残差平方和RSSR ; 第二步,对前一时间段的n1个子样做OLS回归,得 第二步 残差平方和RSS1 ; 第三步,计算检验的F统计量,做出判断: 第三步
ˆ* Y = Xβ + e *
于是
ˆ* ˆ ˆ* ˆ* ˆ e * = Y − Xβ = Xβ+ e − Xβ = e − X(β − β)
受约束样本回归模型的残差平方和 残差平方和RSSR 受约束 残差平方和
ˆ* ˆ ˆ* ˆ e′ e * = e′e + (β − β)′X′X(β − β) *
RSS1=0.003240
1995~2001: :
ln Q = 13.78 + 0.55 ln X − 3.06 ln P1 + 0.71ln P0
记RSS1与RSS2为在两时间段上分别回归后所得的 残差平方和,容易验证,
RSSU = RSS1 + RSS 2
于是
[ RSS R − ( RSS1 + RSS 2 )] / k F= ~ F [k , n1 + n2 − 2(k + 1)] ( RSS1 + RSS 2 ) /[ n1 + n2 − 2(k + 1)]
受约束回归
一、模型参数的线性约束 二、对回归模型增加或减少解释变量 三、参数的稳定性 *四、非线性约束 四
一、模型参数的线性约束
对模型
Y = β 0 + β1 X 1 + β 2 X 2 + L + β k X k + µ
(*)
施加约束
β1 + β 2 = 1
β k −1 = β k
得
或
Y = β 0 + β 1 X 1 + (1 − β 1 ) X 2 + L + β k −1 X k −1 + β k −1 X k + µ *
然而,对所考查的具体问题能否施加约束 能否施加约束? 能否施加约束 需进一步进行相应的检验。常用的检验有 常用的检验有: 常用的检验有 F检验、x2检验与t检验, 主要介绍F检验 主要介绍 检验 在同一样本下,记无约束 无约束样本回归模型为 无约束 ˆ Y = Xβ+ e 受约束样本回归模型为 受约束
Y1 X 1 μ = β+ 1 Y X μ 2 2 2
(*)式施加上述约束后变换为受约束 受约束回归模型 受约束
(**)
因此,检验的F统计量为:
( RSS R − RSSU ) / k F= ~ F [k , n1 + n2 − 2(k + 1)] RSSU /[ n1 + n2 − 2(k + 1)]
讨论: 讨论: 如果约束条件无效, RSSR 与 RSSU的差异较大, 计算的F值也较大。 于是,可用计算的F统计量的值与所给定的显著 性水平下的临界值作比较,对约束条件的真实性进 行检验。 注意,kU - kR恰为约束条件的个数。
例 3.6.1 中国城镇居民对食品的人均消费需求 实例中,对零阶齐次性 零阶齐次性检验: 实例中 零阶齐次性 无约束回归:RSSU=0.00324, kU=3 受约束回归:RSSR=0.00332, KR=2 样本容量n=14, 约束条件个数kU - kR=3-2=1
§3.6 受约束回归
在建立回归模型时,有时根据经济理论需对 模型中变量的参数施加一定的约束条件。 如: 0阶齐次性 条件的消费需求函数 阶齐次性 1阶齐次性 条件的C-D生产函数 阶齐次性 模型施加约束条件后进行回归,称为受约束 受约束 模型施加约束条件后进行回归 回归( 回归(restricted regression); ) 不加任何约束的回归称为无约束回归 不加任何约束的回归称 无约束回归 (unrestricted regression)。 )。
Y = β 0 + β1 X 1 + L + β k X k + µ
在 两 个 连 续 的 时 间 序 列 ( 1,2,… , n1 ) 与 (n1+1,…,n1+n2)中,相应的模型分别为:
Y = β 0 + β 1 X 1 + L + β k X k + µ1
Y = α 0 + α1 X 1 + L + α k X k + µ 2
2 2 ( RU − RR ) / q F= 2 (1 − RU ) /(n − (k + q + 1))
三、参数的稳定性
建立模型时往往希望模型的参数是稳定的,即 所谓的结构不变 结构不变,这将提高模型的预测与分析功 结构不变 能。如何检验? 如何检验? 如何检验
1、邹氏参数稳定性检验