简单回归模型及回归结果的检验2
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
TSS =
∑
(Y
i
− Y )
2
2011-1-24
中山大学南方学院
14
•
这方差总和中有三项：第一项叫 做解释平方和（explained sum of squares）或者叫回归平方和 （regression sum of squares）,表示估计 值与实际平均值之差的平方的总和， 用RSS来表示：
• 6.求出参数的t值。 • 7.根据上面的结果，讨论方程中的参数是否 有统计意义？ • 8.解释自变量X的变化对因变量Y有什么样的 影响？ • 9.你认为这个回归结果好吗？为什么？
Log (价格)＝α＋β（需求量）
2011-1-24
中山大学南方学院
30
•
在应用计量经济的过程中， 我们选择变量和处理变量时一 定要有经济学的理论作为基础， 服从经济学的基本原理。
2011-1-24
中山大学南方学院
31
Exercise
回归统计值 Multiple R R^2 调整过的R^2 标准误差 样本数 0.921852 ? ? ? 20
2011-1-24
中山大学南方学院
20
我们可以用这个统计指标来对 模型的回归结果做整体的假设检验。 我们的原假设“所有的估计参数都 同时等于零”。 • 进而我们通过F检验来得出我 们的结论。检验的过程和方法跟t 检验是一样的。 •
2011-1-24 中山大学南方学院 21
第四节 回归结果的解释
• 在模型回归估计结果的表格中 还有一个有意思的统计量，就是R2 。 有些翻译的英文教科书中把它译成 “判定系数”。这个数值是用下面 公式计算出来的：
ˆ ) = ∑ e2 ESS = ∑ (Yi − Yi i
2011-1-24 中山大学南方学院 16
2
•
第三项就是剩余的部分，这部 分可以忽略不计，因为它小得几乎 等于零：
ˆ ˆ 2∑ (Yi − Y )(Yi − Yi ) ≈ 0
2011-1-24
中山大学南方学院
17
•
那么，方差总和是解释平方和 与未解释平方和的加总，即： TSS＝RSS＋ESS
SE β = s β
2
tβ =
ˆ β −0 SE β
4
2011-1-24
中山大学南方学院
• 标准误差： • 统计值：
SE α =
sα
2
tα =
2011-1-24
ˆ α −0 SEα
5
中山大学南方学院
参数统计值的统计意义分析
α
原假设 t值 t值对应的失误率 允许的失误率 α＝0 1.127662 0.273502 β＝0 18.95038 8.47E-14 0.05 2.086
RSS K F= = ESS ( N − K − 1)
∑ (Yˆ − Y )
i
K
ˆ (Yi − Yi ) ( N − K − 1) ∑
• F=Explained Variance/Unexplained Variance • =Regression Variance/Residual Variance
第五章 其他简单线性回归模型
• 有时我们从数据的图形来看，因 变量与自变量之间并不呈直线关系， 而是有明显的曲线关系。那么，我们 可能通过对变量的转换来使其变为直 线关系。通常我们可以用自然对数， 平方，立方，平方根，甚至更复杂的 指数形式来转换变量。
中山大学南方学院 27
2011-1-24
Log(Y) = α + βX Y = α + β * Log(X) Log(Y) = α + β * Log(X) Y = α + βX
ESS / df 2 Adj ( R ) = 1 − = 1− TSS / df 3 (Yi − Y ) 2 /( N − 1) ∑
2
ˆ (Yi − Yi ) 2 / df 2 ∑
在近些年来经济科学杂志上发表的文章中 一般将这个数值按传统的习惯保留在回归分析 结果的表格中，而不对此数值加以评价。
2011-1-24 中山大学南方学院 26
β
0.05
允许失误率下查表所得到的t 2.086 值 接受原假设 1.127662（t统计量）<2.086 （查表所得到的t值）或 0.273502（t值对应的失误率） >0.05(允许的失误率)
拒绝原假设（具有统计学意 义）
18.95038（t统计量）>2.086 （查表所得到的t值）或 8.47E-14（t值对应的失误率） <0.05(允许的失误率)
中山大学南方学院 24
2011-1-24
•
一般来说，用横截面数据时，判定 系数会低些；用时间序列数据时，它 的值会高些，特别是当我们增加自变 量的个数时，它的值就会随之提高。 现在计量经济学家对这个判定系数有 了不同的看法。认为这个判定系数不 可靠。
中山大学南方学院 25
2011-1-24
•
后来又有些计量经济学试图用不同的方法 来计算判定系数，如用调整过的R2
我们要求的置信度为95％（即允许的误差Байду номын сангаас围 我们要求的置信度为 ％（即允许的误差范围 ％（即允许的误差范围α=0.05）
• • • • •
1.求出R^2、调整过的R^2、标准误差。 2.求出回归、残差、总和的自由度。 3.求出回归的平方和、总和的平方和。 4.求出F统计量的值。 5.写出估计的回归方程。
2011-1-24 中山大学南方学院 10
•
Y 我们将上面这个等式的两边同时减去 ， 得到：
ˆ ˆ Yi − Y = (Yi − Y ) + (Yi − Yi )
• 等式的左边是每个样本值与其平均值的 差，也就是真实误差。我们再将等式的两 边同时进行平方，再加总。我们得到：
2011-1-24
中山大学南方学院
12
ˆ ˆ (Yi −Y) = ∑(Yi −Y) + (Yi −Yi ) ∑
2
[
]
2
ˆ −Y)2 + ∑(Y −Y )2 + 2∑(Y −Y)(Y −Y ) ˆ ˆ ˆ = ∑(Yi i i i i i
2011-1-24
中山大学南方学院
13
•
我们用TSS来表示这是方差总和 （Total Sum of Squares）
第三节 估计参数方程的方差分析
• 对回归分析得出的结果做进一步的分析， 就是对估计参数方程的方差分析，英文叫 “Analysis of variance (ANOVA)”。如下表所 示：
自由度 模型（解释） df1=K 平方和 RSS 平均平方和 RSS/df1 F检验值 检验值 (RSS/df1 )/（ESS/df2 ）
2011-1-24
中山大学南方学院
22
RSS ESS R = = 1− TSS TSS ˆ − Y )2 ˆ )2 ∑ (Yi ∑ (Yi − Yi 2 R = = 1− 2 2 ∑ (Yi − Y ) ∑ (Yi − Y )
2
2011-1-24
中山大学南方学院
23
•
人们把R2当作回归估计模型对真实 模型解释的百分比。也就是说，根据 这个数值来评价模型回归估计结果的 好坏，认为这个值可以“告诉人们Y的 估计值与它的真实值相靠多近”。当 接近100％时，以前人们就认为这个回 归估计的结果很逼真。
•
2011-1-24
中山大学南方学院
18
解释平方和（RSS）的自由度被规定为 模型中自变量的个数，用K来表示，即： • df1=K • 未解释平方和（ESS）的自由度的被规 定为样本数减去自变量的个数再减去一， 即： • df2=N-K-1 • •
2011-1-24 中山大学南方学院 19
• F的检验值为：F＝解释方差/未解释方差。即：
残差（未解释） df2=N-K-1 总和
2011-1-24
ESS TSS=RSS+ESS
中山大学南方学院
ESS/df2
df3=N-1
9
• 我们有如下模型：
Yi = α + βX Yˆ = α + β X e = Y − Yˆ
i i i
i i
+ ei
Y i = Yˆ i + e i Y i = Yˆ i + ( Y i − Yˆ i )
Exercise
• 消费与收入的调查样本的回归分析结果
参数 标准误差 t值 值 P-value(失误 失误 率) 0.380779
截距
131.8368
146.7291
？
自变量X
0.866349
0.085845
？
7.75E-09
• 我们要求的置信度为95％（即允许的误差范 围α=0.05）
• 1.写出回归分析的参数方程。 • 2.求出参数的t值。 • 3.根据上面的结果，讨论方程中的参数是否 有统计意义？ • 4.解释自变量X（收入）的变化对因变量Y （消费）有什么样的影响？并说明其经济 学的含义。
ˆ − Y )2 RSS = ∑ (Yi
2011-1-24 中山大学南方学院 15
•
第二项叫作未解释平方和（residual sum of squares）,或叫误差平方和 （error sum of squares）,或叫残差平方 和是实际值与估计值之差的平方的总 和，也就是其误差项平方的总和，用 ESS来表示：
REVIEW
简单回归分析
• 一、建立简单的模型
Yi = α + βX i + e
回归参数统计量的计算
• 其模型的估计方差（误差平方和）是：
s =
2
ˆ − βX i )２ (Yi − α ˆ ∑ N −2
2
• 或者：
s
2011-1-24
∑e =
2 i
N −2
3
中山大学南方学院
• 标准误差： • 其统计检验值：
自由度 回归 残差 总和 ? ? ?
平方和 ?
平均平 F 方和 6143714 ?
显著性 水平 7.75483E -09
1085786 ? ?
参数
标准误差 t值 值
截距 自变量X
131.8368 146.7291 ? 0.866349 0.085845 ?
Pvalue(失 失 误率) 误率 0.380779 7.75E-09
2011-1-24
2
28
中山大学南方学院
1 Y = α + β( ) X 2 Y = α + βX Y
2
= α + βX
2 2
Log ( Y ) = α + β X LL
2011-1-24 中山大学南方学院
29
•
在应用计量经济学中，当我们的模 型中有“价格”，“收入”之类的变量 时，一般应该用自然对数的形式将变量 转换一下。这样可以避免在对变量进行 预测时出现负值的情况。
∑
(Y
i
− Y )
2
2011-1-24
中山大学南方学院
14
•
这方差总和中有三项：第一项叫 做解释平方和（explained sum of squares）或者叫回归平方和 （regression sum of squares）,表示估计 值与实际平均值之差的平方的总和， 用RSS来表示：
• 6.求出参数的t值。 • 7.根据上面的结果，讨论方程中的参数是否 有统计意义？ • 8.解释自变量X的变化对因变量Y有什么样的 影响？ • 9.你认为这个回归结果好吗？为什么？
Log (价格)＝α＋β（需求量）
2011-1-24
中山大学南方学院
30
•
在应用计量经济的过程中， 我们选择变量和处理变量时一 定要有经济学的理论作为基础， 服从经济学的基本原理。
2011-1-24
中山大学南方学院
31
Exercise
回归统计值 Multiple R R^2 调整过的R^2 标准误差 样本数 0.921852 ? ? ? 20
2011-1-24
中山大学南方学院
20
我们可以用这个统计指标来对 模型的回归结果做整体的假设检验。 我们的原假设“所有的估计参数都 同时等于零”。 • 进而我们通过F检验来得出我 们的结论。检验的过程和方法跟t 检验是一样的。 •
2011-1-24 中山大学南方学院 21
第四节 回归结果的解释
• 在模型回归估计结果的表格中 还有一个有意思的统计量，就是R2 。 有些翻译的英文教科书中把它译成 “判定系数”。这个数值是用下面 公式计算出来的：
ˆ ) = ∑ e2 ESS = ∑ (Yi − Yi i
2011-1-24 中山大学南方学院 16
2
•
第三项就是剩余的部分，这部 分可以忽略不计，因为它小得几乎 等于零：
ˆ ˆ 2∑ (Yi − Y )(Yi − Yi ) ≈ 0
2011-1-24
中山大学南方学院
17
•
那么，方差总和是解释平方和 与未解释平方和的加总，即： TSS＝RSS＋ESS
SE β = s β
2
tβ =
ˆ β −0 SE β
4
2011-1-24
中山大学南方学院
• 标准误差： • 统计值：
SE α =
sα
2
tα =
2011-1-24
ˆ α −0 SEα
5
中山大学南方学院
参数统计值的统计意义分析
α
原假设 t值 t值对应的失误率 允许的失误率 α＝0 1.127662 0.273502 β＝0 18.95038 8.47E-14 0.05 2.086
RSS K F= = ESS ( N − K − 1)
∑ (Yˆ − Y )
i
K
ˆ (Yi − Yi ) ( N − K − 1) ∑
• F=Explained Variance/Unexplained Variance • =Regression Variance/Residual Variance
第五章 其他简单线性回归模型
• 有时我们从数据的图形来看，因 变量与自变量之间并不呈直线关系， 而是有明显的曲线关系。那么，我们 可能通过对变量的转换来使其变为直 线关系。通常我们可以用自然对数， 平方，立方，平方根，甚至更复杂的 指数形式来转换变量。
中山大学南方学院 27
2011-1-24
Log(Y) = α + βX Y = α + β * Log(X) Log(Y) = α + β * Log(X) Y = α + βX
ESS / df 2 Adj ( R ) = 1 − = 1− TSS / df 3 (Yi − Y ) 2 /( N − 1) ∑
2
ˆ (Yi − Yi ) 2 / df 2 ∑
在近些年来经济科学杂志上发表的文章中 一般将这个数值按传统的习惯保留在回归分析 结果的表格中，而不对此数值加以评价。
2011-1-24 中山大学南方学院 26
β
0.05
允许失误率下查表所得到的t 2.086 值 接受原假设 1.127662（t统计量）<2.086 （查表所得到的t值）或 0.273502（t值对应的失误率） >0.05(允许的失误率)
拒绝原假设（具有统计学意 义）
18.95038（t统计量）>2.086 （查表所得到的t值）或 8.47E-14（t值对应的失误率） <0.05(允许的失误率)
中山大学南方学院 24
2011-1-24
•
一般来说，用横截面数据时，判定 系数会低些；用时间序列数据时，它 的值会高些，特别是当我们增加自变 量的个数时，它的值就会随之提高。 现在计量经济学家对这个判定系数有 了不同的看法。认为这个判定系数不 可靠。
中山大学南方学院 25
2011-1-24
•
后来又有些计量经济学试图用不同的方法 来计算判定系数，如用调整过的R2
我们要求的置信度为95％（即允许的误差Байду номын сангаас围 我们要求的置信度为 ％（即允许的误差范围 ％（即允许的误差范围α=0.05）
• • • • •
1.求出R^2、调整过的R^2、标准误差。 2.求出回归、残差、总和的自由度。 3.求出回归的平方和、总和的平方和。 4.求出F统计量的值。 5.写出估计的回归方程。
2011-1-24 中山大学南方学院 10
•
Y 我们将上面这个等式的两边同时减去 ， 得到：
ˆ ˆ Yi − Y = (Yi − Y ) + (Yi − Yi )
• 等式的左边是每个样本值与其平均值的 差，也就是真实误差。我们再将等式的两 边同时进行平方，再加总。我们得到：
2011-1-24
中山大学南方学院
12
ˆ ˆ (Yi −Y) = ∑(Yi −Y) + (Yi −Yi ) ∑
2
[
]
2
ˆ −Y)2 + ∑(Y −Y )2 + 2∑(Y −Y)(Y −Y ) ˆ ˆ ˆ = ∑(Yi i i i i i
2011-1-24
中山大学南方学院
13
•
我们用TSS来表示这是方差总和 （Total Sum of Squares）
第三节 估计参数方程的方差分析
• 对回归分析得出的结果做进一步的分析， 就是对估计参数方程的方差分析，英文叫 “Analysis of variance (ANOVA)”。如下表所 示：
自由度 模型（解释） df1=K 平方和 RSS 平均平方和 RSS/df1 F检验值 检验值 (RSS/df1 )/（ESS/df2 ）
2011-1-24
中山大学南方学院
22
RSS ESS R = = 1− TSS TSS ˆ − Y )2 ˆ )2 ∑ (Yi ∑ (Yi − Yi 2 R = = 1− 2 2 ∑ (Yi − Y ) ∑ (Yi − Y )
2
2011-1-24
中山大学南方学院
23
•
人们把R2当作回归估计模型对真实 模型解释的百分比。也就是说，根据 这个数值来评价模型回归估计结果的 好坏，认为这个值可以“告诉人们Y的 估计值与它的真实值相靠多近”。当 接近100％时，以前人们就认为这个回 归估计的结果很逼真。
•
2011-1-24
中山大学南方学院
18
解释平方和（RSS）的自由度被规定为 模型中自变量的个数，用K来表示，即： • df1=K • 未解释平方和（ESS）的自由度的被规 定为样本数减去自变量的个数再减去一， 即： • df2=N-K-1 • •
2011-1-24 中山大学南方学院 19
• F的检验值为：F＝解释方差/未解释方差。即：
残差（未解释） df2=N-K-1 总和
2011-1-24
ESS TSS=RSS+ESS
中山大学南方学院
ESS/df2
df3=N-1
9
• 我们有如下模型：
Yi = α + βX Yˆ = α + β X e = Y − Yˆ
i i i
i i
+ ei
Y i = Yˆ i + e i Y i = Yˆ i + ( Y i − Yˆ i )
Exercise
• 消费与收入的调查样本的回归分析结果
参数 标准误差 t值 值 P-value(失误 失误 率) 0.380779
截距
131.8368
146.7291
？
自变量X
0.866349
0.085845
？
7.75E-09
• 我们要求的置信度为95％（即允许的误差范 围α=0.05）
• 1.写出回归分析的参数方程。 • 2.求出参数的t值。 • 3.根据上面的结果，讨论方程中的参数是否 有统计意义？ • 4.解释自变量X（收入）的变化对因变量Y （消费）有什么样的影响？并说明其经济 学的含义。
ˆ − Y )2 RSS = ∑ (Yi
2011-1-24 中山大学南方学院 15
•
第二项叫作未解释平方和（residual sum of squares）,或叫误差平方和 （error sum of squares）,或叫残差平方 和是实际值与估计值之差的平方的总 和，也就是其误差项平方的总和，用 ESS来表示：
REVIEW
简单回归分析
• 一、建立简单的模型
Yi = α + βX i + e
回归参数统计量的计算
• 其模型的估计方差（误差平方和）是：
s =
2
ˆ − βX i )２ (Yi − α ˆ ∑ N −2
2
• 或者：
s
2011-1-24
∑e =
2 i
N −2
3
中山大学南方学院
• 标准误差： • 其统计检验值：
自由度 回归 残差 总和 ? ? ?
平方和 ?
平均平 F 方和 6143714 ?
显著性 水平 7.75483E -09
1085786 ? ?
参数
标准误差 t值 值
截距 自变量X
131.8368 146.7291 ? 0.866349 0.085845 ?
Pvalue(失 失 误率) 误率 0.380779 7.75E-09
2011-1-24
2
28
中山大学南方学院
1 Y = α + β( ) X 2 Y = α + βX Y
2
= α + βX
2 2
Log ( Y ) = α + β X LL
2011-1-24 中山大学南方学院
29
•
在应用计量经济学中，当我们的模 型中有“价格”，“收入”之类的变量 时，一般应该用自然对数的形式将变量 转换一下。这样可以避免在对变量进行 预测时出现负值的情况。