一元线性回归模型

2
1 n ˆ xi )2 = 1 ( Lyy − bLxy ). ˆ ˆ 即 σ = ∑ ( yi − a − b ˆ n i =1 n
2
n σ 2. 而σ 的无偏估计是 ˆ n−2
2
∴σ ˆ
*2
n 1 2 ˆ σ = ( Lyy − bLxy ). = ˆ n−2 n−2
ex1. 设有一组观察值如下，求回归方程 设有一组观察值如下，求回归方程.
ˆ ˆ ˆ 对于x0可得 y0 = a + bx0 , 称其为 Y0的点预测.
( 2) Y0的区间估计 : 选取 T =
σ* ˆ
ˆ Y0 − y0 ~ t ( n − 2) 2 1 ( x0 − x ) 1+ + n Lxx
对于任意给定的 0 < α < 1, 有 P { T < tα ( n − 2)} = 1 − α .
研究变量间的相关关系，确定回归函数， 研究变量间的相关关系，确定回归函数，由此预测和控 制变量的变化范围等就是回归分析。 制变量的变化范围等就是回归分析。 研究两个变量间的相关关系，称为一元回归分析； 研究两个变量间的相关关系，称为一元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 若回归函数为线性函数，则称为线性回归分析。 若回归函数为线性函数，则称为线性回归分析。
所以y与 之间显著地存在线性关系 之间显著地存在线性关系. 所以 与x之间显著地存在线性关系
四、一元线性回归模型的应用—预测与控制 一元线性回归模型的应用 预测与控制 1. 预测问题
(根据 = a + bx + ε , 研究 = x0时如何估计 0 ) Y x Y
(1) Y0的点估计 :
ˆ ˆ ˆ ˆ ˆ 由n组观察值可得 y = a + bx , 从而 Y = a + bx + ε .
2 2 i =1 2 i =1 i =1
n
n
n
ˆ ˆ ˆ = b ∑ ( xi − x )2 = b 2 Lxx = bLxy .
i =1
n
ˆ Q = Lyy − U = Lyy − b 2 Lxx .
H 假设 0 : b = 0,
U ∵F = ~ F(1, n − 2), Q (n − 2) U 则否定域为 F = > F (1, n − 2). α Q (n − 2)
4.分数指数函数 y = de , 1 令 ln y = y′, = x′, ln d = a , 则y′ = a + bx′. x
5.对数函数 y = a + b lg x ,
令 lg x = x′则y = a + bx′.
b x
1 6.生产函数 y = , −x a + be 1 令 = y ′ , e − x = x ′ , 则 y ′ = a + bx ′ . y
xi : 165 yi : 187
5 5
123 126
150 171
123 为近似的线性关系 由散点图可见， 与 为近似的线性关系 为近似的线性关系.
∵ ∑ xi = 702, ∑ yi = 758, ∑ x = 99864, ∑ xi yi = 108396
See Figure. y ⋅ ⋅⋅ ⋅⋅⋅⋅⋅⋅ ⋅⋅⋅⋅⋅⋅ ⋅⋅ ⋅
y
x o o 这里的直线和曲线y=f(x)可以作为相关变量观察结果的 这里的直线和曲线y=f(x)可以作为相关变量观察结果的 一种近似描述，这样的函数称为回归函数。 一种近似描述，这样的函数称为回归函数。
⋅
⋅ ⋅ ⋅⋅⋅ ⋅ ⋅⋅ ⋅ ⋅⋅⋅ ⋅⋅⋅⋅ ⋅ ⋅⋅⋅⋅⋅ ⋅ ⋅⋅ ⋅⋅ ⋅ ⋅⋅⋅ ⋅ ⋅ ⋅⋅⋅ ⋅ ⋅⋅ ⋅ ⋅ x
ˆ ˆ ˆ ˆ 即 a + bx − δ ( x ) < Y < a + bx + δ ( x ).
可见,预测问题就是已知 x得出Y的范围即求得y1, y2 .
2. 控制问题 (控制是预测的反问题 控制是预测的反问题). 控制是预测的反问题
即要使变量 Y在区间( y1 , y2 )内取值,
y1 = a + bx1 − σ * Zα ˆ ˆ ˆ 2 由 ˆ x2 + σ * Zα ˆ ˆ y2 = a + b 2
α = 005, n = 5, 查表得 F0.05 (1,3) = 10.13,
∴ 否定域为 F > 10.13.
ˆ U = bLxy = 1.5138 × 1972.8 = 2986.4246,
Q = Lyy − U = 2999.2 − 2986.4246 = 12.7754,
U 2986.4246 ∴F = = × 3 = 701.29104 ∈ 否定域. 12.7754 Q 3
求出x1和x2 , 作为x控制区间的两端点.
8.2 可线性化的一元回归模型
1 b 1.双曲线 = a + , x y 1 1 令 = y ′ , = x ′ , 则 y ′ = a + bx ′. y x
2.幂函数 y = dx b ,
令 ln y = y′, ln x = x′, ln d = a , 则y′ = a + bx′. 3.指数函数 y = de bx , 令 ln y = y′, ln d = a , 则y′ = a + bx .
满足 : 或 或
(1) max ei 最小;
i
( 2)∑ ei 最小;
i
( 3)∑ ei2最小.
i
而 ∑ e = ∑ ( yi − a − bxi )2
2 i i
n
求 Q(a , b ) = ∑ ( yi − a − bxi )2的最小值 ,即可求得 a , b.
i =1
i =1 n
令
n ∂Q = −2∑ ( yi − a − bxi ) = 0 i =1 ∂a n ∂Q = −2∑ ( yi − a − bxi ) xi = 0 i =1 ∂b
解得
a = y − bx
b = i =1 n
n
∑ x i y i − nx y
i =1
n
∑ x − nx
2 i
2
= i =1
∑ ( xi − x )( yi − y )
i =1
n
( xi − x )2 ∑
n
记Lxx = ∑ ( xi − x ) = ∑ xi2 − nx 2
2
n
Lyy = ∑ ( yi − y )2 = ∑ yi2 − ny 2 Lxy = ∑ ( xi − x )( yi − y ) = ∑ xi yi − nxy
从而解得， 从而解得，
2
ˆ y0 − t α σ * ˆ
2
1 ( x0 − x ) 2 1 ( x0 − x ) 2 ˆ 1+ + < Y0 < y0 + tα σ * 1 + + ˆ n Lxx n Lxx 2
ˆ ˆ 即 y0 − δ ( x0 ) < Y0 < y0 + δ ( x0 ).
ˆ ˆ 将x0换成 x , 则得 Y的置信区间为 y − δ ( x ) < Y < y + δ ( x ).
二、回归系数的最小二乘估计
ˆ ˆ ˆ ˆ ˆ 设a , b的估计值为 a , b , 则y = a + bx .
1. 下面通过观察值 xi , yi )来计算ˆ, b. ( a ˆ
ˆ 为方便起见 , 记y = a + bx .
ˆ 对于每个观察值 ( xi , yi ), 相应地可得 yi = a + bxi . ˆ 要使得 y = a + bx是最好的, 就是要使残量 (差) : ˆ e i = y i − yi
Chapter 8(1) 一元线性回归模型
8.1 一元线性回归模型
回归分析是数据处理中常用的一种方法。 回归分析是数据处理中常用的一种方法。在此着重 讨论应用最普遍的线性回归，并简单介绍非线性回归。 讨论应用最普遍的线性回归，并简单介绍非线性回归。 变量与变量之间的关系大致分为两类： 变量与变量之间的关系大致分为两类： （1）确定性关系； ）确定性关系； 相关关系。 （2）非确定性关系 相关关系。 ）非确定性关系—相关关系 相关关系虽有不确定性，但是在大量的观察下， 相关关系虽有不确定性，但是在大量的观察下，则 会呈现一定的规律性。 会呈现一定的规律性。 通常通过散点图来进行统计。 通常通过散点图来进行统计。 散点图来进行统计
i =1 i =1 i =1 n i =1 n
i =1 n
i =1 n
a = y − bx 则有 Lxy b = L xx
ˆ ˆ ˆ ∴ y = a + bx
为经验回归直线方程 .
2. 通过矩法估计来计算σ 2 .
∵ σ = E (ε )是ε的二阶原点矩 ,
2 2
1 n 2 1 n ˆ ∴ σ = ∑ ε i = ∑ ( yi − a − bxi )2 . n i =1 n i =1
假设 0 : b = 0, H
则否定域为 T = ˆ b
σ ˆ
*
⋅ Lxx > tα (n − 2).
2
2. F检验法 检验法
yi 之间总的差异可用离差 平方和 Lyy来描述 .
ˆ ˆ Lyy = ∑ ( yi − y ) = ∑ [( yi − yi ) + ( yi − y )]2
2 n n i =1 n i =1 n
ˆ ˆ ˆ ˆ = ∑ ( yi − yi ) + ∑ ( yi − y ) + 2∑ ( yi − yi )( yi − y )