元线性回归的经验公式与最小二乘法

求 y 对 x 的回归方程.
解
1 10
x 10i1
xi
8,
y 1 10 10i1
yi
50,
10
10
lxx (xi x)2 xi210x2 210,
i1
i1
10
10
lxy (xi x)2 xiyi 10xy135,0
i1
i1
13
10
10
lxx (xi x)2 xi210x2 210,
yi abix i
n
如 a, b 的值能使 | i |为最小,则该直线是较理想的选择.
n
i1 n
由于
| i |最小与
2 i
最小一致,故问题成为求
a,
b
,使
i 1
i 1
n
Q(a,b) [yi (abix)2]
i1
达到最小. 上述原则即称为最小二乘原则，由此估计
a,b的方法称为最小二乘法. LSE (Least Square Estimation)
5
其他可能的相关关系见下图：
y
o
x
yFra Baidu bibliotek
o
x
y
o
x
y
o
x
6
图 1的10个点虽然不在一直线上，但大致散布于 一条直线周围，我们把其表示为：
yabx ~N(0,2) 即对每一个x值， y~N(ab,x 2),其中 a,b及2都是
不依赖于x 的未知参数. 称上述方程为 y 关于 x 的一 线性回归方程. 通常记为 元
9
n
a,b的求解： Q(a,b) [yi (abix)2]
i1
Q
n
a
Q
b
2
i1
n
2
i1
[ [
yi yi
(a (a
bxi bxi
)] )]xi
0 0
nanxbny
nxa(in1
xi2)b
n i1
xi
yi
——
称为正规方程组
其中 xn 1i n1xi , yn 1i n1yi
10
nanxbny
i1 n
.
x
2 i
nx
2
(xi x)2
i1
i1
11
aˆ ybˆx,
n
n
x i y i n x y
( xi x )( yi y)
bˆ
i1 n
i1 n
.
x
2 i
nx
2
(xi x)2
i1
i1
n
n
记 lxx (xix)2 xi2nx2,
i1
i1
n
n
lyy (yiy)2 yi2ny2,
4
例1 价格与供给量的观察数据见下表：
x (元) 2 3 4 5 6 8 10 12 14 16 y (吨) 15 20 25 30 35 45 60 80 80 110
散点图
120 100
80
60
40 20
0
0
5
10
15
20
图1
由图1可以看出，x 与 y 之间存在一定的相关关系， 且这种关系是线性关系.
i1
i1
10
10
lxy (xi x)2 xiyi 10xy135,0
i1
i1
bˆ lxy 6.4286, aˆybˆx1.428, 8 lxx
所以所求回归方程为
y ˆ1.42 86.8 42x8.6
14
练习：
P240 习题七
15
第七章
1
变量之间的关系大致有 两种，一是 函数 关系， 是确定性的，如 s = v t ; 另一种是相关关系，是不 确定的.
在社会经济领域，更多的是相关关系. 如投 入与产出、价格与需求的关系等等.
回归分析方法是处理变量间相互关系的有力 工具.
2
第一节
3
一、散点图与回归直线
将n对观察结果作为直角平面上的点，这样得 到的图形称为散点图.散点图可以帮助我们粗略地 看出 x 与 y 的相关关系的形式.
yˆabx
由样 a,b本 进对 行 ,得 估 a ˆ及 到 b 计 ˆ,称 a为回,归 b为回归系数 .
7
求 a,b 估计值的方法：
(一) 作图法：简单方便，但精度差，局限性大； (二) 参数估计法：
最大似然估计法； 矩估计法； 最小二乘估计法（常用）.
8
二、最小二乘法
根据上述假 i1,设 2, n， , 对
nxa(in1
xi2)b
n i1
xi
yi
系数行列式
n D nx
nx
n
n
n
x
2 i
n( xi2 nx2)n (xi x)2,
i1
i1
i1
由 于 xi 不 全 相 等 ， n D0,
所以方程组有唯一解
n
aˆybˆx, bˆ
xi yi nxy
i1 n
( xi x )( yi y)
i1
i1
n
n
lx y (x ix)y (iy) x iyin x y,
i 1
i 1
则
bˆ lx y , lxx
aˆ ybˆx.
显然回归直线经过散点图
的几何中心 (x, y) . 12
例2 价格与供给量的观察数据见下表：
x (元) 2 3 4 5 6 8 10 12 14 16 y (吨) 15 20 25 30 35 45 60 80 80 110