一元线性回归的经验公式与最小二乘法

i 1
达到最小. 上述原则即称为最小二乘原则，由此估计
a,b的方法称为最小二乘法. LSE (Least Square Estimation)
8
n
a, b 的求解： Q(a, b) [ yi (a bxi )]2
i 1
Q
n
a

Q
b

2 [ yi
解
1 10 x 10 i1 xi 8 ,
y

1 10
10 i 1
yi

50
,
10
10
lxx ( xi x)2 xi2 10x 2 210 ,
i 1
i 1
10
10
l xy ( xi x )2 xi yi 10xy 1350 ,
4
其他可能的相关关系见下图：
y


o
x
y

o
x
y






o
x
y








o
x
5
图 1的10个点虽然不在一直线上，但大致散布于 一条直线周围，我们把其表示为：
y a bx
~ N (0, 2 )
即对每一个x值， y ~ N (a bx, 2 ) , 其中 a, b及 2都是
i 1
n
2 [ yi
i 1

(a (a

bxi bxi
)] )]xi
0 0
na nxb ny

nxa

(
n i 1
xi2 )b

n
——
xi yi
i 1
称为正规方程组
其中
1n x n i1 xi ,
1n y n i1 yi
9
na nxb ny
3
例1 价格与供给量的观察数据见下表：
x (元) 2 3 4 5 6 8 10 12 14 16 y (吨) 15 20 25 30 35 45 60 80 80 110
散点图
120 100
80
Leabharlann Baidu
60
40 20
0
0
5
10
15
20
图1
由图1可以看出，x 与 y 之间存在一定的相关关系， 且这种关系是线性关系.
i 1
i 1
12
10
10
lxx ( xi x)2 xi2 10x 2 210 ,
i 1
i 1
10
10
l xy ( xi x )2 xi yi 10xy 1350 ,
i 1
i 1
bˆ lxy 6.4286 , aˆ y bˆx 1.4288 , l xx
不依赖于x 的未知参数. 称上述方程为 y 关于 x 的一 线性回归方程. 通常记为 元
yˆ a bx
由样本对a, b 进行估计,得到aˆ 及 bˆ, 称 a 为回归常数, b为回归系数 .
6
求 a,b 估计值的方法：
(一) 作图法：简单方便，但精度差，局限性大； (二) 参数估计法：
最大似然估计法； 矩估计法； 最小二乘估计法（常用）.
所以所求回归方程为
yˆ 1.4288 6.4286x .
13
练习：
P240 习题七
14
7
二、最小二乘法
根据上述假设，对 i 1,2,n,
yi a bxi i
n
如 a, b 的值能使 | i |为最小,则该直线是较理想的选择.
n
i1 n
由于
| i |最小与

2 i
最小一致,故问题成为求
a
,
b
,使
i 1
i 1
n
Q(a, b) [ yi (a bxi )]2
变量之间的关系大致有 两种，一是 函数 关系， 是确定性的，如 s = v t ; 另一种是相关关系，是不 确定的.
在社会经济领域，更多的是相关关系. 如投 入与产出、价格与需求的关系等等.
回归分析方法是处理变量间相互关系的有力 工具.
1
第一节
2
一、散点图与回归直线
将n对观察结果作为直角平面上的点，这样得 到的图形称为散点图.散点图可以帮助我们粗略地 看出 x 与 y 的相关关系的形式.
i 1
i 1
n
n
记 lxx ( xi x)2 xi2 nx 2 ,
i 1
i 1
n
n
l yy ( yi y)2 yi2 ny2 ,
i 1
i 1
n
n
lxy ( xi x)( yi y) xi yi nxy ,
i 1

nxa

(
i
n 1
xi2 )b
n i 1
xi
yi
系数行列式
n D nx
nx
n
n
n
xi2
n(
x
2 i

nx
2
)

n
(xi x)2,
i 1
i 1
i 1
由于
xi
不全相等，
n
D

0
,
所以方程组有唯一解
n
xi yi nxy
(xi x)( yi y)
i 1
则
bˆ lxy , l xx
aˆ y bˆx .
显然回归直线经过散点图
的几何中心 ( x, y) . 11
例2 价格与供给量的观察数据见下表：
x (元) 2 3 4 5 6 8 10 12 14 16 y (吨) 15 20 25 30 35 45 60 80 80 110
求 y 对 x 的回归方程.
aˆ
y bˆx ,
bˆ
i 1 n
i1 n
.
xi2 nx 2
(xi x)2
i 1
i 1
10
aˆ y bˆx ,
n
n
xi yi nxy
(xi x)( yi y)
bˆ
i 1 n
i1 n
.
xi2 nx 2
(xi x)2