线性回归的经验公式与最小二乘法

a,b的方法称为最小二乘法. LSE (Least Square Estimation)
10
n
a, b 的求解： Q(a, b) [ yi (a bxi )]2
i 1
Q
n
a
Q
b
2 2
i 1 n
i 1xi
)] )]xi
0 0
na nxb ny
nxa
(
i
n 1
xi2 )b
n i 1
——
xi yi
称为正规方程组
其中
x
1 n
n i 1
xi
,
y
1 n
n i 1
yi
11
na nxb ny
nxa
n
(
i 1
xi2 )b
n i 1
xi
yi
系数行列式
n D nx
nx
n
n
n
xi2
n(
x
2 i
nx
2
)
n
(xi x)2,
i 1
i 1
i 1 n
i1 n
.
xi2 nx 2
(xi x)2
i 1
i 1
n
n
记 lxx
(xi x)2
x
2 i
nx 2
,
i 1
i 1
n
n
l yy ( yi y)2 yi2 ny2 ,
i 1
i 1
n
n
lxy ( xi x)( yi y) xi yi nxy ,
i 1
i 1
• 皮肌炎是一种引起皮肤、肌肉、 心、肺、肾等多脏器严重损害的， 全身性疾病，而且不少患者同时 伴有恶性肿瘤。它的1症状表现如 下：
• 1、早期皮肌炎患者，还往往伴 有全身不适症状，如-全身肌肉酸 痛，软弱无力，上楼梯时感觉两 腿费力；举手梳理头发时，举高 手臂很吃力；抬头转头缓慢而费 力。
二、最小二乘法
则
bˆ lxy , l xx
aˆ y bˆx .
显然回归直线经过散点图
的几何中心 ( x, y) . 13
例2 价格与供给量的观察数据见下表：
x (元) 2 3 4 5 6 8 10 12 14 16 y (吨) 15 20 25 30 35 45 60 80 80 110
求 y 对 x 的回归方程.
5
其他可能的相关关系见下图：
y
o
x
y
o
x
y
o
x
y
o
x
6
图 1的10个点虽然不在一直线上，但大致散布于一 条直线周围，我们把其表示为：
y a bx
~ N (0, 2 )
即对每一个x值， y ~ N (a bx, 2 ) , 其中 a, b及 2都是
不依赖于x 的未知参数. 称上述方程为 y 关于 x 的一元
第七章
1
变量之间的关系大致有 两种，一是 函数 关系， 是确定性的，如 s = v t ; 另一种是相关关系，是不 确定的.
在社会经济领域，更多的是相关关系. 如投入与 产出、价格与需求的关系等等.
回归分析方法是处理变量间相互关系的有力工 具.
2
第一节
3
一、散点图与回归直线
将n对观察结果作为直角平面上的点，这样得到 的图形称为散点图.散点图可以帮助我们粗略地看 出 x 与 y 的相关关系的形式.
根据上述假设，对 i 1,2,n,
yi a bxi i
n
如 a, b 的值能使 | i |为最小,则该直线是较理想的选择.
n
i1 n
由于
| i |最小与
2 i
最小一致,故问题成为求
a,
b
,使
i 1
i 1
n
Q(a, b) [ yi (a bxi )]2
i 1
达到最小. 上述原则即称为最小二乘原则，由此估计
线性回归方程. 通常记为
yˆ a bx
由样本对a, b 进行估计,得到aˆ 及 bˆ, 称 a 为回归常数, b为回归系数 .
7
求 a,b 估计值的方法：
(一) 作图法：简单方便，但精度差，局限性大； (二) 参数估计法：
最大似然估计法； 矩估计法； 最小二乘估计法（常用）.
8
皮肌炎图片——皮肌炎的症状表现
16
2 i
10x 2
210
,
i 1
i 1
10
10
l xy ( xi x )2 xi yi 10xy 1350 ,
i 1
i 1
bˆ lxy 6.4286 , aˆ y bˆx 1.4288 , l xx
所以所求回归方程为
yˆ 1.4288 6.4286x .
15
练习：
P240 习题七
解
x
1 10
10 i 1
xi
8
,
1 10 y 10 i1 yi 50 ,
10
10
lxx
(xi x)2
x
2 i
10x 2
210
,
i 1
i 1
10
10
l xy ( xi x )2 xi yi 10xy 1350 ,
i 1
i 1
14
10
10
lxx
(xi x)2
x
4
例1 价格与供给量的观察数据见下表：
x (元) 2 3 4 5 6 8 10 12 14 16 y (吨) 15 20 25 30 35 45 60 80 80 110
散点图
120 100
80
60
40 20
0
0
5
10
15
20
图1
由图1可以看出，x 与 y 之间存在一定的相关关系， 且这种关系是线性关系.
i 1
由于
xi
不全相等，
n
D
0
,
所以方程组有唯一解
n
aˆ
y bˆx , bˆ
xi yi nxy
i 1 n
(xi x)( yi y)
i 1 n
.
xi2 nx 2
(xi x)2
i 1
i 1
12
aˆ y bˆx ,
n
n
xi yi nxy
(xi x)( yi y)
bˆ