第1节 一元线性回归的经验公式与最小二乘法.

x y
i 1 n i i 1 2 i
n
i
nx y

2
(x
i 1 n
n
i
x )( yi y ) .
x nx
n i 1 n 2 i
2 ( x x ) i i 1
记 l xx ( xi x ) x nx ,
2 2
n
l yy ( yi y ) y ny ,
i 1
n
2
Q a 2 [ yi (a bxi )] 0 i 1 n Q 2 [ yi (a bxi )]xi 0 i 1 b
na nxb ny n n —— 称为 正规方程组 2 n x a ( x i )b x i yi i 1 i 1 1 n 1 n 其中 x xi , y yi n i 1 n i 1
看出 x 与 y 的相关关系的形式.
4
例1 价格与供给量的观察数据见下表： x (元) 2 3 4 5 6 8 10 12 14 16 y (吨) 15 20 25 30 35 45 60 80 80 110 散点图
120 100 80 60 40 20 0 0 5 10 15 20
图1
由图1可以看出，x 与 y 之间存在一定的相关关系，
10
na nxb ny n n 2 n x a ( x i )b x i yi i 1 i 1
系数行列式
D nx
n
2 2 2 n ( x n x ) n ( x x ) , i i x
n i 1 2 i
nx
n
n
i 1
i 1
i 1
10
10
10
l xy ( xi x ) xi yi 10xy 1350,
2 i 1
i 1
13
10
l xx ( xi x )2 xi2 10x 2 210 ,
i 1
i 1
10
10
l xy ( xi x )2 xi yi 10xy 1350,
2 2 y ~ N ( a bx , ) , 其中 a, b及 都是 即对每一个x值， 不依赖于x 的未知参数. 称上述方程为 y 关于 x 的一
线性回归方程. 通常记为 元
ˆ a bx y
ˆ , 称a 为回归常数 ˆ 及b 由样本对 a, b 进行估计 , 得到a ,
b为回归系数 .
且这种关系是线性关系.
5
其他可能的相关关系见下图：
y





y




o
y
x

o
y
x






o
x
o
x
6
图 1的10个点虽然不在一直线上，但大致散布于 一条直线周围，我们把其表示为：
y a bx
~ N (0, 2 )
7
求 a,b 估计值的方法：
(一) 作图法：简单方便，但精度差，局限性大； (二) 参数估计法：
最大似然估计法；
矩估计法； 最小二乘估计法（常用）.
8
二、最小二乘法
根据上述假设，对 i 1,2,n,
n
yi a bxi i
i
如 a , b 的值能使
由于
|
i 1
n
i
| | 为最小,则该直线是较理想的选择. | 最小与 最小一致,故问题成为求 a , b ,使
x (元) 2 3 4 5 6 8 10 12 14 16 y (吨) 15 20 25 30 35 45 60 80 80 110 求 y 对 x 的回归方程.
1 10 1 10 yi 50 , 解 x xi 8 , y 10 i 1 10 i 1

l xx ( xi x )2 xi2 10x 2 210 ,
第七章
1
变量之间的关系大致有 两种，一是 函数 关系，
是确定性的，如 s = v t ; 另一种是相关关系，是不
确定的. 在社会经济领域，更多的是相关关系. 如投
入与产出、价格与需求的关系等等.
回归分析方法是处理变量间相互关系的有力 工具.
2
第一节
3
一、散点图与回归直线
将n对观察结果作为直角平面上的点，这样得 到的图形称为散点图.散点图可以帮助我们粗略地
i 1 n
i 1 2 i
Q(a , b) [ yi (a bxi )]2
i 1
n
达到最小. 上述原则即称为最小二乘原则，由此估计 a,b的方法称为最小二乘法. LSE (Least Square Estimation)
9
a , b 的求解：
n
Q(a , b) [ yi (a bxi )]
i 1
i 1
10
10
l xy ˆ b 6.4286, l xx
所以所求回归方程为
ˆx 1.4288, ˆ yb a
ˆ 1.4288 6.4286x . y
14
练习：
P240 习题七
15
2
i 1 n
l xy ( xi x )( yi y ) xi yi nxy ,
i 1 i 1
i 1 n
i 1
2 i
2
பைடு நூலகம்
n
ˆ 则 b
l xy l xx
显然回归直线经过散点图 ˆx . ˆ yb , a 的几何中心 ( x , y ) .
12
例2 价格与供给量的观察数据见下表：
i 1
D 0 , 所以方程组有唯一解 由于 xi 不全相等，
ˆ ˆx , b ˆ yb a
x y
i 1 n i i 1 2 i
n
i
nx y

2
(x
i 1 n
n
i
x )( yi y ) .
11
x nx
2 ( x x ) i i 1
ˆx , b ˆ ˆ yb a