回归分析方法

i=1
(6 12)
18
y
r 1
下面存在三种情形：
（1）y与x有严格函数关系时
N
_
^
( yi y)2
x
yi yi , r 1,b
i=1 N
_
y
r 1
(xi x)2
i=1
x19
（2）y与x无任何依赖关系时
^_
y y, r 0,b 0
y
r0
y
r0
x
x
20
（3）y与x存在相关关系时 0<|r|<1
12
设(xi , yi )(i 1, 2,..., N )为变量x，y间的一组观测数据，xi
^
为观测点，yi为xi处的观测之，y a bx 为这组观测数据 求得的变量x，y间的回归方程，在回归问题中，观测数
_
据总的波动情况，用各观测值yi与总平均y 之间的平方和 即总变动平方和表示
N
_
N
^
^_
7
y (xi , yi )
^
y a bx
^
(xi , yi )
x x1
8
全部观测值yi (i 1,2,..., N )与直线上对于的yi*(i 1,2,..., N) 的离差平方和则为：
N
N
wenku.baidu.com
Q ( yi yi*)2 ( yi a bxi )2
i 1
i 1
Q反映了全部观测值yi (i 1,2,..., N )对直线的偏离程度，显
Lyy ( yi y)2 [( yi yi ) ( yi y)]2
i=1
i=1
N
^
N^ _
N
^ ^_
( yi yi )2 ( yi y)2 2 ( yi yi )( yi y)
i=1
i=1
i=1
13
N
^
第一项 Q ( yi yi )2
i=1
Q是观测值与回归直线的离差平方和，反映了误差的大小
i=1 N
_
1 b2
i=1 N
_
(6 11)
( yi y)2
( yi y)2
17
i=1
i=1
N
_
N
^
(xi x)2
( yi yi )2
令
r2 b2
i=1 N
_
1
i=1 N
_
( yi y)2
( yi y)2
i=1
i=1
N
_
(xi x)2
r b
i=1 N
_
( yi y)2
6
设y* a bx是平面上的一条任意直线，(xi , yi )(i 1,2, ..., N)是变量x，y的一组观测数据。 那么，对于每一个xi，在直线y* a bx上确可以确定一 个yi* a bxi的值，yi*与xi处实际观测值yi的差：
yi yi* yi (a bx) 就刻画了yi与直线偏离度
‹#›
‹#›
• 变量S的值随t而定，这就是说，如果t去了固定值， 那么S的值就完全确定了
• 这种关系就是所谓的函数关系或确定性关系
• 回归分析方法是处理变量之间相关关系的有力工具， 它不仅提供建立变量间关系的数学表达式——经验公 式，而且利用概率统计知识进行了分析讨论，从而判 断经验公式的正确性
3
• 二、回归分析所能解决的问题
• 回归分析主要解决以下几方面的问题： • （1）确定几个特定变量之间是否存在相关关系，如果
存在的话，找出她们之间合适的数学表达式 • （2）根据一个或几个变量的值，预报或控制另一个变
量的取值，并且要知道这种预报或控制的精确度 • （3）进行因素分析，确定因素的主次以及因素之间的
_
(xi x)2
i=1
N i 1
xi
yi
1 N
N
N
xi yi
i1 i1
N i 1
xi 2
1 N
(
N i 1
xi )2
_
_
a yb x
(6 3) (6 4)
10
此处
_
x
1 N
N
_
xi , y
i 1
1 N
N i 1
yi
求得a，b后，回归方程为：
^
y a bx
便可以确定，b称为回归系数
然，离差平方和Q越小，愈能较好地表示x, y之间的关系。
用最小二乘法原理，通过选择合适的系数a，b，使Q最小 9
Q
N
a
2 ( yi
i 1
a bxi ) 0
Q
b
N
2
i 1
( yi
a
bxi )xi
0
联合求解得：
(6 1) (6 2)
b=
N
_
_
(xi x)( yi y)
i 1 N
(6 5) (6 6)
11
• 三、回归方程检验方法
• （一）方差分析法
•
回顾方差分析的基本特点：
•
把所给数据的总波动分解为两部分，一部分反映水平变化
引起的波动，另一部分反映由于存在试验误差而引起的波动。
然后把各因素水平变化引起的波动与试验误差引起的波动大小
进行比较，而达到检验因素显著性的目的.
f
＝1
U
fQ＝N－2
三者之间仍然有：f总 fU fQ
15
可用F检验考察回归直线的显著性：
（1）计算F= U/fu Q/fQ
(N
2) U Q
（2）对于选定的显著性水平a＝0.0（5 或0.01），从F分布
上找出临界值Fa (1, N 2) （3）比较F与Fa的大小。
若F>Fa，则回归方程有意义，反之则说明方程意义不大
y
1 r 0
y
0 r 1
x
x
21
检验y与x是否相关的步骤： （1）按下式计算r：
r b
N
_
(xi x)2
i=1 N
＝
_
( yi y)2
16
• （二）相关系数检验法
N^ _
N
_
由U ( yi y)2 U [(a bxi ) (a b x)]2
i=1
i=1
N
_
b2 (xi x)2
i=1
N
^
^_
代入 Lyy [( yi yi ) ( yi y)]2整理后可得
i=1
N
_
N
_
( yi yi )2
(xi x)2
相互关系等等
4
• 一元线性回归分析，只要解决： • （1）求变量x与y之间的回归直线方程 • （2）判断变量x和y之间是否确为线性关系 • （3）根据一个变量的值，预测或控制另一变量的
取值
5
• 二、一元线性回归方程的确定
数学上判定直线合理的原则： 如果直线与全部观测数据yi (i 1, 2,..., N )的离差平方和， 比任何其它直线与全部观测数据的离差平方和更小，该 直线就是代表x与y之间关系较为合理的一条直线，这条 直线就是x和y之间的回归直线。
N^ _
第二项 U ( yi y)2 i=1
(6 8)
U反映了总变动中，由于x与y的线性关系而引起y变化的
一部分，称为回归平方和
第三项为零
Lyy U Q
(6 9)
14
每一个变动平方和（即Lyy、U、Q）都有一个“自由度”
和它们对应，Lyy自由度称为总自由度，记做f总。
f总＝观测值个数－1＝N－1