第三篇 第一章 数据回归分析方法

n
n
(xi x )2 ( yi y)2
i 1
i 1
SPxy SSx SSy
当r r (dfr )时，回归方程可用，否则不可用。
3.回归系数的显著性检验
t 检验法
ta

r Sa
,
tb

r Sb
Sb
S yx SS x
S a S yx
1 x2 n SS x
n
Syx ( y yˆ)2 / dfr i 1
b2 x2 j
bm xmj ) 0
Q
bi

n
2 xij ( y j
j 1
b0
b1x1 j
b2 x2 j
bm xmj ) 0
(i=1,2,…,m)
nb0 (x1 j )b0
(x2 j )b0


(xmj )b0
t t
(dfr (dfr
) )

Sb0 Sbj
式中


Sb0


Sbj
n
SSr m
1

1 n

x
T
Cx

c jj SSr n m 1
( j 1, 2,, m)
x (x1, x2 ,, xm )T ,
xi

1 n
n
xij
j 1
C A1
k 1
则：
Q

a Q
b
0 0
,
2

2
n
i 1 n
i 1
a a

bxi bxi

yi yi
0 xi
0
,
na b

a
n i 1
xi
n
n
xi yi
i 1
i 1
n
n
b xi2
SPm2b2


SP2 m bm
SS mbm

SP20
SPm0
SS1 SP12 SP1m b1 SP10
SP21
SS 2

SP2m

b2



SP20

SPm1
SPm2 SS m
bm
i 1
n
yi
i 1
n

i 1
xi
yi
由克来姆法则得：
a y1 x1 xy x2
n x1 ，b n y1
x1 x2
x1 xy
n x1 x1 x2
几个重要参数
定义：
SPxy

n
(xi x)( yi y), 称为x与y的离均差乘积和。

i 1

SSx

n
(xi x )2，称为x的离均差平方和。
i 1
i 1
xi yi
N
N
令x1 xi，y1 yi
i 1
i 1
N
N
x2 xi2，xy xi yi
i 1
i 1
nx1aaxx12bbyx1 y




n
i 1 n
i 1
n
a bxi
i 1
n
axi bxi2
Syx SSx
,
S yx

n
( y yˆ )2 / dfr
i 1
5.回归估计值y的误差范围
回归估计总体平均值对于置信水平1-α的置信区间为：
yˆ t (dfr ) S y
其中， S y Syx
1 (x x)2 n SSx
n
Syx ( y yˆ)2 / dfr i 1
(x1 j )b1 (x12j )b1 (x2 j x1 j )b1

(x2 j )b2 (x1 j x2 j )b2
(x22 j )b2
(xmj x1 j )b1 (xmj x2 j )b2
(xmj )bm y j (x1 j xmj )bm x1 j y j
当t t (dfr )时，回归系数可用，否则不可用。
对于一元线性回归：dfr =n - 2。
4.回归系数的误差范围
拟合系数a, b对于置信水平1-α的置信区间为：
a b

t t
(dfr (dfr
) )

Sa Sb
式中, Sa S yx
1 x 2 , Sb n SSx

b1 c11 c12 c1m SP10
b2 bm
Biblioteka Baidu

c21 cm1
c22 c2m
cm2 cmm


SP20
SPm 0

2.多元线性回归方程的假设检验
F检验法：F MSR SSR / dfR
(x2 j xmj )bm x2 j y j


(xm2j )bm xmj y j
由方程组的第一个方程可得 b0 y b1x1 b2 x2 bm xm
m
即 b0 y bi xi i 1
其中 :
y

1 n
n
y j,
j 1
xi

1 n
n
x ij

( AT A I )b AT r
模拟退火法： 子函数QC()是计算残差的。
void mnth(int np, float *x, float *y, int nc, double coef)
{ int length; float Ti=100.0,Te=0.1; float a=0.85,b=0.75; double t, cold, qold, qnew; float scale[50];
第一章 数据回归分析方法
§1. 一元线性回归 §2. 多元线性回归(一元多项式回归) §3. 可线性化的非线性回归 §4. 不可线性化的非线性回归
N)，设用有一一个组函实数验y 数f (据x；b()xi，去yi逼)，近(i=，1,2,…，
其中，b (b1，b2，... ,bm )T 则构造一个目标函数：
ti

bi sbi
（i=1,2,…,m)
Sbi S y12m cii
S y12m
( yi yˆi )2 n m 1
当t t (dfr )时，回归系数可用，否则不可用。 对于一元线性回归：dfr =n - m 1。
4.回归系数的误差范围
b0 bj

yˆ
§1.一元线性回归
对于实验数据(xi,yi), (i=1,…，n)，用
y=a+bx去拟合，则
回归值
回归系数
yˆ aˆ bˆ x
a：叫做样本回归截距。
b：叫做样本回归系数。
yˆ ：叫做回归估计值。
回归直线
(xi, yi)
1.回归方程的建立
n
2
构造目标函数 Q a bxi yi
多元回归分析数据格式
y1 y2
┆
yn
X1
x11 x12
┆
x1n
X2
X3
x21 x22
┆
x2n
x31 x32
┆
x3n
…
Xm
…
xm1
…
xm2
…
┆
…
xmn
1.多元线性回归方程的建立
根据样本数据求得模型参数的估计值，得 到应变量与自变量数量关系的表达式：
yˆ b0 b1x1 b2 x2 ...... bm xm
MSr SSr / dfr 当F F (dfR , dfr )时，回归方程显著可用，否则不可用。 对于多元线性回归：dfR =m, dfr =n - m 1。
SS
y

yi 2
(yi )2
/
n
SSR b1SP10 b2SP20 bmSPm0 m biSPi0
2.回归方程的显著性检验
F 检验法 F MSR SSR / dfR
MSr SSr / dfr 当F F (dfR , dfr )时，回归方程显著可用，否则不可用。 对于一元线性回归：dfR =1, dfr =n - 2。
相关系数检验法
n
(xi x )( yi y)
r
i 1
X

§ 3.可线性化的非线性回归
一类非线性回归模型。其形式是非线性的， 但可以通过适当的变换，转化为线性模型，然后 利用线性回归模型的估计与检验方法进行处理。 称此类模型为可线性化的非线性模型。
⑴ 指数函数模型
⑵ 对数函数模型
⑶ 幂函数模型
⑷ 双曲线函数模型
⑸ 多项式方程模型
j 1

k
将 b0 y b1x1 b2 x2 bm xm 分别代入方程组 中的后m个方程，经整理可得到关于b1、b2、…、bm 的正规方程组为：
SS1b1 SP12b2 SP1mbm SP10
SP21b1 SPm1b1

SS 2b2

( AT A)b AT r

式中，A为n m矩阵，其元素Aij

f
( x；b ) bj
（0）
b b b
r


f
(
x1；b
)

y1，f
(
x2；b
)

y2，...f
(
xn；b
)

yn，T
解此方程组可得，进而得到。迭代算法，对一般的工程问题，往往ATA 是病态矩阵，因此，为了使其有解，增加了一项阻尼项，增加后变为：

i 1
SSr SSy SSR
复相关系数检验法：
Ry12m
n
yˆ y 2
1 i1 SSy
当Ry12m R (dfr )时，回归方程可用，否则不可用。
对于多元线性回归：dfR =m, dfr =n - m 1。
3.偏回归系数的假设检验
t检验法：

i 1

SSy
n
( yi y)2，称为y的离均差平方和。

i 1

n
SSR ( yˆi y)2，称为回归平方和。

i 1

n
SSr i1 ( yi yˆi )2，称为离回归平方和。
ddffrR,,称称为为离回回归归自自由由度度，，其d值fr等 于n -自m-变1。量个数m。 dfy , 称为y的总自由度，dfy n -1。
回归估计单个值对于置信水平1-α的置信区间为：
yˆ t (dfr ) S y
S y S yx
1 1 (x x)2 n SS x
n
Syx ( y yˆ)2 / dfr i 1
§ 2.多元线性回归分析
多元线性回归：简称为多元回归，分 析一个应变量与多个自变量间的线性关 系。一元多项式回归可以转换为多元线 性回归。
5.回归估计值y的误差范围
y的平均值：y t (dfr ) Sy y的个别值：yˆ t (dfr ) Syˆ


S
y



S
yˆ

n
SSr m 1

1 n


X
0

X
T
C

X
0

X

n
SSr m 1
1
1 n


X0

X
T
C

X0

N

Q [ f (xi；b ) yi ]2
(1)
k 1
根据最小二乘原理，为使Q→0，则
Q 0 bj
(j=1,2,…，m)
方程数与未知量个数相同。
解此方程组可求出系数bj ,(j=1,2,…，m)。
回归分类
一元线性回归 多元线性回归(一元多项式回归) 可线性化的非线性回归 不可线性化的非线性回归
此公式称为多元线性回归方程
b0 ：常数项,又称为截距。 b1,b2,…,bm:偏回归系数简称回归系数。
利用最小二乘法原理估计模型的参数：
n
Q yi b0 b1x1i ... bm xmi 2 i 1
Q
b0
n
2 ( y j
j 1
b0
b1 x1 j
SPm0
Ab B
SS1 SP12 SP1m 1 c11 c12 c1m
定义：
C

A1

SP21 SPm1
SS2 SP2m
SPm2 SSm


c21 cm1
c22 c2m
cm2 cmm
(6) 其它函数
（1）Logistic生长曲线：y

a
1 bex
（2）倒指数函数：y aeb x , a 0
§ 4.不可线性化的非线性回归
梯度法：
n

2
Q f (x;b) - yi min
(1)
i 1
对目标函数(1)极小化并取Taylor展开的一级近似后得到如下矩阵方程：
j 1
若记
SSi

n
(xij xi )2 , SS y
j 1

n
(yj
j 1
y)2
SPik

n
( xij
j 1
xi )(xkj
xk ) SPki , SPi0

i, k 1, 2, , m; i
n
(xij xi )( y j y )