eviews建模方法之回归分析简介

建模方法之回归分析简介

数学模型

一元线性回归分析模型：),,0(~,2σεεN bx a Y ++= 多元线性回归分析模型：ε+++++=p p x b x b x b a Y Λ2211

设随机变量Y 与X 有相关关系,就是说当X 取一确定值时,随机变量Y 有一个确定的分布.这个分布大多数情况下不能具体知道,但在实践中只需要的观测值.而数学期望(假设存在)在一定程度上能反映出其观测值的大小,所以人们感兴趣的是当X 取确定值x 时, Y 的数学期望)(x μ是多少.称

)(x μ为Y 对X 的回归函数.

在实际问题中,回归函数是未知的,需要我们根据实测样本以及以往的经验来确定回归函数的类型及求出函数中的未知参数的估计,得到经验公式.

例1 20℃时在铜线含碳量%x 对于电阻Y (为一正态变量,单位:微欧)变化的研究中,得到如下一

测试结果表明,随着铜线含碳量的增加,其电阻有增大的趋势.为了确定回归函数)(x μ的类型, 我们将这9组数据作为坐标在平面直角坐标系中描出它们相应的点,这种图称为散点图。

变量X -Y 的散点图

因此估计)(x μ大致具有线性函数bx a +的形式,即可认为X 与Y 具有如下关系:

),,0(~,2σεεN bx a Y ++= (1)

其中b a ,及2

σ是常数.这就是X 、Y 之间的(一元正态线性)回归模型.

对n 根铜线进行独立观测,能得到n 个含碳量n x x x ,,,21Λ及对应的n Y Y Y ,,,21Λ,把i Y 看成随即变量,则它们可以表示成

⎭

⎬⎫

=++=.,,,),,0(~,

,,2,1,212相互独立n i i i i N n i bx a Y εεεσεεΛΛ (2)

记

⎥⎥

⎥⎥⎦⎤⎢⎢⎢

⎢⎣⎡=n x x x X 11121M M ，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n Y Y Y Y M 21，⎥⎥⎥⎥⎦

⎤

⎢⎢⎢⎢⎣⎡=n εεεεM 21， 则（2）式也可表示为ε+⎪⎪⎭

⎫

⎝⎛=b a X Y .

在一元线性回归中主要解决下列问题: (I ) 对未知参数b a ,及2

σ进行估计; (II ) 对线性模型的假设进行检验; (III ) 对Y 进行预测和控制.

参数的估计：对未知参数b a ,的估计,一个直观的想法便是希望选取这样的a 与b ,使得他们

在n x x x ,,,21Λ各处计算的理论值i bx a +与实测值i y 的偏离达到最小.为此人们常用最小二乘法:求

b a ,使

∑=−−=

n

i i i

bx a y

Q 1

2)(

为最小.在几何上,即是在平面上选取一条直线,使直线在横坐标为n x x x ,,,21Λ处的纵坐标与相应的实测点的纵坐标之差的平方和为最小.利用求极值的方法求b a ,,令

⎪⎪⎩

⎪⎪⎨⎧=−−−=∂∂=−−−=∂∂∑∑==.0)(2,0)(211

n

i i i i n

i i i x bx a y b Q bx a y a Q

整理得

⎪⎪⎩⎪⎪⎨⎧

=+=+∑∑∑∑∑=====n

i i i n i i n i i n

i i n i i y x x b x a y x b na 1121

1

1

解此方程组得到的不是b a ,的真值,而是b a ,的估计值,ˆ,ˆb a

它们为 ,)()

)((ˆ1

2

1

2

1

21

∑∑∑∑====−−−=

−−=n

i i

n

i i i

n

i i

n

i i

i x x

y y x x

x n x

y

x n y

x b

(3)

,ˆˆx b y a

−= (4) 其中.,11

1∑∑====n

i i n

i i y y x n x 具体计算得Y 对X 的线性回归方程为

.59.1297.13ˆx y

+= 等价公式：

Y X X X b

a T

T 1)(ˆˆ−=⎥⎦

⎤⎢⎣⎡. （5）

方差分析：总平方和：,)(1

2∑=−=

n

i i

T Y Y

Q 自由度为1−n

回归平方和：∑=−=n

i i

R Y Y Q 12)ˆ(,)(ˆ1

22∑=−=n

i i x x b 自由度为1=p 残差平方和：,)ˆ(1

2∑=−=

n

i i

i

E Y Y

Q 自由度为1−−p n 关系式：.E R T Q Q Q += 性质：2)1

(

σ=−−p n Q E E 。 （6）

（Matlab7中，用regress 求回归时可自动输出2

ˆσ，以前的版本则可通过计算此性质自己计算。）

检验：（几乎任意数据，都可以求b a ,）

待验假设:.0:0=b H 备择假设： .0:1≠b H 在(2)的假设条件下,如果假设0H 为真,可以证明统计量

).2,1(~)

2/(−−=

n F n Q Q F E R (7)