各种线性回归模型原理

一元线性回归

一元线性回归模型的一般形式：εββ++=x y 10 一元线性回归方程为：x y E 10)(ββ+=

当对Y 与X 进行n 次独立观测后,可取得n 对观测值

,,,2,1),,(n i y x i i =则有i i i x y εββ++=10

回归分析的主要任务是通过n 组样本观测值,,,2,1),,(n i y x i i =对

10,ββ进行估计。一般用∧

∧

10,ββ分别表示10,ββ的估计值。

称x y ∧

∧∧+=10ββ为y 关于x 的一元线性回归方程（简称为回归直线方程），∧

0β为截距，∧

1β为经验回归直线的斜率。

引进矩阵的形式：

设 ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n y y y y 21，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n x x x X 11121 ，⎥⎥⎥⎥⎦

⎤

⎢⎢⎢⎢⎣⎡=n εεεε 21，⎥⎦⎤⎢⎣⎡=10βββ 则一元线性回归模型可表示为：εβ+=X y 其中n I 为n 阶单位阵。

为了得到∧

∧

10,ββ更好的性质，我们对ε给出进一步的假设（强假设） 设n εεε,,,21 相互独立，且),,2,1(),,0(~2n i N i =σε，由此可得：

n y y y ,,,21 相互独立，且),,2,1(),,(~210n i x N y i =+σββ

程序代码：

x=[]; y=[]; plot(x,y,’b*’)

多元线性回归

实际问题中的随机变量Y 通常与多个普通变量)1(,,21>p x x x p 有

关。

对于自变量p x x x ,,21的一组确定值，Y 具有一定的分布，若Y 的数学期望值存在，则它是Y 关于p x x x ,,21的函数。

12(,,,)p x x x μ是p x x x ,,21的线性函数。

212,,

,p b b b σ是与p x x x ,,21无关的未知参数。

逐步回归分析

逐步回归分析的数学模型是指仅包含对因变量Y 有显著影响自变量的多元线性回归方程。为了利于变换求算和上机计算，将对其变量进行重新编号并对原始数据进行标准化处理。 一、变量重新编号 1、新编号数学模型

令k x y αα=，自变量个数为1k -，则其数学模型为：

式中，1,2,3,,n α= （其中n 为样本个数）

j x 的偏回归平方和为：

k x ：为k x α的算术平均值 j b ：j x 的偏回归系数

jj c ：为逆矩阵1-L 对角线对应元素

2 回归数学模型

新编号的回归数学模型为： 二、标准化数学模型

标准化回归数学模型是指将原始数据进行标准化处理后而建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以离差

平方和的方根。 1、标准化回归数学模型

令 j

j

j j S x x z -=

αα j=1，2，3，… ，k

其中： ∑==n

j j x n x 1

1αα

∑-=

=2)(j j

jj j x x l S α

！为离差平方和的方根

注意：j j j j j j S S l l ,,,2它们之间的区别，即离差平方和，离差平方和的方根，方差，标准差。 则回归数学模型为：

2、标准化回归数学模型的正规方程组

标准化回归数学模型正规方程组的一般形式为：

()()()()()()

()()()()()()

()()()()()()

()()()()()()

⎪⎪⎪

⎪⎩

⎪⎪⎪⎪⎨⎧='++'+'+'+'='++'+'+'+'='++'+'+'+'='++'+'+'+'='++'+'+'+'∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑---------------k k k k k k k k k

k k k

k k k

k k k k k z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z n αααααααααααααααααααααααααααααααααααααααααααααβββββββββββββββββββββββββ112131321211101311332

323213103211233222

212102111133122112

101113322110..................................................................................................................................................

............ 因为，0)

(=-=

∑∑j

j

j

S x x z αα ，

j i j

i j j i i

j

i r S S x x x x z

=--=

∑∑))((αα

所以上述正规方程组可变为：

这样，数据标准化处理后的估计值0，并令，则可得数据标准化处理后的回归方程数学模型的正规方程组的一般形式为： 这样，数据标准化后0β'的估计值应为0，并j j d ='β令，则可得：