多元线性回归预测系统的设计

多元线性回归预测系统的设计
1.前言
许多现象往往不是简单的与某一因素有关而是要受多个因素的影响，此时就需要用两个或两个以上的影响因素作为自变量来解释因变量的变化，这就是多元回归，多元线性回归是预测中经常使用的预测方法，其基本原理是通过对多个变量之间变动关系的分析，建立一定的数学模型，并对因变量的未来变化趋势进行预测。

2.多元线性回归的定义
在研究问题是，我们考虑一个变量受其他变量的影响时，把这变量称为因变量，记为Y ，其他变量称为自变量，记为X ，这时相关系数可记作
其中()x f 为当x X =时，因变量Y 的均值，即
()()x X Y E x f ==|.
称()x f 为Y 对X 的回归函数，ε为Y 与()x f 的偏差，它是随机变量，并假定()0=εE 。

回归函数可以是一元函数，也可以是多元函数，即
其中 ),,,|(),,,(221121m m m x X x X x X Y E x x x f ==== 为m 元回归函数，统称为多元回归函数。

3.多元线性回归模型
多元线性回归模型的一般形式是：
01122334455Y Z Z Z Z Z ββββββε=++++++
其中j 1,2,...,j k β=（）
是回归系数，Y 是被解释变量，i z 1,2i z ，ki z 是k 个对Y 有显著影响的解释变量（k ≥2），i ε是 反映各种误差扰动综合影响的随机项，下标i 表示第i 期观察值（i Y ,i z 1, i z 2,ki z ）,n i ,2,1=。

假设多元样本回归函数为：01122i i i k ki Y z z z ββββ∧∧∧∧∧=++ 回归残差为：
∧-=i i i Y Y ε。

由于有n 期的观察值，这一模型实际上包含n 个方程
1111111101εββββ+++++=k k z z z Y
(),ε+=x f Y ,),,,(21ε+=m x x x f Y
2222212102εββββ+++++=k k z z z Y
n kn k n n z z z Y εββββ+++++= 221102
写成矩阵形式：
,εβ+=Z Y
其中
, z z z z z 1 z z 1 z z 1,kn k2k12n 1n 2212211121⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎪⎪⎭
⎫ ⎝⎛= Z Y Y Y Y n . , , n 10k 10k 10⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎪⎪⎪⎪⎭
⎫ ⎝⎛=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=∧∧∧∧εεεββββββββε 3.1模型的假设
(1)变量i Y 和i X 1, i X 2,i X k ,(i =1,2...n)之间，存在线性随机函数关系i i i 22i 110i εββββ+++++=k k X X X Y ，其中i ε是随机误差项。

(2)对应每组观测数据的误差项i ε，都为零均值的随机变量，即i ε的数学期望E(i ε)=0对i =1,2...n 都成立。

(3)误差项i ε的方差为常数，即[]222)()()(σεεεε==-=i i i i E E E Var 对i =1,2...n 都成立（假设（2）成立为前提）。

（4）对应不同观测数据的误差项不相关，即
[]
)0())())((()(==--=j i j j i i j i E E E E ,Cov εεεεεεεε对任意的j i ≠ 都成立（假设（1）成立为前提）。

（5）解释变量),,1(r i X i =是确定性变量而非随机变量。

当存在多个解释变量（r>1）时假设不同解释变量之间不存在线性关系，包括严格的线性关系和强的近似线性关系。

（6）误差项i ε服从正态分布[1]。

3.2 多元线性回归参数估计
对于多元线性回归模型εβββ++++=k k 110z z Y ，
如果用0b ，…，k b 分别表示模型参数0β，…,k β的估计，那么样本回归方程就是
k k 110z b z b b Y +++=∧ 回归残差平方和为：
∑∑+++==i
ki k i i z b z b b Y V 2110i 2i )](-[ ε
当V 对0b ，…，k b 的一阶偏导数都等于0，即下列方程组： ,0)](-1)(-2[110=+++∑i ki k i i
z b z b b Y 0))](-(-2[1110=+++∑i i ki k i i z z b z b b Y
，
0))](-(-2[110=+++∑i ki ki k i i
z z b z b b Y ，
同时成立时,V 有最小值。

对这个方程组整理，可得到如下的正规方程组：
, )(- 110k k z b z b Y b ++= ,101212111S b S b S b S K K =+++
,102211K K KK K K S b S b S b S =+++
其中
K ,k,i Y Y z z S i i
k ki k 1),-( )-(0==∑，
.1),-( )-(K ,k,j z z z z S j ji i
k ki kj ==∑
上述正规方程组有K+1个方程，未知数也是K+1个。

只要系数矩阵非奇异即满足解释变量矩阵Z 列满秩：k Z R =)(。

此时，有k Z)R(Z ='，Z Z '可逆。

可以解出0b ，…，k b 的唯一的一组解，就是0β，…，k β的最小二乘估计[2]。

参考文献
[1]宋荣兴, 孙海涛. 多元线性回归预测系统的设计与实现[J]. 石家庄经济学院学报, 1997(4):400-403.
[2]李家辉. 多元线性回归分析系统的设计[J]. 贵阳医学院学报, 1990(4):295-299.。