多元线性回归预测模型论文

独立观测,得到n组数据(样本):
第 4 页 共 14 页
伊犁师范学院数学与统计学院
2012 届本科毕业论文
y1 0 1x11 ... x m1 1m1 1

y2


0

1x21
...
x m1 2 m1
2
yn 0 1xn1 ... x m 1 nm 1 n
（3.4）
┊

┊
ek yk yk
线

┊
其中 k=1，2，…，N。 ek 是误差 k 的估计值.又令 yk 为 yk 的估计值，有:
┊




┊
yk 0 1 xk1 ... m1 xkm1
（3.5）
┊
（3.5）式为观测值 yk (k 1, 2,, n) 的回归拟合值，简称回归值或拟合值。相应的，
，



0 1


yn n1
1
ห้องสมุดไป่ตู้xn1
xn 2

xnm 1 nm


m
1

m1


n
n1
┊
┊
则 (3.1) 式用矩阵形式表示为:
┊
Y X
┊ ┊
N 1, 2In
（3.3）
┊ ┊ 3.2 模型参数的估计
1.零均值假定。即
E i 0,i 1, 2,, n
2.正态性假定。即



N
0, 2
,i 1, 2,, n
3.同方差和无自相关假定。即
第 2 页 共 14 页
伊犁师范学院数学与统计学院
2012 届本科毕业论文
E i, j

2,i j

0, i
设因变量y与自变量x1，x2，…，xm-1共有n组实际观测数据(见表3.1)。
表3.1观测数据表
变量
y
1
y1
2
y2
x1
x2

xm 1
x11
x12

x1m 1
x12
x 22

x2m 1





n
yn
x1n
x2n

xnm 1
y是一个可观测的随机变量，它受到m-1个非随机因素x1，x2，…，xm-1和 随机因素的影响。 若y与x1，x2，…，xm-1有如下线性关系

p
1
n

┊ 要求。表明设计矩阵的自变量列之间不相关，样本容量的个数应大于解释变量的个数，X
┊ 是一满秩矩阵。
┊
┊ 2.3 多元线性回归方程
┊
┊
在多元线性回归模型基本假设的基础上，对（2.2）式两边取数学期望，可得 y 的期
┊ 望函数为
┊
┊
E yi 0 1 xi1 2 xi 2 ... p xip (i=1,2，…,n )
┊ 数学问题，为相关决策提供依据和参考。
┊
┊
目前统计学与其他学科的相互渗透为统计学的应用开辟新的领域。并被广泛的应用在
┊ 各门学科上，从物理和社会科学到人文科学，甚至被用来工业、农业、商业及政府部门。 ┊ 装 而多元线性回归是多元统计分析中的一个重要方法，被应用于众多自然科学领域的研究
┊ 中。多元线性回归分析作为一种较为科学的方法，可以在获得影响因素的前提下，将定性 ┊ ┊ 问题定量化，确定各因素对主体问题的具体影响程度。
┊ 2.1 多元线性回归模型的一般形式
┊ ┊
设随机变量 y 与一般变量 x1, x2 ,, xp 线性回归模型为
┊ ┊
y 0 1x1 2 x2 ... p xp
（2.1）
┊
模型中 Y 为被解释变量（因变量），而 x1, x2 ,, xp 是 p 个可以精确测量并可控制的一
y 0 1x1 2x2 ... x m1 m1
(3.1)
其中y为因变量x1，x2，…，xm-1为自变量, 0 , 1, 2 ,..., m1 是m个未知参数； 是均值为零，
方差为 2 0 的不可观测的随机变量,称为误差项,并通常假定 N 0, 2 。对于n(n≥p)次
量有显著线性影响的自变量，建立最优多元线性回归方程；评定各个自变量对因变量影响 线 ┊ 的相对重要性以及测定最优多元线性回归方程的偏离度等。由于多数的多元非线性回归问
┊ 题都可以化为多元线性回归问题，所以这里仅讨论多元线性回归。许多非线性回归和多项
┊ 式回归都可以化为多元线性回归来解决，因而多元线性回归分析有着广泛的应用。 ┊
原理 0 , 1, 2 ,..., m1 应满足下述方程组:

Q
0

2
N k 1

yk


yk


0


Q 1


2
N k 1

yk


yk

xk1

0


Q



m
1


2
N k 1

yk

┊
┊ 二．多元线性回归的基本理论
订 多元线性回归是多元统计分析中的一个重要方法，被广泛应用于众多自然科学领域的
┊ ┊ 研究中。多元线性回归分析的基本任务包括：根据因变量与多个自变量的实际观测值建立
┊ 因变量对多个自变量的多元线性回归方程；检验、分析各个自变量对因自变量的综合线性
┊ 影响的显著性；检验、分析各个自变量对因变量的单纯线性影响的显著性，选择仅对因变 ┊

j
i,
j
1, 2,, n
4.无序列相关假定（随机项与解释变量不相关）。即
C ov X ji ,i 0, j 1, 2,, p
┊
5.无多重共线性假定。
┊ ┊
解释变量
x1, x2 ,, xp
是确定性变量，不是随机变量且 rank( X )
满足 rank( X )
个未知参数，0 称为回归常数，1, 2 ,, p 称为偏回归系数，它们决定了因变量 Y 与自变量
x1,
x2 ,,
xp
的线性关系的具体形式。
是随机误差，对随机误差项满足

N
0, 2
对一个实际问题，如果 n 组观察数据（ xi1, xi2 ,, xip ; yi ）,i=1,2,…,n,则线性回归模型 （2.1）式可表示为
┊ ┊ 量对多个自变量的多元线性回归方程；检验、分析各个自变量对因自变量的综合线性影响
┊ 的显著性；检验、分析各个自变量对因变量的单纯线性影响的显著性，选择仅对因变量有
┊ 显著线性影响的自变量，建立最优多元线性回归方程；评定各个自变量对因变量影响相对
┊ 重要性以及测定最优多元线性回归方程的偏离度等。 ┊
（2.6）
┊
装
该方程为多元线性方程为理论回归方程。方程中，参数都是未知的，因此就需要利用
┊ 样本观测值法去估计他们，如果可以得到参数估计值，则得到多元线性样本回归预测方程
┊





┊
yi 0 1 xi1 2 xi2 ... p xip , i 1, 2,..., n
┊
┊ 般变量，称为解释变量（自变量）。p=1 时，（2.1）式即为一元线性回归模型，p 大于 2
┊
第 1 页 共 14 页
伊犁师范学院数学与统计学院
2012 届本科毕业论文
时，（2.1）式称为多元线性回归模型。因变量 Y 由两部分决定：一部分是误差项随机变量 ，
另一部分是 p 个自变量的线性函数 0 1x1 2 x2 ... p xp 。其中， 0 , 1, 2 ,, p 是 p+1
yi 0 1xi1 ... p xip i ，i=1,2，…，n （2.2）
即
y1 0 1 x11 ... p x1 p 1

y
2


0

1 x 21

...

p x2 p

2
y n 0 1 x n 1 . . . p x n p n
┊ 机软件，如 TSP、SPSS、SAS 等。
┊


订
设 0 , 1,..., m1 分别是参数 0 , 1, 2 ,..., m1 的最小二乘估计，则 y 的观测值可表示
┊ 为: ┊
┊



yk 0 1 xk1 ... m1 xkm1 ek
┊
回归理论模型确定后，利用收集、整理的样本数据对模型的未知参数给出估计。未知
装 参数的估计方法最常用的是普通最小二乘法，它是经典的估计方法。对于不满足模型基本
┊
┊ 假设的回归问题，人们给出了一些新的方法，如岭回归、主成分回归、偏最小二乘估计等。
┊ 但是它们都是以普通最小二乘法为基础。但参数变量较多时，计算量很大，一般采用计算
┊ ┊
y
称向量

X



y1 ,

y2
,
,

yn
T

为因变量向量 y

y1 , y2 , , yn T
的回归值。
┊

┊
根据最小二乘法 0 , 1, 2 ,..., m1 应使得全部观测值 yk 与回归值 yk 的偏差平方和 Q 达
┊ 到最小。Q 是未知参数向量的非负二次函数，Q 反映了在 n 次观察中总的误差程度,Q 越小
┊ 一．引言
┊
多元线性回归统计预测模型是以统计学为理论基础建立数学模型，研究一个随机变量
┊
┊ Y与两个或两个以上一般变量X1，X2，…，Xp之间相依关系，利用现有数据，统计并分析，
┊ 研究问题的变化规律，建立多元线性回归的统计预测模型，来预测未来的变化情况。它不 ┊ ┊ 仅能解决一些随机的数学问题，而且还可以通过建立适当的随机模型进而解决一些确定的
┊ ┊ 越好。即:
┊
┊
第 5 页 共 14 页
伊犁师范学院数学与统计学院
2012 届本科毕业论文
Q

N k 1
yk




0


1
xk1
...

m1
xkm1
2
（3.6）
有最小值。由于口是 0 , 1, 2 ,..., m1 的非负二次式，最小值一定存在。根据数学分析的极值
（3.2）
其中 1,2,..., n 是相互独立的，且服从 N 0, 2 分布。
┊ ┊ ┊ ┊ ┊
令Y


y1
y2

1
，
X

1
x11
x21
x12
x22

x1 x2
m1 m1







0
1

（2.3）
写成矩阵形式为
y X
(2.4)
其中
y


y1
y2

，
1
X

1
x11
x21
x12
x22

x1 p
x2 p

，



0
1


,



yk

x km 1

0
（3.7）




称为正规方程组.将 yk 0 1 xk1 ... m1 xkm1 式代人(3.7)式整理得:
┊
研究在线形相关条件下，两个或两个以上自变量与一个因变量的数量变化关系，称为
┊ 多元线形回归分析，求得的数学公式称为多元线形回归模型。多元线形回归模型是一元线 ┊ 形回归模型的扩展。 ┊
┊
┊
第 3 页 共 14 页
伊犁师范学院数学与统计学院
2012 届本科毕业论文
3.1 回归建模步骤流程图 3.1 多元回归的预测模型
┊
（2.7）
┊ 订

（2.7）式是（2.6）的估计方程，其中 j 是对参数 j 的估计。有样本回归方程得到
┊

┊ 的预测值的估计值 yi 与实际观测值 yi 之间通常会存在一定的偏差，这一偏差称为残差，记
┊

┊ 为 ei yi yi 。
┊
线 三．多元线性回归统计预测模型的建立
┊
多元线性回归分析的基本任务包括：根据因变量与多个自变量的实际观测值建立因变
伊犁师范学院数学与统计学院
2012 届本科毕业论文
多元线性回归统计预测模型
摘要：本文以多元统计分析为理论基础，在对数据进行统计分析的基础上建立多元线
性回归模型并对未知量作出预测，为相关决策提供依据和参考。重点介绍了模型中参数的
估计和自变量的优化选择及简单应用举例。
┊
关键词：统计学；线性回归；预测模型
0 1


yn
1 xn1 xn2 xnp
p


n



矩阵 X 是 n (p+1)矩阵，称 X 为回归设计矩阵或资料矩阵。
（2.5）
2.2 模型的基本假设
为了便于进行模型参数估计，对线性回归方程（2.3）式进行了如下假设。