预测模型

预测模型
概述
1.定义预测就是根据过去和现在来估计未来预测未来。

它是使用历史数据或因素变量来预测需求的数学模型，是根据已掌握的比较完备的历史统计数据，运用一定的数学方法进行科学的加工整理，借以揭示有关变量之间的规律性联系，用于预测和推测未来发展变化情况的一类预测方法。

2.思维方式基本理论主要有惯性原理、类推原理和相关原理。

3.预测的核心问题预测的技术方法,或者说是预测的数学模型。

4.选择根据各种方法多有各自的研究特点、优缺点和适用范围。

这里归纳了几种使用较多的预测方法: 回归分析预测法、微分方程模型、灰色预测模型、时间序列方法和BP 神经网络预测法。

对每种预测模型做了简单的介绍分析，并对灰色预测模型、时间序列方法和BP 神经网络预测法进行了比较.
一、回归分析预测法
基本思想
回归分析预测法是在分析市场现象自变量和因变量之间相关关系的基础上，建立变量之间的回归方程并将回归方程作为预测模型，根据自变量在预测期的数量变化来预测因变量关系大多表现为相关关系。

因此，回归分析预测法是一种重要的市场预测方法，当我们在对市场现象未来发展状况和水平进行预测时，如果能将影响市场预测
对象的主要因素找到，并且能够取得其数量资料，就可以采用回归分析预测法进行预测。

它是一种具体的、行之有效的、实用价值很高的常用市场预测方法。

具体步骤
（1）根据预测目标确定自变量和因变量。

明确预测的具体目标也就确定了因变量。

（2）建立回归预测模型。

依据自变量和因变量的历史统计资料进行计算，在此基础上建立回归分析方程即回归分析预测模型。

（3）进行相关分析。

回归分析是对具有因果关系的影响因素自变量和预测对象因变量所进行的数理统计分析处理。

只有当变量与因变量确实存在某种关系时建立的回归方程才有意义。

因此，作为自变量的因素与作为因变量的预测对象是否有关，相关程度如何，以及判断这种相关程度的把握性多大，就成为进行回归分析必须要解决的问题。

进行相关分析，一般要求出相关关系，以相关系数的大小来判断
自变量和因变量的相关的程度。

（4）检验回归预测模型。

计算预测误差，回归预测模型是否可用于实际预测，取决于对回归预测模型的检验和对预测误差的计算。

回归方程只有通过各种检验，且预测误差较小，才能将回归方程作为预测模型进行预测。

（5）计算并确定预测值。

利用回归预测模型计算预测值，并对预测值进行综合分析，确定最后的预测值。

建模原理及过程
以下主要分享一元线性回归和多元线性回归模型。

（一）一元线性回归模型
对于只涉及一个自变量的回归分析，若因变量y 与自变量x 之间为线性关系，可以用一个线性方程来表示二者之间的关系，此方程为一元线性回归模型
1、理论模型：
一元线性回归模型可表示为
01
ˆˆy x ββε=++
此模型将变量y 与x 间的关系用两部分描述。

一部分是由x 的变化引起y 线性变化的部分，即：另一部分是由其他随机因素引起y 线性变化的部分，记为ε。

该回归模型表达了变量x 与y 之间密切相关、但还没有到y 由x 唯一确定的密切程度的关系。

模型中，一般称y 为被解释变量(因变量)，x 为解释变量(自变量)。

0ˆβ和1ˆβ为模型的参数，又称回归系数。

ε为随机误差项，又称随机干
扰项，表示除能用 x 和 y 之间线性关系解释的因素外的其他随机因素对 y 的影响。

2、理论模型的基本假定：
（1）误差项ε是一个不可观测的且期望值为0的随机变量，即E(ε)=0。

对于一个给定的x 值，y 的期望值为
01
ˆˆ()E y x ββ=+
（2）对于所有的 x 值，ε的方差2
σ都相同。

（3）误差项ε是一个服从正态分布的随机变量，且相互独立，即
ε～N( 0 , 2
σ )
其中，独立性意味着对于一个特定的 x 值，它所对应的ε与其他 x 值所对应的ε不相关。

对于一个特定的 x 值，它所对应的 y 值与其他 x 所对应的 y 值也不相关。

3、一元线性回归模型参数的估计
用来估计一元线性回归模型参数0ˆ
β和1ˆ
β的方法是最小二乘法，其要点为：
（1）它是使因变量的观察值与估计值之间的离差平方和达到最小来求得0ˆ
β和1ˆ
β的方法。

即：
最小==-=∑∑==n
i i n
i i e y y Q 1
21
21
0)ˆ()ˆ,ˆ(ββ
（2)用此法拟合的直线来代表x 与y 之间的关系与实际数据的误差比其他任何直线都小。

根据最小二乘法的要求，可得求解0ˆβ和1ˆβ的标准方程如下
111122
1101ˆˆˆn
n n i i i i i i i n n
i i i i n x y x y n x x y x βββ=====⎧⎛⎫⎛⎫
-⎪
⎪ ⎪⎝⎭⎝⎭⎪=⎪⎛⎫⎨- ⎪
⎪⎝⎭⎪⎪=-⎩∑∑∑∑∑
从1ˆβ的计算公式可以看出其分母大于0。

1ˆ
β的正负取决于分子，且分子与相关系数r 的分子相同。

1ˆ
β ＞0时，表示x 每增加一个单位y
值平均增加的数量，即x 与y 正相关； 1ˆ
β ＜0时，表示x 每增加
一个单位y 值平均减少的数量，即x 与y 负相关。

4、一元线性回归模型的检验
在根据样本数据拟合回归方程时，首先假设变量x 和y 之间存在线性关系，这种假设是否成立必须经过检验才能证实。

回归分析中的显著性检验包括两方面内容： （1）回归方程线性关系的显著性检验 （2）回归系数的显著性检验
回归方程线性关系的显著性检验是检验自变量与因变量之间线性关系是否显著。

方法是：将回归均方(MSR)同残差均方(MSE)加以比较，应用F 检验分析二者之间的差别是否显著。

回归均方(MSR)：回归离差平方和(SSR)()2
1ˆn
i i y
y =-∑除以相应的自由度(自变量的个数p=1)
残差均方(MSE)：残差平方和(SSE)()2
1ˆn
i i y y
=-∑除以相应的自由度(n-p-1)
（注：残差是指观测值与预测值（拟合值）之间的差，即ε，即是实际观察值与回归估计值 的差。

离差是指预测值与预测期望值之间的差。

）
如果差别显著，两个变量之间存在线性关系，如果差别不显著，两个变量之间不存在线性关系。

回归方程线性关系的显著性检验（检验的步骤）
（1）
提出假设：
H ：两变量之间的线性关系不显著 1
H
：两变量之间的线性关系显著
（2）计算检验统计量F
()()2
12
1
ˆ1
1
~(1,2)
2
ˆ2
n
i i n
i
i y
y SSR F F n SSE n y y
n ==-==
----∑∑
其中，F(1,n-2)表示第一自由度为1，第二自由度为n-2的F 分布。

（3） 确定显著性水平α，并根据分子自由度1和分母自由度n-2查F 分布表找出临界值F α。

（4）作出决策：若F F α>,拒绝0H ；若F F α<,接受0H 回归系数的置信区间
0β和1β置信水平为1-α
的置信区间分别为
⎥⎥⎦
⎤⎢⎢⎣⎡
+-++----xx e xx
e L x n n t L x n n t 2
21022101ˆ)2(ˆ
,1ˆ)2(ˆσ
βσβαα和 ⎥⎦
⎤⎢⎣
⎡-+---
-
xx
e xx
e L n t L n t /ˆ)2(ˆ,/ˆ)2(ˆ
2
11
211σ
βσ
βα
α
2
σ
的置信水平为1-
α的置信区间为 ⎥
⎥⎥
⎦
⎤
⎢⎢⎢⎣⎡---)2(,)2(22221n Q n Q e e ααχχ（二）多元线性回归
（多元线性回归在工程上更为有用）
1、数学模型及定义
一般地，影响试验指标的因素不只一个，假设它们之间有如下的线性关系：
0111=+++...()
k k y x x βββε
＋
1212100,,...,(),().
k y x x x k E D βββεεεσ+==>0k 其中为可观测的随机变量，为非随机的可精确观测的变量，，，....,为个未知参数，为随机变量，设
211212011122=+++,,...,,,...,...()
,,...,k i i ik i i k ik i
n x x x y n n x x x y x x βββσβββεεεεε0k i 为了估计未知参数，，....,和，我们对和作次观测得组观测值（,y ）(i=1,2,3,...,n).它们满足关系式：
＋i=1,2,3,...n
其中相互独立且是与同分布的随机变量。

⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=n y y Y ......1，⎥
⎥
⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=nk n n k k x x x x x x x x x X ...1..................1 (1)
212222111211，，
1于是，（）式变为：
(3)Y X βε=+
2(1)10(,).
n X n k k E COV I βεεεεσ⨯++==其中为阶矩阵，称为资料矩阵，为维未知的列向量，满足：，
一般称
为k 元线性回归模型，并简记为
1对（）式取期望，有
011...k k
y x x βββ=+++
称为回归平面方程。

线性模型
考虑的主要问题是：
（1） 用试验值（样本值）
对未知参数和作点估计和假设检
验，从而建立y 与
之间的数量关系；
(2) 在处对y 的值作预测与控制，并对
y 作区间估计.
2、模型参数估计
21.i βσ对和作估计
用最小二乘法求的估计量：作离差平方和
选择
使Q 达到最小。

根据微积分求极值的方法，得正规方程组
00............0k Q
Q
Q
βββ∂⎧=⎪∂⎪
∂⎪=⎪
∂⎨⎪⎪
∂⎪=⎪∂⎩
解得估计值
()()
Y X X X T
T
1
ˆ-=β
得到的代入回归平面方程得：
称为经验回归平面方程.称为经验回归系数.
21ˆ1().
T k X X β
βσ-+服从维正态分布，且为的无偏估计，协 注意为：方差阵 3、进行检验。

至于非线性回归分析：
1.转换为线性回归（类似多区间低阶次差值问题的解决）
2.曲线拟合 （附：常见拟合函数表） 二、微分方程模型
1.基本思想
当我们描述实际对象的某些特性随时间 ( 或空间) 而演变的过程、分析它的变化规律、预测它的未来性态、研究它的控制手段时 ,通常要建立对象的动态微分方程模型。

微分方程大多是物理或几何方面的典型问题 ,假设条件已经给出 ,只需用数学符号将已知规律表示出来 ,即可列出方程 ,求解的结果就是问题的答案 ,答案是唯一的 ,但是有些问题是非物理领域的实际问题 ,要分析具体情况或进行类比才能给出假设条件。

作出不同的假设 ,就得到不同的方程。

比较典型的有: 传染病的预测模型、经济增长预测模型、正规战与游击战的预测模型、药物在体内的分布与排除预测模型、人口的预测模型、烟雾的扩散与消失预测模型以及相应的同类型的预测模型。

其基本规律随着时间的增长趋势是指数的形式 ,根据变量的个数建立初等微分模型：
.dx
kx dt =和
(0)x x
=
( 如传染病预测,经济增长预测,人口预测等)
可能由于实际问题的改变,会出现外在的干预等,例如传染病模型,只有健康人才可能被传染为病人,病人治愈后仍有可能成为病人或者治愈后有免疫力,政府卫生部门的干预等,都会使得所建立的初等模型失败。

为此根据情况可以适当地一步步改进所建立的初等模型,从而达到我们所需要的微分方程预测模型。

2.微分方程模型的优缺点：
微分方程模型的建立基于相关原理的因果预测法。

该法的优点：短、中、长期的预测都适合,而且既能反映内部规律,反映事物的内在关系,也能分析两个因素的相关关系,精度相应的比较高,另外对初等模型的改进也比较容易理解和实现。

该法的缺点: 虽然反映的是内部规律,但是由于方程的建立是以局部规律的独立性假定为基础,故做中长期预测时,偏差有点大,而且微分方程的解比较难以得到。

三、灰色预测模型的建立与求解（GM（1.1））
灰色预测的概念
1、灰色预测法是一种对含有不确定因素的系统进行预测的方法。

2、白色系统是指一个系统的内部特征是完全已知的，即系统的信息是完全充分的。

黑色系统是指一个系统的内部信息对外界来说是一无所知的，只能通过它与外界的联系来加以观测研究。

灰色系统内的一部分信息是已知的，另一部分信息时未知的，系统内
各因素间具有不确定的关系。

3、关联度分析方法：灰色预测通过鉴别系统因素之间发展趋势的相异程度，即进行关联分析，并对原始数据进行生成处理来寻找系统变动的规律，生成有较强规律性的数据序列，然后建立相应的微分方程模型，从而预测事物未来发展趋势的状况。

其用等时距观测到的反应预测对象特征的一系列数量值构造灰色预测模型，预测未来某一时刻的特征量，或达到某一特征量的时间。

4、主要任务是根据具体灰色系统的行为特征数据，充分开发并利用不多的数据中的显信息和隐信息，寻找因素间或因素本身的数学关系。

通常的办法是采用离散模型，建立一个按时间作逐段分析的模型。

但是，离散模型只能对客观系统的发展做短期分析，适应不了从现在起做较长远的分析、规划、决策的要求。

灰色预测的类型
①灰色时间序列预测；即用观察到的反映预测对象特征的时间序
列来构造灰色预测模型，预测未来某一时刻的特征量，或达到某一特征量的时间。

②畸变预测；即通过灰色模型预测异常值出现的时刻，预测异常值什么时候出现在特定时区内。

③系统预测；通过对系统行为特征指标建立一组相互关联的灰色预测模型，预测系统中众多变量间的相互协调关系的变化。

④拓扑预测；将原始数据作曲线，在曲线上按定值寻找该定值发生的所有时点，并以该定值为框架构成时点数列，然后建立模型预测该定
值所发生的时点。

三、为了弱化原始时间序列的随机性，在建立灰色预测模型之前，需先对原始时间序列进行数据处理，经过数据处理后的时间序列即称为生成列。

灰色系统常用的数据处理方式有累加和累减、均值生成三种。

四、关联度 1、关联系数
设参考数列()()()()()()()(){}n X X X k X
0000ˆ,...,2ˆ,1ˆˆ= 比较数列()()()()()()()(){}n X X X k X 0000,...,2,1=
则称比较数列对参考数列在k 时刻的关联系数定义为：
()()()()()()()()()()()()()()()()k X k X k X k X
k X k X k X k X
k 00000000ˆmax max ˆˆmax max ˆmin min )(-+--+-=
ρρη
式中：①()()()()k X k X
00ˆ-为第k 个点()0X 与()0ˆX 的绝对误差； ②()()()()k X k X
00ˆmin min -为两级最小差； ③()()()()k X k X
00ˆmax max -为两级最大差； ④ρ称为分辨率，0<ρ<1,一般取ρ=0.5；
⑤对单位不一，初值不同的序列，在计算相关系数前应首
先进行初值化变换。

2、关联度
()∑==n
k k n r 1
1η称为()()k X 0与()()k X
0ˆ的关联度 GM （1，1）模型的建立（看教材）
四、时间序列分析
1.基本思想
ARMA模型（p,d,q）又称自回归求积移平均模型，其中AR指自回归，p为模型的自回归系数；MA为移动平均，q为模型的移动平均项数；d为时间序列称为平稳之前比寻取其差分的次数。

（1）AR模型
AR模型也称为自回归模型。

它的预测方式是通过过去的观测值和现在的干扰值的线性组合预测，自回归的数学公式为：
式中，为自回归模型的阶数，为模型的待定系数，为误差，为一个平稳时间序列
（2）MA模型
MA模型也称为滑动平均模型。

它的预测方式是通过过去的干扰值和现在的干扰值的线性组合预测。

滑动平均模型的数学公式为：
式中，为模型的阶数，为模型的待定系数，为误差，为平稳时间序列
（3）ARMA模型
自回归模型和滑动平均模型的组合，便构成了用于描述平稳随机过程的自回归滑动平均模型ARMA，数学公式为：
2.模型建立基本步骤
Step1 对原序列进行平稳性检验与处理
建立ARMA(p,q)模型之前，首先要检验风电功率历史数据平稳，如果不平稳，就要对原始数据序列进行差分，差分后成为平稳序列，则称其为d阶单整序列，其中d为差分的次数。

Step2 根据时间序列模型的识别规则，建立相应的模型
若平稳时间序列的偏相关函数是截尾的，而自相关函数是拖尾的，则可断定此序列适合AR模型。

若平稳时间序列的偏自相关函数是拖尾的，而自相关函数是截尾的，则可断定此序列适合MA模型。

若平稳时间序列的偏自相关函数和自相关函数均是拖尾的，则此序列适合ARIMA模型
（注：截尾是指时间序列的自相关函数（ACF）或偏自相关函数（PACF）在某阶后均为0的性质（比如AR的PACF）；拖尾是ACF或PACF并不在某阶后均为0的性质（比如AR 的ACF）。

）
Step3 参数（ｐ，ｑ）的估计与诊断
通过Eviews或SPSS软件，得到自相关和偏相关图，观察的自相关函数和偏相关函数在多少步滞后之后就很小，这表示该时间序列可以用ARMA（ｐ,ｑ）模型来描述。

Step4：模型的预测
五、BP 神经网络预测法
１．ＢＰ算法简述
ＢＰ算法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。

BP 神经网络模型,是目前神经网络学习模型中最具代表性、应用最普遍的模型。

BP 神经网络架构是由数层互相连结的神经元组成 , 通常包含了输入层、输出层及若干隐藏层 , 各层包含了若干神经元。

神经网络便于依照学习法则 ,透过训练以调整连结链加权值的方式来完成目标的收敛。

具体算法如下： 第一步，网络初始化
给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e ，给定计算精度值 和最大学习次数M 。

第二步,随机选取第 个输入样本及对应期望输出
()
12()(),(),,()n k x k x k x k = x
()
12()(),(),,()q k d k d k d k = o d
第三步，计算隐含层各神经元的输入和输出
1()()1,2,,n
h ih i h
i hi k w x k b h p
==-=∑
()f(())
1,2,,h h ho k hi k h p
==
1
()()1,2,p
o ho h o
h yi k w ho k b o q
==-=∑
()f(())
1,2,o o yo k yi k o q
==
第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数()o k δ
o
ho o ho
e e yi w yi w ∂∂∂=
∂∂∂
(())
()
()
p
ho h o o h h ho
ho
w ho k b yi k ho k w w ∂-∂==∂∂∑
2
1
1((()()))2(()())()q
o o o o o o
o
d k yo k d k yo k yo k yi =∂-'=--∂∑
第五步，利用隐含层到输出层的连接权值、输出层的 ()o k δ 和隐含层的输出计算误差函数对隐含层各神经元的偏导数()h k δ
()()o
o h ho o ho
e e yi k ho k w yi w δ∂∂∂==-∂∂∂ ()
()h ih h ih e e hi k w hi k w ∂∂∂=
∂∂∂ 1(())
()
()
n
ih i h h i i ih
ih
w x k b hi k x k w w =∂-∂==∂∂∑
21
21
211
1((()()))
()2()()()
1((()f(())))
()2()()
1(((()f(())))
()2()()q
o o h o h h h q
o o h o h h q
p
o ho h o h o h h h d k yo k e ho k hi k ho k hi k d k yi k ho k ho k hi k d k w ho k b ho k ho k hi k ====∂-∂∂=
∂∂∂∂-∂=
∂∂∂--∂=
∂∂∑∑∑∑
1
1
()(()())f (())()
(())f (())()
q
h o o o ho
o h q
o ho h h o ho k d k yo k yi k w hi k k w hi k k δδ==∂'=--∂'=--∑∑
第六步，利用输出层各神经元的 ()o k δ 和隐含层各神经元的输出来修正连接权值()ho w k 。

1()()()()()
ho o h ho
N N ho ho o h e
w k k ho k w w w k ho k μ
μδηδ+∂∆=-=∂=+ 。

第七步，利用隐含层各神经元的()h k δ 和输入层各神经元的输入修正连接权。

1()
()()()()()()
h ih h i ih h ih
N N
ih ih h i e e hi k w k k x k w hi k w w w k x k μ
μδηδ+∂∂∂∆=-=-=∂∂∂=+ 。

第八步，计算全局误差
211
1(()())2q m o o k o E d k y k m ===-∑∑
第九步，判断网络误差是否满足要求。

当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。

否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。

2.建模步骤：
Step 1 建立如下网络拓扑结构 表3 网络结构 网络基本结构 输入 激发函数
输出 激发函数
学习方法
精度
10—15—1
sigmoid
函数 sigmoid
函数
梯度下降法
0.001
01X t -（） 01X t n -+（） …
）
（t X n 0X t n -（）
…
输入层隐含层输出层
图6：网络拓朴结构图
Step 2 网络训练
1、样本数据预处理
2、利用处理后的数据对网格进行训练。

Step 3 进行预测
BP算法采用的是剃度下降法，因而易陷于局部最小并且训练时间较长。

用基于生物免疫机制地既能全局搜索又能避免未成熟收敛的免疫遗传算法IGA取代传统BP算法来克服此缺点。

BP神经网络的特点
1.非线性映射能力
能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。

只要能提供足够多的样本模式对供网络
进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。

2.泛化能力
当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。

这种能力称为泛化能力。

3.容错能力
输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。

六、GM(1,1)模型、时间序列分析模型、神经网络模型的比较：
相同点：
1.三种方法本质上均可称为时间序列分析.所以均要求数据时序列为等时间距的序列.
2.三种方法本质上均可看成对一组数据序列进行拟合的过程，只不过前两种方法有显式表达，而后一种没有.
3.三种方法最终确定系数均可采用最小二乘法，只不过神经网络采用广义最小二乘法.
4.时间序列与神经网络本质上均为自回归模型，只是前者为线性自回归而后者为非线性自回归.
不同点
1.灰色系统模型要求观测数据序列为指数趋势序列，而时间序列模型要求数据序列为平稳、正态的随机序列，同时神经网络模型却无太多特殊要求。

2.如把对系统的了解程度看成灰色度，神经网络最灰，时间序列次之，灰色系统最不灰。

3.神经网络最复杂，时间序列次之，灰色系统最简单。