预测svm

n w = ∑ (α i − α i * ) x i i =1 n * ∑ (α i − α i ) = 0 i =1 C − α i − ηi = 0 C − α i∗ − η i∗ = 0
支持向量机用于回归（续）
化简后， 可得原约束表达式的对偶式： 化简后， 可得原约束表达式的对偶式：
Min 1 T 1 n w w + C ∑ Lε ( yi , f ( xi )) 2 n i =1
式中， 这里选用ε不敏感损失函数 不敏感损失函数， 式中，L为损失函数 。这里选用 不敏感损失函数，其表达 式为： 式为：
如果 | y − f ( x) |≤ ε 0 Lε ( y, f ( x)) = | y − f ( x) | 其它
1 −1 2 ρ= − = w w w
最优分类平面（续）
由于最佳分类平面的ρ 最大，则问题可转化为: 寻找w 和b 使得:
ρ=
2 w
最大; 并对所有数据点 {(xi ,yi)}有
wTxi + b ≥ 1 if yi=1; wTxi + b ≤ -1 if yi = -1 上式还可表达为： Min St. ½ wTw; yi (wTxi + b) ≥ 1
SVM预测模型的建立
核函数的选择
在实验中选取RBF函数作为核函数的首选，原因： 1.RBF函数可以将样本非线性地规划到更高维的空间中， 从而实现非线形影射。Sigmoid核函数取某些特定参数 时性能和RBF相同。 2.RBF函数的参数只有一个。相比之下多项式核函数参 数比RBF核函数多，因此其模型选择更为复杂。 3.RBF函数的数值限制条件少。RBF函数使数值被限制 在0和1之间，而多项式核函数的值可能会趋于不定值 或零值 且幂值更高；Sigmoid核函数在取某些参数值 时则可能无效。
Min ½ wTw + CΣξi St. yi (wT Φ ( xi ) + b) = 1- ξi
支持向量机用于回归
对于线性可回归的数据集{x 回归函数表达式为: 对于线性可回归的数据集 i ,yi} ，SVM回归函数表达式为 回归函数表达式为 f(x) =wTx + b 系数w和 通过最小化下式得到 系数 和b通过最小化下式得到
基于SVM的时间序列预测
吴海山 eshan110@ Homepage:
报告大纲
1.时间序列预测的意义 2.时间序列预测的常见方法和缺陷 3.支持向量机(SVM) 的背景和基本原理 4.SVM的在时间序列预测中的应用 5.组合的SVM时间序列预测方法 6.今后的工作
n 1 n * * T min ∑ (αi − αi )(α j − α j ) xi x j − ∑α i* ( y i −ε ) − αi ( yi + ε ) 2 i , j =1 i αi ,αi* ∈[ 0, C] ∑
i=1 =
n
同样，当数据集不能实现线性回归时， 同样，当数据集不能实现线性回归时，仍将原数据集通过一 非线性影射，影射到一高维特征空间， 非线性影射，影射到一高维特征空间，在高维特征空间 中进行线性回归，则此时约束表达式为; 中进行线性回归，则此时约束表达式为 n 1 n * * T min ∑ (αi − αi )(α j − α j )Φ( xi ) Φ( x j ) − ∑α i* ( y i −ε ) − αi ( yi + ε ) 2 i , j =1 i =1
X (t ) = Φ[ X (t − 1), X (t − 2), ⋅⋅⋅ X (t − p )]
其中为Φ非线形函数， 为嵌入维数 根据上式,可以得到 为嵌入维数， 其中为Φ非线形函数，p为嵌入维数， 根据上式 可以得到 输入样本和输出样本,这里用 这里用1999-2002年的数据作为检 输入样本和输出样本 这里用 年的数据作为检 验样本, 分别用SVM和神经网络预测，结果为 和神经网络预测， 验样本 分别用 和神经网络预测 结果为: 性能比较 预测最大误差 平均相对误差 SVM 2.992% 1.872% RBF神经网络 3.259% 1.976%
SVM预测模型的建立（续）
C和r和选取（以分类为例） − − 15 12 3 −5 −3 15 选定一组C,r的范围 C = 2 ,2 ,⋯2 和γ =2 ,2 ,⋯ ,2 然后将它们的准确率用等高线连接起来绘出 类似下图。
用SVM实现煤炭需求量的预测
任务： 年的我国煤炭需求量来预测2003任务：用1980-2002年的我国煤炭需求量来预测 年的我国煤炭需求量来预测 2006年的煤炭需求量 年的煤炭需求量 将历年的煤炭消费量X(t)看作时间序列，则其预测模型 看作时间序列， 将历年的煤炭消费量 看作时间序列 可以描述为
时间序列预测的意义
几个实例： （1）根据历史煤炭需求量来预测将来的煤炭需 求量，可以预测将来的能源结构，调整能源结 构 （2）预测矿井表面瓦斯涌出量可以有效判断瓦 2 斯变化趋势，从而减少灾难发生 （3）预测将来电力负荷值，可以合理安排发电 机组，获取更好的经济效益 科学、 科学、准确的时间序列的预测方法最为关键
支持向量机用于分类
如下图的二分类问题，可以看作在特征空 间的分类：
wTx + b > 0 wTx + b = 0
f(x) = sign(wTx + b) wTx + b < 0
线性可分
如何分类是最优？
最优分类平面
H为分类线，H1、H2分别为过各类中离分类线最近的样本且 平行于分类线的直线，它们之间的距离叫做分类间隔。所谓 最优分类线，就是要求分类线不但能将两类正确分开（训练 错误率为0），而且使分类间隔ρ最大
wxi + bi − yi ≤ ε + ξ St. −wxi − bi + yi ≤ ε + ξi ξi ,ξi* ≥ 0
* i
ξ
ε
ε
ξ*
在求解上式时，一般采用对偶理 在求解上式时， 论，把它转化成二次规划问题
支持向量机用于回归（续）
建立拉格朗日方程： 建立拉格朗日方程：
n n 1 T * L( w, ξi , ξ ) = w w + C ∑ (ξi + ξi ) − ∑αi (ε + ξi* − wxi − bi + yi ) 2 i =1 i =1 * i
SVM算法实现软件
LIBSVM：台湾大学林智仁教授等开发，有 各种版本，应用很广泛 LS-SVMLAB：Matlab界面，分类、回归都 可 OSU_SVM：用于分类，可以实现多分类 SVM toolbox: Matlab界面，代码简单，适 合初学者了解原理，但算法效率较低
有关SVM的网站
.tw/~cjlin/libsvm www.esat.kuleuven.ac.be/sista/lssvmlab /Top/Computers/Artific ial_Intelligence/Support_Vector_Machin es
St.∑ (α i − α i* ) = 0, α i , α i* ∈ [ 0, C ]
i =1
n
核函数
K (x i , x j ) = (Φ (xi ) ⋅ Φ ( x j )) = ΦT ( x j )Φ (xi ) ，即 令：
K(x,x)为特征空间的一个内积，则称K(x,x)为核函 数。任何对称函数只要满足Mercer定理均可作为 核函数 。 常用的核函数有
支持向量机
支持向量机，Support Vector Machines,SVM 可以避免以上缺陷： 1.将问题转化为二次规划问题，理论上可以得到 全局最优解 2.建立在统计学的VC（Vapnik-Chervonenks Dimension）维理论和结构化风险最小化原则 (Structural Risk Minimization, SRM)的基础上， 有效地避免了维数灾 3.可以较好地解决小样本问题
最优分类平面（续）
当因噪声等原因，会出现分类错误。此时，引入松弛 变量 ξi ；从而可以实现有噪情况下的分类 松弛变量ξ i可 以看作是错误 分类产生的误 差
ξi ξi
最优分类平面（续）
原来的表达式: Min St. ½ wTw; yi (wTxi + b) ≥ 1
引入松弛变量后的表达式: : Min ½ wTw + CΣξi St. yi (wTxi + b) ≥ 1- ξi ξi ≥ 0 参数C用来调节正则化和经验风险部分之间的平衡，还可 以看作是对错误分类点的惩罚参数
* i =1
n
最小二乘支持向量机(LSSVM)
LSSVM 和SVM的不同 的不同 之处： 之处： 1.损失函数的不同 损失函数的不同 2.约束中不等式变为等 约束中不等式变为等 式 同样利用拉格朗日定理， 同样利用拉格朗日定理， LSSVM最终转化为求解 最终转化为求解 方程， 方程，由于此方程可以 用最小二乘方法解， 用最小二乘方法解，所 以称为： 以称为：最小二乘支持 向量机 Min ½ wTw + C ½ Σξi 2 St. yi (wT Φ ( xi ) + b) = 1- ξi Min ½ wTw + CΣξi St. yi (wT Φ ( xi ) + b) ≥ 1- ξi ξi ≥ 0
支持向量机的背景和原理
背景 支持向量机（Support Vector Machines,SVM) 是基于统计学习理论(Statistical Learning Theory或SLT)的一种新型机器学习方法,它由V. Vapnik等在1992年提出。随着SLT理论的不断 完善，SVM也越来越受到人们的重视，目前， SVM算法在模式识别、回归估计、概率密度函 数估计等方面都有应用。
-ε ε 0 ε
支持向量机用于回归（续）