基于支持向量机的预测方法模型文献综述概要
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2)SVM方法是专门针对有限样本的，其目标是得到现有信息下的最 优解，避免了神经网络等方法的网络结构选择、过学习和欠学习等 问题。
Thank You!
L/O/G/O
如何求解得到这个最优超平面？
2
由于支持向量之间的距离为 ，
构造最优超平面的问题就转化为求
2
1 •
2
的最小值
引入拉格朗日函数：
对偶形式
符号函数
f
x
s
gn
m i 1
ai
yi
xi
•
x
b
核函数
应用最多的核函数主要有三种： 1)多项式核函数：
2)高斯径向基核函数(RBF)： Kx, xi exp( x xi 2 / 2 )
二、支持向量机模型选择的研究
Steinwart对不同类型的SVM的泛化能力进行了研究。 Vapnik等对多项式机器、径向基函数机器和两层神经网络机器三种类型
的SVM在解Fra Baidu bibliotek数字识别时的表现进行了比较。
支持向量机的扩展和展望
支持向量机的变形算法：
v—SVM系列、单类别SVM、简化SVM(reduced SVM)、加权SVM (weighted SVM)和最小二乘SVM(1east—square SVM，LS—SVM)等
3)Sigmoid核函数： K x, xi tanhvx • xi c
支持向量机的研究现状
一、支持向量机训练算法的研究
块算法:由Cortes和Vapnik提出，“块算法”的目标就是通过某种迭代 方式逐步排除非支持向量。
增量减量式学习方法：由Cauwenbergh提出，考虑了增加或减少一个 训练样本对拉格朗日系数和SVM的影响。
算法。
支持向量机的改进：
(1)支持向量机中自选参数的选取目前尚缺乏结构化的方法来实现参数的 最优选择：
(2)对于给定的数据．如何选择最为合适的核函数。
基于支持向量机的振动加速度峰值预测模型
试验依托江苏田湾核电二期扩建船山正挖爆破工程，共得到了36组有效数据 (T1一T36)，将T1一T30作为训练样本，T30一T36作为预测样本。归一化处 理后得到样本数据如表所示。
预测值和实际值对比
输出值
0.03 0.02 0.01
0
123456
实际数据 SVM BP神经网络 经验公式
结论
三种方法中，SVM模型的预测结果误差远小于另两种模型相应的误 差，说明SVM模型泛化(预测)能力要优于后二者；预测的变形值与实 际值基本接近，数据范围是合理的。
通过算例研究可以得出：
1)各影响因素之间是高度非线性的复杂关系，用传统的建模方法很难 处理，SVM方法很好地处理了这种关系；
方法优
SVM采用结构风险最小化准则，具有很好的学习能力，尤其是泛化能力， 克服了“维数灾难”和“过学习”，而且效率高，结构简单。
应用广
SVM已广泛应用于时间序列分析、回归分析、聚类分析、动态图像的人脸 跟踪、信号处理、语音识别、图像分析和控制系统等诸多领域。
支持向量机的原理
假设样本集为(x1，y1)，(x2，y2)，…，(xn，yn) xi∈Rn,yi∈ {-1,1}，xi表示输入向量，yi表示输出向量
最优超平面
假设该样本集可被一个超平面线性划 分，定义该超平面为ωx+b=0 SVM 就是要寻找一个满足分类要求 的分割超平面，使样本集中距超平面 最近的两类样本之间的距离最大，则 该平面就是最优超平面。
SVM的主要思想是通过某种事先选择的非线性映射将输入向量x映射到一个 高维特征空间Z，并在这个空间中构造最优超平面。
基于支持向量机 的预测方法模型文献综述
L/O/G/O
支持向量机的提出
支持向量机(support vector machine,svm)是Vapnik等人于1995年 在完整的统计学习理论的基础上提出的一种新的机器学习方法。
思想新
SVM是一种新兴的机器学习方法，在许多领域具有广阔的应用潜力，目前 仍处于发展阶段。
Thank You!
L/O/G/O
如何求解得到这个最优超平面？
2
由于支持向量之间的距离为 ，
构造最优超平面的问题就转化为求
2
1 •
2
的最小值
引入拉格朗日函数：
对偶形式
符号函数
f
x
s
gn
m i 1
ai
yi
xi
•
x
b
核函数
应用最多的核函数主要有三种： 1)多项式核函数：
2)高斯径向基核函数(RBF)： Kx, xi exp( x xi 2 / 2 )
二、支持向量机模型选择的研究
Steinwart对不同类型的SVM的泛化能力进行了研究。 Vapnik等对多项式机器、径向基函数机器和两层神经网络机器三种类型
的SVM在解Fra Baidu bibliotek数字识别时的表现进行了比较。
支持向量机的扩展和展望
支持向量机的变形算法：
v—SVM系列、单类别SVM、简化SVM(reduced SVM)、加权SVM (weighted SVM)和最小二乘SVM(1east—square SVM，LS—SVM)等
3)Sigmoid核函数： K x, xi tanhvx • xi c
支持向量机的研究现状
一、支持向量机训练算法的研究
块算法:由Cortes和Vapnik提出，“块算法”的目标就是通过某种迭代 方式逐步排除非支持向量。
增量减量式学习方法：由Cauwenbergh提出，考虑了增加或减少一个 训练样本对拉格朗日系数和SVM的影响。
算法。
支持向量机的改进：
(1)支持向量机中自选参数的选取目前尚缺乏结构化的方法来实现参数的 最优选择：
(2)对于给定的数据．如何选择最为合适的核函数。
基于支持向量机的振动加速度峰值预测模型
试验依托江苏田湾核电二期扩建船山正挖爆破工程，共得到了36组有效数据 (T1一T36)，将T1一T30作为训练样本，T30一T36作为预测样本。归一化处 理后得到样本数据如表所示。
预测值和实际值对比
输出值
0.03 0.02 0.01
0
123456
实际数据 SVM BP神经网络 经验公式
结论
三种方法中，SVM模型的预测结果误差远小于另两种模型相应的误 差，说明SVM模型泛化(预测)能力要优于后二者；预测的变形值与实 际值基本接近，数据范围是合理的。
通过算例研究可以得出：
1)各影响因素之间是高度非线性的复杂关系，用传统的建模方法很难 处理，SVM方法很好地处理了这种关系；
方法优
SVM采用结构风险最小化准则，具有很好的学习能力，尤其是泛化能力， 克服了“维数灾难”和“过学习”，而且效率高，结构简单。
应用广
SVM已广泛应用于时间序列分析、回归分析、聚类分析、动态图像的人脸 跟踪、信号处理、语音识别、图像分析和控制系统等诸多领域。
支持向量机的原理
假设样本集为(x1，y1)，(x2，y2)，…，(xn，yn) xi∈Rn,yi∈ {-1,1}，xi表示输入向量，yi表示输出向量
最优超平面
假设该样本集可被一个超平面线性划 分，定义该超平面为ωx+b=0 SVM 就是要寻找一个满足分类要求 的分割超平面，使样本集中距超平面 最近的两类样本之间的距离最大，则 该平面就是最优超平面。
SVM的主要思想是通过某种事先选择的非线性映射将输入向量x映射到一个 高维特征空间Z，并在这个空间中构造最优超平面。
基于支持向量机 的预测方法模型文献综述
L/O/G/O
支持向量机的提出
支持向量机(support vector machine,svm)是Vapnik等人于1995年 在完整的统计学习理论的基础上提出的一种新的机器学习方法。
思想新
SVM是一种新兴的机器学习方法，在许多领域具有广阔的应用潜力，目前 仍处于发展阶段。