边坡位移非线性时间序列采用支持向量机算法的智能建模与预测研究

刘开云 ,乔春生 ,滕文彦
1 1 2
边坡位移非线性时间序列采用支持向量机 算法的智能建模与预测研究
(1. 北京交通大学 土木建筑工程学院 ,北京 100044 ;2. 石家庄铁路工程职业技术学院 土木工程系 ,河北 石家庄 050041)
摘 要 : 介绍了人工智能领域最新的基于结构风险最小化原理的数据挖掘算法 — — — 支持向量机算法 ,运用 Matlab 语言编写了程序 , 采用不同的核函数对具体的边坡工程实例作了计算 ,并将人工神经元网络计算结果与之对比 ,可见无论是在学习或预测精度方面 , 支持向量机算法较基于经验风险最小化原理的人工神经元网络算法都有很大的优越性 ,可以运用于实际工程 。 关键词 : 数据挖掘 ; 支持向量机 ; 回归算法 ; 机器学习 ; 位移预测 中图分类号 :TU 45 文献标识码 :A 文章编号 :1000 - 4548 (2004) 01 - 0057 - 05 作者简介 : 刘开云 (1971 - ) ,男 ,安徽池州人 ,2001 年获山东科技大学工学硕士学位 ,现为北京交通大学土木建筑工程学院博士研究 生 ,主要从事岩土工程支护设计理论的研究 。
Railway Engineering , Shijiazhuang 050041 , China )
Abstract :Based on the Structural Risk Minimization principle ,the latest data mining method in artificial intelligence field — support vector machine algo2
n
( 3) Sigmoid 核函数 K ( x , y ) = tanh[ν( x ・y ) + c ] ; ( 4) B 样条核函数 (Bspline 核函数)
K ( x , y ) = B 2 N +1 ( x - y ) 。
+
i =1
∑
3 (α i - α i ) yi n
n
i =1
∑
f ( x) =
i =1
∑( ( x , xi ) + b 。
3
( 8)
1 3 (ζ w ・w + C i +ζ i ) , ( 2) 2 i =1
n
∑
按照 Kuhn2Tucker 定理 , 在鞍点有 : α i [ε + ζ i - yi +
f ( x i ) ] = 0 , i = 1 , …, n ;αi [ε+ ζi + y i - f ( xi ) ] = 0 , i
对回归问题 ,就是考虑用函数 f ( x ) = w ・x + b 拟 合数据 { x i , y i } , i = 1 , …, n , x i ∈ R , y i ∈ R 的问题 , 对线性回归问题 ,线性函数设为 ( 1) f ( x ) = w ・x + b , 式中 w 为权值向量 , b 为偏差 。考虑到允许拟合误
[1 ]
。本文基于这种算法 , 对边坡位移监
测数据进行机器学习和回归 ,并在此基础上作出预测 。
1 支持向量机及其回归算法
支持向量机 ( support vector machine , 简称 SVM) 理 论基础是统计学习理论 持向量机的算法
[7～11 ] [2～4 ]
。下面以回归问题说明支
。
d
‖x - y ‖ ; 2 2σ
C - α i - γ i = 0 , C - αi - γi
n
3
3
= 0。
将式 ( 5) 代入式 ( 4) ,即得优化问题的对偶形式 ,最大化
1 3 3 3 (α 函数 W (α,α ) = xj ) i - α i ) (α j - α j ) ( xi ・ 2 i ,∑ j =1
i = 1 , …, n 。对式 (4) 进行偏微分 ,并令各式等于零 ,得
i =1
∑
3 (α i - α i ) = 0 ,
n
, d = 1 ,2 , …;
2
( 2) 径向基函数核函数 ( RBF 核函数)
( 5)
K ( x , y ) = exp -
w =
i =1
∑(α - α
i
i
3
) xi ,
[7 ]
3
( 3)
ζ ζi ≥0 。 i , 式 ( 2) 中第一项使函数更为平坦 , 以提高泛化能力 , 第 二项则为减小误差 , C 对两者做出折中 。对这一凸二 次优化问题 ,引入 Lagrange 函数 n 1 3 3 3 (ζ L ( w , b ,ζ,ζ ,α,α ,γ ,γ ) = w ・w + C ∑ i + 2 i =1 ζi3 ) n n i =1
3
3 对于 αi ∈( 0 , C) 。由以上两式可以求出 b 。令 3 β i = α i - α i ,
( 9)
[2 ]
当β i 非零时 , 其对应的训练样本就是支持向量
3 3 [11 ] 乘子 (α 。 i 或α i ) 大于零的训练样本
,又
由于 α 0 , 所以支持向量也就是有 1 个 Lagrange i ,α i ≥ 在上面的对偶问题中 , 寻优函数只涉及训练样本 之间的内积运算 ( x i ・ xj ) ,所以在高维空间实际上只需 进行内积运算 ,而这种内积运算是可以用原空间中的 函数实现的 ,甚至没有必要知道变换的形式 。SVM 中 不同的内积核函数将形成不同的算法 , 目前研究最多 的核函数主要有以下几类 : ( 1) 多项式核函数 ( Polynomial 核函数)
K ( x , y ) = ( x ・y + 1)
d
α i [ζ i + ε - yi + f ( x i ) ] ∑
n
i =1
α ∑
i
3
[ζi + ε + ( 4)
3
yi - f ( xi ) ] -
i =1
∑(ζγ + ζ γ
i i i n
3
i
3
) ,
α αi3 为 Lagrange 乘子。 α αi3 ≥ γi3 ≥ 式中 0 ,γ 0, i , i , i ,
LIU Kai2yun , QIAO Chun2sheng ,TENG Wen2yan
1 1
2
(1. School of Civil Engineering and Architecture ,Beijing Jiaotong University , Beijing 100044 , China ;2. Department of Civil Engineering , Shijiazhuang Institute of
3
其中常数 C > 0 , C 表示了对超出误差ε的样本的惩罚 程度 。约束条件为 3 f ( xi ) - y i ≤ζi + ε,
yi - f ( x i ) ≤ζ i + ε,
αi 都不会 = 1 , …, n 。由此两式可见 ,对任何一组 α i , 同时为非 0 。结合 Kuhn2Tucker 定理和式 ( 5) ,得到 :ε - y i + f ( x i ) = 0 , 对于 α i ∈( 0 , C) ;ε + y i - f ( x i ) = 0 ,
Key words : data mining ; support vector machine ; regression algorithm ; machine learning ; displacement prediction
0 引 言
①
“维数灾难” ,泛化性能不高 。如何找到一种在有限 样本情况下 ,精度既高同时泛化性能也强的机器学习 算法便显得很迫切 。作为一种以结构风险最小化原理 为基础的新算法 ,支持向量机具有其他以经验风险最 小化原理为基础的算法难以比拟的优越性 , 同时由于 它是一个凸二次优化算法 , 能够保证得到的极值解是 全局最优解
rithm was introduced in this paper . A program was worked out in language Matlab for a slope engineering project by using different kernel function . Com2 pared with the result obtained by using the Artificial Neural Network algorithm based on the Empirical Risk Minimization principle ,the SVM algorithm is obviously superior to the ANN algorithm whatever on machine learning or prediction accuracy and it can be used to practical engineering .
第 26 卷 第1期 2004 年 1 月
岩 土 工 程 学 报
Chinese Journal of Geotechnical Engineering
Vol. 26 No. 1 Jan. , 2004
Re search o n no n2linear time sequence intelligent mo del co nstructio n and predictio n of slop e displace ment by using support vector machine algorithm
- insensitive 损失函数。计算结果见表 1 ,2 。表 1 ,2 中的