一种用于RBF神经网络的支持向量机与BP的混合学习算法_袁小芳

g
E f ( x ) = w iK ( x , xi ) + b = i= 1
图 2 支持向量机结构 Fig. 2 Structure of support vector machines
2 SVM 确定 RBF 网络较优的初始结构和参数
SVM 包含分类和回归 2 种形式, 这里采用的是
回归形式, 其学习过程转化为线性约束下的二次规
+ x i - ck + 2 2 R2k
( 2)
SVM 可用图 2 所示的网络结构表示, 相似于一个
RBF 网络. SVM 依据 Mercer 条件, 采用核函数 K ( x , y ) = < 5( x ) , 5( y ) > 将原始空间中的样本映射为
维特征空间中的一个向量. 这里采用径向基核函数,
B1, B2 取 maຫໍສະໝຸດ | E1 - E 2 | 所对应的乘子. 这里 E 1 为
训练误差, 且
Ei = f ( x i) - yi
( 12)
依据线性约束方程( 11) , B1, B2 在一条直线上,
Bn1ew + Bn2ew = 常数 = Bo1ld + Bo2ld
( 13)
不失一般性, 首先求解 Bn2ew , 再由式( 13) 计算
( College of Electrical and Information Eng ineering, Hunan U niv, Changsha, Hunan 410082, China)
Abstract: Support vector machine ( SVM) resembles RBF neural networks ( RBFNN) in structure. Considering t heir resemblance, a new hybrid learning algorit hm for RBFNN was proposed. T he proposed learning algorit hm is based on SVM and BP algorithms and includes two steps: t he first step is SVM learning using sequent ial minimum optimization, and this will obtain a good init ial structure and parameters of RBFNN; in the second step, BP algorithms is applied to opt imize RBFNN parameters. This hybrid learning algorithm has a number of advantages: its training process is fast and efficient, and it can optimize parameters online. Examples are simulated to demonst rate the superiority and performance of the proposed hybrid learning algorit hm.
g
E 归输出 f ( x , w ) = w iK ( x , x i ) + b 与样本输出 i= 1
y i 的误差最小, 并且满足结构风险最小化原则, 即
minR( x , w ) =
E 1
p
p k= 1
Lg ( yk -
f ( xk,
w)) +
+w +2/ 2
(5)
约束条件
+ w +2 < C
0,
C
i V
=
C;
当 Boild [
0 时, CiU = -
C,
C
i V
=
0. 设
k = K ( x 1, x1) + K ( x 2, x 2) -
Bn2ew . 由约束方程( 11) , 从而为 Bn2ew 提供了一个约束
空间: U [ Bn2ew [ V
此时
( 14)
U=
m ax(-
C2U, Bo1ld +
Bo2ld -
C
1 V
)
,
V=
m in(
C
2 V
,
Bo1ld
+
Bo2ld -
C
1 U
)
( 15)
并且有: 当 Boild \ 0 时, CiU =
一种用于 RBF 神经网络的支持向量机 与 BP 的混合学习算法X
袁小芳, 王耀南, 孙 炜, 杨辉前
( 湖南大学 电气与信息工程学院, 湖南 长沙 410082)
摘 要: 基于支持向量机与径向基( RBF) 神经网络在结构上的相似性, 提出了一种用于
RBF 网络的支持向量机与 BP 的混合学习算法. 算法分为 2 步: 首先采用序贯最小优化算法学
( 6)
90
湖南大学学报( 自然科学版)
2005 年
式中 L E(#) 为 E不敏感损失函数, E为设定的一个较 小的正数, C 为一个正的常数边界, 定义 LE( #) 为
L E( x , y , f ) = | y - f ( x ) | e =
max ( 0, | y - f ( x ) | - E)
Key words: machine learning; support vector machines ( SVM) ; neural netw orks; Backpropagation
径向基函数( RBF) 神经网络是 Moody 和 Darken 于 20 世纪 80 年代提出的一种 3 层前馈网络, 具有以 任意精度逼近任意连续函数能力[ 1, 2] . RBF 网络的一 个关键问题是学习训练, 包括: 结构设计、径向基的中 心和宽度、网络权值. RBF 网络常见的学习算法有: 基 于聚类的方法、Moody 与 Darken 算法、正交最小二乘
中图分类号: T P183
文献标识码: A
A Hybrid Learning Algorithm for RBF Neural Networks Based on Support Vector M achines and BP Algorithms
YUAN Xiao- fang, WANG Yao- nan, SUN Wei, YANG Hu-i qian
有
K ( x , xi) =
exp -
+x - x i +2 2 R2
( 3)
SVM 隐 层 节 点 数 目 就 是 支 持 向 量 ( Support
vector) [ 3, 4] 个数, 用 g 表示支持向量个数, w i 表示第 i
个隐层节点与输出的连接权值, x i 表示支持向量, b 为偏置, 回归形式的 SVM 为隐层节点的线性组合为
习训练支持向量机, 得到 RBF 网络较优的初始结构和参数; 随后由 BP 算法调整优化 RBF 网
络参数. 混合学习算法结合了支持向量机小样本学习、学习训练快捷以及 BP 算法在线修改网
络参数的特点. 仿真研究表明, 混合学习算法学习效率高, 网络性能优良, 应用于函数逼近时效
果优良.
关键词: 机器学习; 支持向量机; 神经网络; BP 算法
RBF 网络是如图 1 所示的 3 层前馈网络, 采用径
向基函数将输入矢量直接映射到隐层空间, 网络输出
为隐层单元输出的线性加权和. RBF 网络从输入到输
出的映射是非线性的, 而网络输出对权值而言又是线
性的. RBF 网络第 k 个隐层单元的输出为
5k( x i ) =
exp -
+ xi - ck +2 2 R2k
Ai
i= 1
i= 1
和
C \ A*i , Ai \ 0, i = 1, ,, n
( 9)
式中 A*i , Ai 均为 Lagrang e乘子. 利用替代 Bi = A*i -
Ai 并且使用关系 AiA*i = 0, 式( 8) 等价于
n
E max Q( B) = yi Bi i= 1
n
n
E E E | i= 1
Bi | -
1 2
i, j =
Bi BjK
1
(
xi
,
xj)
约束条件
( 10)
n
E Bi = 0
i= 1
和
C \ Bi \- C , i = 1, ,, n
( 11)
这里采用序贯最小优化算法( SMO) [ 9] 来求解
方程( 10) , SM O 将此二次规划分解成一系列最小子
集的优化, 即每次迭代只优化其中二个乘子 B1, B2. B1, B2 的选取采用启发式方法, 先计算所有 样本的 Karush- K uhn- T ucker( K KT ) 条 件[ 4] , 找 到 最 违 反 KKT 条件的样本所对应的乘子作为拟优化的乘子
第 3期
袁小芳等: 一种用于 RBF 神经网络的支持向量机与 BP 的混合学习算法
89
风险最小化的神经网络不同, SVM 基于结构风险最 小化准则[ 5] , 具有更强的理论依据和泛化能力, 在小 样本学习、全局最优等方面具有独特的优势, 应用到 了模式识别、函数逼近等多个领域[ 6, 7] .
SVM 与 RBF 网络在结构上具有相似性, 文[ 8] 证明了神经网络与 SVM 具有等价性, 在函数逼近时 是可以相互转化的. 本文利用这种相似性来学习训练 RBF 网络, 提出了一种 SVM 与 BP 的混合学习算法: 首先由序贯最小优化算法( SMO) [ 9] 学习训练 SVM, 得到 RBF 网络较优的初始结构和参数; 随后由 BP 算 法来在线优化 RBF 网络参数. SVM 的学习为二次规 划过程, 过程简便、快捷, 全局最优, 由 BP 算法在线修 改 RBF 网络参数, 能取得更加优良的网络性能.
划问题, 学习后的参数作为 RBF 网络的初始结构和
参数. SVM 回归的学习过程描述如下: 给定样 本 D = { ( x 1, y 1) , ( x 2, y 2) , ,, ( x n,
y n ) } , x i I Rd , yi I R , SV M 回归就是找到合适的
参数, 即支持向量 x i , 权值 w i 和偏置常数 b, 使得回
第 32 卷 第 3 期 2005年6 月
湖 南 大 学 学 报 ( 自然 科学版) Journal of Hunan University( Natural Sciences)
文章编号: 1000- 2472( 2005) 03- 0088- 05
Vol. 32, No. 3 Jun1 2 0 0 5
算法、Givens 旋转变换法和遗传算法等[ 1] . 然而这些 方法学习过程比较长, 对于网络结构比较难确定, 在 学习效率、算法复杂程度、网络性能等方面值得研究
和改进. 支持向量机( SVM ) 是 Vapnik 在统计学习理论基
础上提出的一种新型机器学习方法[ 3, 4] . 与基于经验
X 收稿日期: 2004- 08- 30 基金项目: 国家自然科学基金资助项目( 60375001) ; 高校博士点基金资助项目( 20030532004) 作者简介: 袁小芳( 1979- ) , 男, 湖南安仁人, 湖南大学博士研究生; 王耀南( 联系人) , 男, 湖南大学教授, 博士生导师 E-mail: yaonan@ mail. hunu. edu. cn
1 RBF 网络与支持向量机介绍
Eg
w i # exp -
i= 1
+x
- x i +2 2 R2
+
b
( 4)
虽然RBF 网络和SVM 构造径向基核空间的原理
不同, 然而它们具有可比性, 网络参数( 隐层节点、径
向基函数的中心和宽度、网络权值) 一一对应, 网络输
出都是隐层节点输出的线性加权和.
图 1 RBF 网络结构 Fig. 1 Structure of RBF neural networks
( 7)
方程( 5) 的等价 L agrange 多项式为[ 5]
n
E max Q( A, A* ) =
y i ( A*i - Ai ) -
i= 1
n
E E ( A*i + Ai ) i= 1
E 1
2 i,
n j=
(
1
A*i
-
Aj ) K ( x i , x j )
( 8)
约束条件
n
n
E E A*i =
( 1)
式中 + # + 为欧几里德范数; xi 为第 i 个输入向量;
ck 为隐层节点中心; Rk 为隐层节点宽度. 用 n 表示隐
层节点数目, wk 表示隐层节点与输出的连接权值, RBF 网络的输出为
n
E f ( x i ) = w k5k( x i ) = k= 1
En
wk # exp -
k= 1