一种基于改进的密度法确定RBFNN的数据中心的算法

6 ( ) 获取 :
权值修 正量按式
表 2 实验结 果 对 比
Iri s D iab etes s L et er t r
权值修正计算式 (7 )
∋ 喘一 e( 一 ∃一 喀 l c G, I ,x , ) l
为:
) 6 (
7 ( )
全监
分类 准确 率
0 .8 83 3
耗时 (秒 )
2 1.23 6 3
2
密度法 选择 R B F N N 的数 据 中心
来确定数据中心 本文用数理统计中一种动态聚类算法一密
度法 为基础 , 提 出了一种 改进 的密度法确定 R B FN N 的数据 中心 的算法, 并用梯度下降法只需训练 网络 的权值 通过实
验仿真 获得 了良好 的效果
本 文 按下 面 方 式 组 织 内容 : 第 1 部 分 简 单介 绍 了 R B FN N 的基础理论 ; 第 2一 部分提 出了具体 的算法; 第 4 3 部分是实验 与分析 ; 最后是结论
氏 = 刀 i= 1, 二 M
11l ln
i J , 禅
(3 )
乙 盆 月 ,∀ 卫 w . s e l 1 压 !
4 实验 与分析
数据 集
r s I is D iab ete s
L et 盯 t
刀为大于等于 1 的常数, 可在实验中适当选取
最终, 我们获得了构造 Rl3F N N 的隐层结构参数
(其 中, j 二卜 斌 ) 次乘法 , 而用改进的密度法 需要 尸 o M, 尸 尸 次乘法 , *! g 十 *从 其 中尸*1 峡尸 用来计 算距 离 的次 数 , 可 以认为M ! 9 0 是 和峡 相 差 不大 , 而计 算 尸* f gM, 尸 的时 间一般情 况下都小于 o 的时 间, 尸 *鱿因此 , 理论上用改进 的密度法训练 RB FN N 的时 间小于全监督算法训练 R B F刊N 的时 间
猫 口 ( o Pu t r A P Pl cat o s V dl 25, N o . 20 09 m e i in . , 4 文章编号: 100 7一 75双 ( 2009冷 00 51 03
技术 交流
橄 型 电脑 应 用
20 09 年第 2 5 卷第 4 期
一种基 于改进 的密度法确定 R B FN N 的数据 中心 的算法
量试 d < 姚 以每个样本点为球心, 试为半径做一个球体, ,试( l ),
落在球内的样品数 (不包括球心 ) 称为此点的密度 选择 密 度最大的样 品作 为第一个聚类 中心 , 次大密度 的样 品作为候
R B F N N 基础理 论
RB N下 是一种三层前 向网络 , 网络只有一个隐层, 其 F 激活函数是径 向基函数, 常用高斯基函数, 输 出层是简单 的 线性函数 , 其 网络结构如图 1 所示 :
∋ 箭e ( 一 龙 , :一 客l :! i 戈I 一 G ) ( ∋ 客( 一戈 , =箭e l 引 一 i 戈] G ) (
(8 )
(9 )
3
基于 改进 的密度 法 的 R B F N N 的训练 算法
采用来 自 U c 数据集汇 中的 I s, D a te 和 Le e 三 l 1 9 i r i b s e t r 个数据集对本文的方法进行测试 各数据集信息 如表 1 所
刘新 平
摘 法确 定 R B FN N 数据 中心的算法 下降法只时网络的权值进行训练
郑 明文
要: 传 统的全监督算法训练 R B FN N 时花 费时间长 , 而且 容易陷入局部极小点, 为 此, 论 文提 出 了一种 基于改进 的密度 首先 用改进 的密度法选 出R B FN N 的数据 中心 , 计葬 出每个 中心的扩展 常数 , 然后用梯度 这种方法与全监督的梯度下降法相 比, 不仅时间有明显减少 (包括采 用密度法确 定数据 中
令 x, R 刀i习 ,2, !, 是第 i 个学习样本 , 每个 学习样本 , 都是 N 维的, 则 R B FN N 的网络 输出可以用式 (l 一 (2 ) ) 表示:
N e七 or , 简称 R B F N N ) 是一种性能 良好 的前 向神经网络, 刀k 相对 B P 神经 网络而 言, 具有较快的学 习速率 , 也 不存在局 部极小 问题 只要样本充足, 总能找到任 何非线性 系统 的准 确映射 因此在线性逼近 , 数据挖掘 , 图像处理等 多个领域
3.1 算法步骤 利用第 2 部分 获得的 R l( N N 的隐层结构参数 , 我们可 F 以获得 基于改进密度 法的 R B F刊N 的训练算法 , 具体步骤如
下:
示 为 了验证算法的效果, 我们 以 l s 数据 集为例, 首先将 i r
这些数据打乱顺序 , 然后利用 改进 的密度法对其 重新分类 ,
选聚类中心 , 然后计算与前一个聚类中心的距 离, 若小于 则 不选 做聚类 中心 , 否 则选择 依次类推 , 得到一批 密度 渐小, 彼此距 离大 于姚 的数据 中心 经验表 明, 一般取姚 二2 *试 具体执行步骤如下: 设样本点集合为I戈 ,i二1,2,! ,心 (l 给 定两个数量 试,姚以 < 姚) 计算每个样本 点的密 ) , 度 P , 将 其存 入集合A 中 , 选择 出密度最 大的样本点 P ~ 组 成一组聚类 中心, 存 于集合 C 中; (2 ) 初始分类 , 样本点按照最小距离 归类 , 计 算余下 的样 本点与 B 中每个聚类 中心 的欧式距 离, 将得 到的距 离
(I 利用本文第 3 部分提供的算 c , i二1, 2, !, M 以及数据 宽度 i
a , , j = l, 2, !, M
(2 ) 初始化隐层到输出层的权值件 , 利用梯度下降算
法只对权值进行优化 , 优化过程如下 :
) 定义 目 标函数 , 如式 ( ) 所 示: 4
E二女 : 工 ∀ 2廿
其 中 n 为样本 个数 , 号, 如式 (5 ) 所 示:
(4 )
并获得数据 中心 , 最后再用梯度 下降法 对权 值进 行训练 , 下 面是 以I s 数据为例进行具体的参数设置和实验结果 i r 在 用改进的密度法对 I s 数据进 行分类 的时候 , 我 们 i r 取 试一 沥 , 姚二 2俪 , 采用密度法将打乱顺序 后的数据重新 粗略 分类 , 得到 了 5 类 , 所 以 RB F刊N 的结构确定为 4一 1 5一 结构 , 在计算径 向基 中心 的时候 , 取 刀= 0. , 用式 (3 获 5 ) 取对应 的数据宽度 a ( 二卜 5 j j ) 在用梯度法对权值进 行训 练 时, 选择式 ( )中的学习率 叮= 0 0 , 本文算法与采用 结 6 .3 构 自适应 的数据 中心全监督学习算法进行对 比, 其 实验结果 和其他两个数据集的实验结果参见表 2
心的时间在 内), 而且在用 U C I 中的数据 集对 网络进行浏试 时, 得到 了更好的分类结果 关键词 : R FN N ; 数据 中心 ; 扩展常数 ; 密度法; 全监督 葬法 B 中图分类号 : T P3 0 . 1 6 文献标识码 : A
0
引言
径 向基 函数神 经 网络 (R adi B asi F u et on N eu al al s n i r
分类 类 准确 率
0 ∀科 8科
耗时 (秒 )
3 82 3 74 4
分类 类 准确 率
0名 5 0
耗时 时 (秒 )
1 86 0 3 3
吼 = 然 十∋件 + 重复) ∗ 过程直到满足误差要求
3 2 算法复杂度 分析 从上面 的算 法可 以直 观地看 出 , 在获取 了隐层参 数之 后, 我们不再对其中心和宽度进行训练, 而只对权值进 行训 练, 相当于线性 优化 问题, 使计算量与全监督学习算法相比 大为减 少 因为全监督算法需要 同时对权值 , 数据中心, 扩 展常数 以及径 向基函数的个 数进 行学习, 是一种非常复杂的 非线性优化问题 下面进行 具体 的分析 假设训练样 本总数 为尸 , 采用全监督 算法时 随机选 取
斯基函数,
k c 是对应第 k 个隐层节点的数据中心, } } .}表示
欧 氏距离 , G * 是对应第 k 个径 向基函数的宽度
B R FN N 结构 的确 定过程 就是求 w , c , a 三个 网络 参数 的过程 本文拟通 过改进 的密度法确定 RB FN N 的数据 中心
和扩展常数, 利用梯度 下降算法对权值进行训练
图 IR B FN N 的结构
与姚 作比较, 若小于姚的, 归入对应的聚类中心所在的一 类; 若大于 姚 , 则暂不归类 由此, 得到初始分类集合 B ;
2 5704 9
作者 简介 : 刘 新平 , 中国石 油大 学计算 机与 通信 工程 学院 , 副 教授 , 博 士 究 生 , 东营 研 郑 明文 , 中国石 油大 学计 算机 与通信 工程 学院 , 硕 士研究 生 , 东营
M I 个数据 中心 , 而采用 改进的密度法 时获取 了从 个数据 中 心 用全监督算法时 , 计算数据 中心 (式 8) , 宽度 (式 9 )
督结 构自 适应 梯度 下降 法
本文 算法 众94 2 19 .26 80 0 0 乡 15 5 30 .2 23 6 3 0名 2 8 17 0 0 乃 2
密度法是动态聚类算法的一种 它 不同于 K 一 a s 聚类 e m n 算法 K 一 ea s 聚类方法需要事先人为的分成 M 类 , 随机 m n 选择或者采用其他方法选择M 个数据中心 , 然后计算空间各 个样本点与数据 中心的欧式距 离, 将与聚类中心最近的样本 点归为一类 , 然后采用不同方法更新各类 的聚类 中心 , 人为 选择数据中心具有很大的盲 目性 , 既不 知道 有多少个 , 也不 知 道 在 什 么 位 置 : 而 密 度 法 则 只 需要 事 先 给 定 两 个 数