一种新的加权模糊 C 中心聚类算法

(
)
(
)
(
)
(
)
(i = 1,L, n; j = 1,L, c)
2.2.2 W, U, γ 确定时，优化 V 此时最小化目标函数改写为 min
(5)
m1 + m2 n c ⎧ ⎡ m1 q 2 ⎤⎫ ⎪ ⎪ r q ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆk ⋅ d sort ( xik , v jk ) ⎥ ⎬ Ec (U ,V ,W , γ ) = ∑∑ ⎨α j ⋅ uij ⎢γ ⋅ ∑ wk ⋅ d order ( xik , v jk ) + (1 − γ ) ⋅ ∑ w i =1 j =1 ⎪ k =m1 +1 ⎣ k =1 ⎦⎪ ⎩ ⎭
1 1 1 2
离权重系数。一般情况下，如果数据点集在有序属性上进行了有效的归一化，则初始化时可 取 γ = 0.5 。 q 和 r 分别是隶属度变量和特征权重变量的指数系数。
uij 是数据点 X i 到第 j 个聚类的隶属度。
2
中国科技论文在线

由于 uij 与 X i 到 V j 的“距离”有关， 而不能反映出第 j 个聚类的形状、 大小和密度等性质。 所以，式(1)中增加了一个体现出第 j 个聚类的“半径” 、 “密度” 、 “聚类中的点的数目”这些 特性的一个系数量，称为聚类区域吸引子 α j 。 聚类区域吸引子 α j 的定义为
将上式代入
1

∑ u －1 = 0 ，得
j =1 ij
c
⎛ ⎞ r −1 − λi ⎜ ⎟ =1 ∑ ˆ ⎟ ⎜ j =1 ⎝ α j ⋅ r ⋅ d ( X i ,V j ) ⎠
c
1
再推得
(− λi )r −1 =
1
1 ⎛ ⎞ r −1 1 ⎜ ⎟ ∑ ˆ ⎜ ⎟ ⋅ ⋅ α r d ( X , V ) j =1 ⎝ j i j ⎠
(
)
2
；对于无序属性，则定义
0, xik = x jk 。 d sort ( xik , x jk ) = { 1, xik ≠ x jk W = (Worder ,Wsort ) = ( w1 ,L, wm1 , wm1 +1 ,L, wm1 + m2 ) 为 m 个属性上的特征权重向量。
γ ∈ [0,1] 为有序属性 Worder = ( w1 ,L, wm ) 与无序属性 Wsort = ( wm +1 ,L, wm + m ) 之间的距
[
]
令
⎧ ∂L r −1 ˆ )+λ =0 = α j ⋅ r ⋅ uij ⋅ d ( X i ,V j i ⎪ ⎪ ∂uij ⎨ ∂L c ⎪ = ∑ uij－1 = 0 ⎪ ⎩ ∂λi j =1
由
∂L = 0 求得 ∂uij
3
中国科技论文在线
⎛ ⎞ r −1 − λi ⎟ uij = ⎜ ˆ )⎟ ⎜ α ⋅ r ⋅ d ( X ,V j i j ⎝ ⎠
r Ec (U ,V ,W , γ ) = ∑∑ α j ⋅ uij ⋅ d ( X i ,V j ) i =1 j =1 n c
(
)
m1 + m2 n c ⎧ ⎡ m1 q 2 ⎤⎫ ⎪ ⎪ r γ w d ( x , v ) ( 1 γ ) wkq ⋅ d sort ( xik , v jk ) ⎥ ⎬ = ∑∑ ⎨α j ⋅ uij ⋅ ⋅ + − ⋅ ⎢ ∑ k order ik jk ∑ i =1 j =1 ⎪ k =m1 +1 ⎣ k =1 ⎦⎪ ⎭ ⎩
(1)
式(1)中，S 中数据点 X i 和聚类中心点 V j 之间的一个相异性度量可定义为
d ( X i ,V j ) = γ ⋅ ∑ w ⋅ d
k =1 q k
(
2 order
( xik , v jk ) + (1 − γ ) ⋅
)
m1 + m 2
k = m1 +1
∑ (w
q k
⋅ d sort ( xik , v jk )
αj =
αj
∑α
l =1
c
( j = 1,L, c)
l
(3)
αj = 式(3)中，
⎛ Rj ⎞ 1 ⎜ ⎟ 是 α j 的未归一化计算式。 这里 R j = ⎜ ⎟ Cj X ∈C j : X ≠V j ⎝ d ( X ,V j ) ⎠
∑
X ∈C j
∑ d ( X ,V ) 为
j
第 j 个聚类 C j 的“平均半径”。 当数据点集归一化后， 此时分别对隶属度矩阵 U = (uij ) n× c ， 聚类中心点集 V = (v jk ) c× m ， 特征权重向量 W = ( wk ) m 及距离权重系数 γ 进行交替优化， 以搜索到最小化目标函数的极小 值。
1. 引言
特征权重优化是数据挖掘的一个重要研究领域和研究难点，它与传统的能变换原特征 的数据分析方法如主成分分析(Principal Component Analysis, PCA)、 因子分析(Factor Analysis, FA)和独立成分分析(Independent Components Analysis, ICA)等有些不同。可以认为，特征权 重优化对于分析实际数据点集的内在分布结构以及构造分类器模型都是很有价值的。 特征权 重优化既可以作为数据挖掘的预处理阶段， 也可以将它与具体的数据挖掘算法结合起来， 以 期构造出简洁、精确、稳定的数据挖掘模型。 在特征权重优化方面开展的研究主要有：Frigui等[1]提出了一种属性加权的方法来体现 特征向量中的各个分量在不同类中起不同的分类作用， 这是研究特征权重优化较早的一篇论 文。同一年，Elaine Y. Chan等[2]通过使用加权的相异性度量，提出了一种可应用于混合属性 数据集的加权聚类算法。武宇文等[3]在属性加权算法基础上设计了特征分组加权算法，给出 了一种基于特征加权聚类的表情识别算法。 Joshua Zhexue Huang等[4]将k-means聚类算法与特 征权重优化结合起来进行研究， 得到的WKMeans算法还被实现为AlphaMiner[5]的一个重要算 法构件。Wang X.Z.等[6]在FCM聚类算法中进行特征加权研究，得到改进的FCM聚类算法。 王丽娟等[7]提出CF-WFCM算法，该算法分属性权重学习算法和聚类算法两部分，通过将属 性权重学习算法应用于Fuzzy C Mean聚类算法，得到优于FCM算法的聚类结果。文献[8]提 出了一种特征权重的自适应优化方法，该方法很有新意，但其仿真实验只采用UCI的两个数 值型数据集，这是其不足之处。文献[9]在借鉴文献[4]中提出的方法基础上给出了一个可应 用于混合属性数据集的统一更新迭代公式，得到加权FCM 扩展算法。文献[10]提出了一种 基于核映射的自适应优化配置属性权重组的方法来获得样本空间中的一组合适的属性权重 值。 本文基于可变聚类区域来开展加权聚类方面的研究工作， 给出了一种可应用于具有不同 大小聚类区域的混合属性数据点集的加权聚类分析算法。 本文第二节给出了该算法的推导过 程及算法描述， 第三节给出了一个混合属性数据点集的聚类结果比较和相异性度量的评估结 果并对实验结果进行了分析，第四节给出总结性的结论并指出可行的研究方向。
c 1
1
综上所得，隶属度 u ij 的详细计算方法如下：
ˆ ) = 0 ，则令 u =1；否则，隶属度的更新公式如式(5)所示。 如果 d ( X i ,V j ij
uij = 1
m1 + m 2 ⎛ ⎤ ⎞ r −1 ⎡ m1 q 2 q ⎜ α j ⋅ ⎢γˆ ⋅ ∑ w ˆ k ⋅ d order ( xik , v ˆ jk ) + (1 − γˆ ) ⋅ ∑ w ˆk ˆ jk ) ⎥ ⎟ ⋅ d sort ( xik , v c ⎜ k = m1 +1 ⎦⎟ ⎣ k =1 ⎜ ⎟ ∑ m1 + m 2 ⎡ m1 q 2 ⎤⎟ l =1 ⎜ q ˆ k ⋅ d order ( xik , v ˆlk ) + (1 − γˆ ) ⋅ ∑ w ˆ k ⋅ d sort ( xik , v ˆlk ) ⎥ α ⋅ γˆ ⋅ w ⎜ l ⎢ ∑ ⎟ k k m = = + 1 1 1 ⎣ ⎦⎠ ⎝ 1
1
中国科技论文在线
2. 加权模糊 C 中心聚类新算法 2.1 问题描述

设 S = { X 1 , X 2 ,L, X n } 为一个点域在 ( A1 × L × Am1 × Am1 +1 × Am1 + m 2 ) (其中m1个有序属 性和m2个无序属性)上的混合属性数据点集。若数据点集S有K个聚类子集，聚类分析的目的 就是求出一个有意义、有价值的划分，即找出S的一个划分 S = C1 U L U CK ，使某个最小 化目标函数(该函数在一定程度上，或从某种角度上可以刻画出聚类分析的目的和意义)取得 最小值(极小值)。 借鉴文献[4,9]所定义的目标函数， 考虑到混合属性数据点集 S 的各个特征在聚类分析中 所起的作用一般不完全一样， 所以可给每个特征设定一个能反映出其作用大小的权重。 为体 现出不同大小的聚类区域在聚类分析中所起作用的不同， 定义一个带约束的最小化目标函数 min
)
(2)
式(2)中， X i = ( xi1 , xi 2 , L , xim ) 为第 i 个数据点在 m 个属性上的取值，V j = (v j1 ,L, v jm ) 是 第 j 个聚类的中心点。
2
对 于 有 序 属 性 ， 定 义 d order ( xik , x jk ) = xik − x jk
2.2 最小化目标函数的优化
与文献[4,9]类似，可将具有四组变量的目标函数的优化过程分解为四个分步来进行。 2.2.1 W, V, γ 确定时，优化 U
此时最小化目标函数改写为 min