核函数与粗糙集
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
设 U {x1 , x2 ,..., xm } 是一个有限论域， 每一个 xi U 由 n 个实值条件属性描述，所有条件属性的集合为
C ，xi 对第 j 个属性的取值为 x ij ， 设决策属性 D 把 U
划 分 成 不 相 交 的 几 个 部 分 ： D1 , D2 ,..., Ds ， 则 (U , C, D) 是一个模糊决策系统。利用 Gaussian 核函数对每一个条件属性都可以定义一个模糊 T
模糊粗糙集的颗粒结构(一)
现有的模糊粗糙集都是利用隶属函数定义的， 缺乏内在结构的描述，而经典粗糙集是用基本 颗粒定义的，在刻画属性约简的内部结构起着 关键的作用。为了对模糊粗糙集进行更细致的 刻画，对其粒结构进行深入的研究是非常必要 的。
模糊粗糙集的颗粒结构(二)
R A {RT x : RT x A} ；
' P (Q)
POS
P (Q )
( x)
U
xU
POS
U
P (Q )
( x)
保持依赖函数不变可以设计约简算法。利用这个思想，他们发表了 5 篇文章，出版了一本专 著。 其他的研究包括 B. Bhatt（对 Shen 的算法改进加快速度）和胡庆华（利用信息熵） 对这种约简在我们的文献（Tsang, C. C. E., Chen Degang, Yueng, S. D., Lee, W. T. J. and Wang Xizhao, Attribute reduction using fuzzy rough sets, IEEE Transactions on Fuzzy Systems, 2008）中 进行了总结。
( j) R ( xi , x k ) exp( G 相似关系，表示为
cos
xij x kj 2 2
2
) ，这
样 条 件 属 性 集 合 (1) ( 2) (n) C {RG , RG ,..., RG }。
C
可 以 等 价 地 表 示
基于高斯核函数的属性约简（二）
然而 C 中多个条件属性的聚合不能再使用 三角范数 Min 。 由于 Gaussian 核函数具有性质：
粗糙集模型（ The
Model of Fuzzy Variable Precision
Rough Sets， IEEE Trans on Fuzzy System， Zhao Suyun,Eric Tsang, Chen Degang,accepted）,在处理实际问题时表
现出很好的稳定性。
基于高斯核函数的属性约简（一）
( x) , ( y) 在 H 中的内积，此时空间 H 称为特征空间，此空间是一个再生核
Hilbert 空间，映射 : 可以利用 Mercer 定理来构造。因此凡是利用核函 数构造的学习算法都可以在特征空间中进行，比如分类，回归，特征选择等，此 类方法统称为核方法。
核函数简介（二）
核函数与粗糙集
陈德刚 华北电力大学数理学院 2009.1
主要内容
• • • • • 核函数简介及其与模糊相似关系的联系； 模糊粗糙集的基本概念； 模糊粗糙集的粒结构； 基于高斯核函数的属性约简； 基于模糊粗糙集的支撑向量机。
核函数简介（一）
核函数的定义有几种等价方式，下面是其中的一种。 设 是一个非空集合。对称的实值函数 k : R 如果是半正定的，即对 任 意 的
RT A {RT x A( x ) : x U }
这个结论与经典粗糙集中集合上下近似的定义 一致。对另外一对算子也有类似的结论。利用 粒结构可以设计计算约简的辨识矩阵（ Chen
Degang, Wang Xizhao, Zhao Suyun, Attributes Reduction based on Fuzzy Rough Sets, RSEISP 2007, LNAI 4585(2007) 381–390）。另外利用粒结构可以定义变精度模糊
在（M oser, B., On the T-transitivity of kernels, Fuzzy Sets and Systems, 157(2006) 1787-1796 和 M oser, B., On Representing and Generating Kernels by Fuzzy Equivalence Relations, Journal of M achine Learning Research, 7(2006) 2603-2620 ） 中 指 出 所 有 满 足 0 k ( x, y ) 1 且
模糊集合的近似
1) approximation operator: RT A( x) supuU T ( R( x, u ), A(u )) . 2) S lower approximation operator: RS A( x) inf uU S ( N ( R( x, u )), A(u )) . 3) upper approximation operator: R A( x) supuU ( N ( R( x, u )), A(u )) . 4) lower approximation operator:
k ( x, x' ) k ( x, x' ) 的 核 函 数 。 此 类 核 函 数 中 常 用 的 包 括 齐 次 多 项 式 核 ：
2
k ( x, x' ) x, x' p 和非齐次多项式核： k ( x, x' ) ( x, x' c) p ， c 0 。
核函数与模糊相似关系
k ( xi , x k ) exp( xi x k 2 2
2 (s) ) s 1 RG ( xi , x k ) ，因此可以 n
采用三角范数 TP ( x, y) x y 作为聚合算子。 以下用
P RG 表示把 P C 中的条件属性利用 TP 聚合后得
C 到的模糊 Tcos 相似关系，并且利用 RG 表示 RG 。
R A( x) inf uU ( R( x, u ), A(u ))
T upper
这方面的内容请参考现有的文献，这里不再细述。
基于模糊粗糙集的属性约简
与经典粗糙集理论类似，利用保持正域不变的思想可以定义基于模糊粗糙集的属性约简。 Richard Jensen 和 Qiang Shen 首先研究这一问题（ ―Fuzzy-rough attributes reduction with application to web categorization,‖ Fuzzy Sets and Systems vol.141, pp. 469-485, 2004 ） 设 U 是非空有限论域， P 和 Q 是模糊等价关系，依赖函数定义为
Tcos 相似关系，接下来的内容就围绕着 Gaussian 核函数来展开。Tcos 的剩余蕴
含算子为 T ( a, b)
cos
ab 1, 。利用 Tcos 和 cos 可以得 2 2 ab ( 1 a )( 1 b ) , a b
到如下的基于 Gaussian 核函数的 A 的近似算子：
k A( x) supuU Tcos (k ( x, u ), A(u )) ， k A( x) inf uU cos (k ( x, u ), A(u )) ，
模糊粗糙集简介
模糊粗糙集的研究始于文献（ L. Fari˜nas del Cerro, H. Prade, Rough sets, twofold fuzzy sets and modal logic —Fuzziness in indiscernibility and partial information, The Mathematics of Fuzzy Systems(A. Di Nola, A.G.S. Ventre, eds.), Verlag TUV Rheinland, K¨ oln, p. 103–120,1986），正式始于（D. Dubois and H. Prade, Rough fuzzy sets and fuzzy rough sets, Internat. J. Genaral Systems, 17(1990)191-209） ，经过多年的研究（包括国内许多人的杰出的工作）可以综 述为以下四个算子：
k ( x, x) 1 的核函数都可以看成是论域 上的模糊相似关系，对任意的 x, y, z X ，令 k ( x, y ) a
，
k ( y, z ) b
，
k ( x, z ) c
，
则
有
ab (1 a 2 )(1 b 2 ) c ab (1 a 2 )(1 b 2 ) 。
令
Tcos (a, b) max{ ab 1 a 2 1 b 2 ,0} ， 则 Tc o s 是 一 个 三 角 范 数 。 显 然
k ( x, y) 是一个模糊 Tcos 相似关系。反之，一个模糊Tcos 相似关系并不必是核函数。也
就是说 Tcos
传递性是模糊 T 相似关系成为核函数的必要而不充分条件。 寻找模糊 T 相
常用的核函数主要包括两种：具有平移不变性的核和基于内积的核。具有平 移不变性的核与输入 x 和 x ' 的具体位置无关而只与 x x' ，因此可以表示为 k ( x, x' ) k ( x x' ) 。 此 类 核 中 最 为 常 用 的 是 Gaussian 核 ：
x x' k ( x, x ' ) e x p ( 2 ) 。第二种重要的核是利用内积定义的核函数，即形如 2
nN ，
x1 , x2 ,..., xn X
，
c1 , c2 ,..., cn R
， 都 有
n i , j 1
ci c j k ( xi , x j ) 0 ，则称 k 为一个核函数。
对任意一个核函数 k ， 都存在一个 Hilbert 空间 H 和一个映射 : 使 得对任意的 x, y ，都有 k ( x, y) ( x), ( y) ，即 k ( x, y) 恰好等于
n
属性约简的刻画(三):约简的定义
n PosC ( D) st 1 RG Dt 称为决策属性 D 相对于条件属性集合 C 的正
域， 对任意的 i 1,2,..., m ，如果从 C 中删除一个条件属性 C ，则有 PosC D( xi ) PosC{C} D( xi ) 。因此不能直接利用保持正域不变来定义属性 约简， 而是利用允许正域在小的扰动之内变化的思想来定义属性约 简。 设 (U , C, D) 是一个模糊决策系统， [0,1] 。对 C C ，如果对每一个 i 1,2,..., m ， 都有 PosC D( xi ) PosC{C} D( xi ) 成立， 则称 C 在 C 中相对于 D 是 不必要的， 否则称 C 在 C 中相对于 D 是 必要的。 对于 P C ， 如果对每一个 i 1,2,..., m 都有 PosC D( xi ) PosP D( xi ) 且 P 中每一个元 素都是 必要的，则称 P 是 C 的相对于 D 的 约简。
似关系成为核函数的充分必要条件是一个非常有趣非常重要但是看起来难度很大的一个问 题，截止目前尚没有很好的结果。可以利用模糊相似关系构造正定核。
wk.baidu.com
核函数与模糊相似关系（二）
根据以上的讨论建立了核函数与模糊 T 相似关系之间的联系。根据这种 联系利用满足 0 k ( x, y ) 1 且 k ( x, x) 1 的核函数定义模糊粗糙集就是很自 然的想法， 这样可以把核方法与模糊粗糙集结合起来从而构造新的学习算法。 由 于 Gaussian 核函数是目前机器学习领域内最常用的核函数之一并且显然是模糊
C ，xi 对第 j 个属性的取值为 x ij ， 设决策属性 D 把 U
划 分 成 不 相 交 的 几 个 部 分 ： D1 , D2 ,..., Ds ， 则 (U , C, D) 是一个模糊决策系统。利用 Gaussian 核函数对每一个条件属性都可以定义一个模糊 T
模糊粗糙集的颗粒结构(一)
现有的模糊粗糙集都是利用隶属函数定义的， 缺乏内在结构的描述，而经典粗糙集是用基本 颗粒定义的，在刻画属性约简的内部结构起着 关键的作用。为了对模糊粗糙集进行更细致的 刻画，对其粒结构进行深入的研究是非常必要 的。
模糊粗糙集的颗粒结构(二)
R A {RT x : RT x A} ；
' P (Q)
POS
P (Q )
( x)
U
xU
POS
U
P (Q )
( x)
保持依赖函数不变可以设计约简算法。利用这个思想，他们发表了 5 篇文章，出版了一本专 著。 其他的研究包括 B. Bhatt（对 Shen 的算法改进加快速度）和胡庆华（利用信息熵） 对这种约简在我们的文献（Tsang, C. C. E., Chen Degang, Yueng, S. D., Lee, W. T. J. and Wang Xizhao, Attribute reduction using fuzzy rough sets, IEEE Transactions on Fuzzy Systems, 2008）中 进行了总结。
( j) R ( xi , x k ) exp( G 相似关系，表示为
cos
xij x kj 2 2
2
) ，这
样 条 件 属 性 集 合 (1) ( 2) (n) C {RG , RG ,..., RG }。
C
可 以 等 价 地 表 示
基于高斯核函数的属性约简（二）
然而 C 中多个条件属性的聚合不能再使用 三角范数 Min 。 由于 Gaussian 核函数具有性质：
粗糙集模型（ The
Model of Fuzzy Variable Precision
Rough Sets， IEEE Trans on Fuzzy System， Zhao Suyun,Eric Tsang, Chen Degang,accepted）,在处理实际问题时表
现出很好的稳定性。
基于高斯核函数的属性约简（一）
( x) , ( y) 在 H 中的内积，此时空间 H 称为特征空间，此空间是一个再生核
Hilbert 空间，映射 : 可以利用 Mercer 定理来构造。因此凡是利用核函 数构造的学习算法都可以在特征空间中进行，比如分类，回归，特征选择等，此 类方法统称为核方法。
核函数简介（二）
核函数与粗糙集
陈德刚 华北电力大学数理学院 2009.1
主要内容
• • • • • 核函数简介及其与模糊相似关系的联系； 模糊粗糙集的基本概念； 模糊粗糙集的粒结构； 基于高斯核函数的属性约简； 基于模糊粗糙集的支撑向量机。
核函数简介（一）
核函数的定义有几种等价方式，下面是其中的一种。 设 是一个非空集合。对称的实值函数 k : R 如果是半正定的，即对 任 意 的
RT A {RT x A( x ) : x U }
这个结论与经典粗糙集中集合上下近似的定义 一致。对另外一对算子也有类似的结论。利用 粒结构可以设计计算约简的辨识矩阵（ Chen
Degang, Wang Xizhao, Zhao Suyun, Attributes Reduction based on Fuzzy Rough Sets, RSEISP 2007, LNAI 4585(2007) 381–390）。另外利用粒结构可以定义变精度模糊
在（M oser, B., On the T-transitivity of kernels, Fuzzy Sets and Systems, 157(2006) 1787-1796 和 M oser, B., On Representing and Generating Kernels by Fuzzy Equivalence Relations, Journal of M achine Learning Research, 7(2006) 2603-2620 ） 中 指 出 所 有 满 足 0 k ( x, y ) 1 且
模糊集合的近似
1) approximation operator: RT A( x) supuU T ( R( x, u ), A(u )) . 2) S lower approximation operator: RS A( x) inf uU S ( N ( R( x, u )), A(u )) . 3) upper approximation operator: R A( x) supuU ( N ( R( x, u )), A(u )) . 4) lower approximation operator:
k ( x, x' ) k ( x, x' ) 的 核 函 数 。 此 类 核 函 数 中 常 用 的 包 括 齐 次 多 项 式 核 ：
2
k ( x, x' ) x, x' p 和非齐次多项式核： k ( x, x' ) ( x, x' c) p ， c 0 。
核函数与模糊相似关系
k ( xi , x k ) exp( xi x k 2 2
2 (s) ) s 1 RG ( xi , x k ) ，因此可以 n
采用三角范数 TP ( x, y) x y 作为聚合算子。 以下用
P RG 表示把 P C 中的条件属性利用 TP 聚合后得
C 到的模糊 Tcos 相似关系，并且利用 RG 表示 RG 。
R A( x) inf uU ( R( x, u ), A(u ))
T upper
这方面的内容请参考现有的文献，这里不再细述。
基于模糊粗糙集的属性约简
与经典粗糙集理论类似，利用保持正域不变的思想可以定义基于模糊粗糙集的属性约简。 Richard Jensen 和 Qiang Shen 首先研究这一问题（ ―Fuzzy-rough attributes reduction with application to web categorization,‖ Fuzzy Sets and Systems vol.141, pp. 469-485, 2004 ） 设 U 是非空有限论域， P 和 Q 是模糊等价关系，依赖函数定义为
Tcos 相似关系，接下来的内容就围绕着 Gaussian 核函数来展开。Tcos 的剩余蕴
含算子为 T ( a, b)
cos
ab 1, 。利用 Tcos 和 cos 可以得 2 2 ab ( 1 a )( 1 b ) , a b
到如下的基于 Gaussian 核函数的 A 的近似算子：
k A( x) supuU Tcos (k ( x, u ), A(u )) ， k A( x) inf uU cos (k ( x, u ), A(u )) ，
模糊粗糙集简介
模糊粗糙集的研究始于文献（ L. Fari˜nas del Cerro, H. Prade, Rough sets, twofold fuzzy sets and modal logic —Fuzziness in indiscernibility and partial information, The Mathematics of Fuzzy Systems(A. Di Nola, A.G.S. Ventre, eds.), Verlag TUV Rheinland, K¨ oln, p. 103–120,1986），正式始于（D. Dubois and H. Prade, Rough fuzzy sets and fuzzy rough sets, Internat. J. Genaral Systems, 17(1990)191-209） ，经过多年的研究（包括国内许多人的杰出的工作）可以综 述为以下四个算子：
k ( x, x) 1 的核函数都可以看成是论域 上的模糊相似关系，对任意的 x, y, z X ，令 k ( x, y ) a
，
k ( y, z ) b
，
k ( x, z ) c
，
则
有
ab (1 a 2 )(1 b 2 ) c ab (1 a 2 )(1 b 2 ) 。
令
Tcos (a, b) max{ ab 1 a 2 1 b 2 ,0} ， 则 Tc o s 是 一 个 三 角 范 数 。 显 然
k ( x, y) 是一个模糊 Tcos 相似关系。反之，一个模糊Tcos 相似关系并不必是核函数。也
就是说 Tcos
传递性是模糊 T 相似关系成为核函数的必要而不充分条件。 寻找模糊 T 相
常用的核函数主要包括两种：具有平移不变性的核和基于内积的核。具有平 移不变性的核与输入 x 和 x ' 的具体位置无关而只与 x x' ，因此可以表示为 k ( x, x' ) k ( x x' ) 。 此 类 核 中 最 为 常 用 的 是 Gaussian 核 ：
x x' k ( x, x ' ) e x p ( 2 ) 。第二种重要的核是利用内积定义的核函数，即形如 2
nN ，
x1 , x2 ,..., xn X
，
c1 , c2 ,..., cn R
， 都 有
n i , j 1
ci c j k ( xi , x j ) 0 ，则称 k 为一个核函数。
对任意一个核函数 k ， 都存在一个 Hilbert 空间 H 和一个映射 : 使 得对任意的 x, y ，都有 k ( x, y) ( x), ( y) ，即 k ( x, y) 恰好等于
n
属性约简的刻画(三):约简的定义
n PosC ( D) st 1 RG Dt 称为决策属性 D 相对于条件属性集合 C 的正
域， 对任意的 i 1,2,..., m ，如果从 C 中删除一个条件属性 C ，则有 PosC D( xi ) PosC{C} D( xi ) 。因此不能直接利用保持正域不变来定义属性 约简， 而是利用允许正域在小的扰动之内变化的思想来定义属性约 简。 设 (U , C, D) 是一个模糊决策系统， [0,1] 。对 C C ，如果对每一个 i 1,2,..., m ， 都有 PosC D( xi ) PosC{C} D( xi ) 成立， 则称 C 在 C 中相对于 D 是 不必要的， 否则称 C 在 C 中相对于 D 是 必要的。 对于 P C ， 如果对每一个 i 1,2,..., m 都有 PosC D( xi ) PosP D( xi ) 且 P 中每一个元 素都是 必要的，则称 P 是 C 的相对于 D 的 约简。
似关系成为核函数的充分必要条件是一个非常有趣非常重要但是看起来难度很大的一个问 题，截止目前尚没有很好的结果。可以利用模糊相似关系构造正定核。
wk.baidu.com
核函数与模糊相似关系（二）
根据以上的讨论建立了核函数与模糊 T 相似关系之间的联系。根据这种 联系利用满足 0 k ( x, y ) 1 且 k ( x, x) 1 的核函数定义模糊粗糙集就是很自 然的想法， 这样可以把核方法与模糊粗糙集结合起来从而构造新的学习算法。 由 于 Gaussian 核函数是目前机器学习领域内最常用的核函数之一并且显然是模糊