基于模糊聚类算法中FCM算法的PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2021/2/12
模糊c均值类型聚类算法研究现状
• 由模糊聚类的数学模型可以知道，对于一组给定的样本集，
模糊聚类分析可以很容易获得它的一个模糊划分：
U={uik|1<=i<=c;1<=k<=n}.但是，要保证划分的有意义，
理高维空间的非常稀疏、高度偏斜的数据。
2021/2/12
聚类分析的介绍
聚类算法分类
• 聚类算法的分类有多种标准，其中有按聚类标
准，聚类处理的数据类型，聚类尺度，以及聚 类分析的思路等。这里我们按照聚类基本思想 来划分，将其分为五类：层次聚类算法、分割 聚类算法、基于约束的聚类算法、机器学习中 的聚类算法以及用于高维数据的聚类算法,如 下页图所示。
2021/2/12
FCM算法的介绍
2021/2/12
FCM算法的介绍
2021/2/12
模糊c均值类型聚类算法研究现状
• 鉴于模糊c均值聚类算法的高效性和广泛应
用，人们在此基础上进行了发展和深化， 提出了许多模糊c均值类型的算法。可以从 一下三个方面进行描述。
• 目标函数的演化 • 算法的实现途径 • 有效性度量方式
2021/2/12
模糊聚类算法
• ④如果模糊相似关系R 是模糊等价关系, 则可直接
进行聚类分析, 否则, 转到下一步;
• ⑤改造模糊相似关系使其成为模糊等价关系, 方 • 法是将模糊相似矩阵循环自乘, 如: R×R=R2,
R2×R2 =R4,⋯直到满足R2k=Rk 为止, 则Rk 便是 改造R 所得的一个模糊等价关系, 然后在此基础上 再进行模糊聚类分析。
基于模糊聚类算法中FCM算法 的改进研究
Yunnan university Department of Computer Science
Lei Zhiming 2008-05-13
2021/2/12
目录
• 聚类分析的介绍 • 模糊聚类算法 • FCM算法的介绍 • 模糊c均值类型聚类算法研究现状 • 对FCM算法改进的可行性 • 对FCM算法改进的想法 • 参考文献
2021/2/12
模糊聚类算法
• 在这里我们给出几个用到的定义： • 定义1:设X = ( x1 , x2 , ⋯, xn )是来自统计样本的全部对象的
集合, 每个xi 有m 个属性, 以( xi1 , xi2 , ⋯,xim )来表示xi 的一 个划分,构成n ×m 矩阵,称为初始数值矩阵。
• 定义2:对X = (x1 , x2 , ⋯, xn )中任意两个不同的对象xi、xj ( i≠j) ,以rij表示xi 与xj 间的相似程度, rij称作相似系数。
2021/2/12
聚类分析的介绍
• 随着数据挖掘研究领域技术的发展,作为数据
挖掘主要方法之一的聚类算法,也越来越受到 人们的关注。聚类分析是数据挖掘研究和应 用中一个重要的部分。。
• 聚类是一种常见的数据分析工具,其目的是把
大量数据点的集合分成若干类,使得每个类中 的数据之间最大程度地相似,而不同类中的数 据最大程度地不同。
• 在多媒体信息检索及数据挖掘的过程中,聚类
处理对于建立高效的数据库索引、实现快速 准确的信息检索具有重要的理论和现实意义。
2021/2/12
聚类分析的介绍
聚类的要求
• 数据挖掘的聚类一般是针对大数据集而言的,因此在数据挖掘
中聚类方法的比较应该满足以下要求:
• 1）可伸缩性。算法在满足小数据集的同时能否满足大数据集、
2021/2/12
模糊聚类算法
• 在上述定义中：由模糊相似关系确定的矩阵是模式相似矩
阵, 由模糊等wenku.baidu.com关系确定的矩阵是模糊等价矩阵。
• 下面简单说下从模糊相似矩阵出发, 求传递闭包或模糊等
价矩阵来进行模糊聚类分析方法的步骤：
• ①确定将要进行聚类分析的对象的统计指标; • ②为便于比较和分析, 将统计指标的数据标准化, 并将标准
2021/2/12
聚类分析的介绍
聚类算法分类 聚类分类图：
2021/2/12
模糊聚类算法
• 传统模糊聚类方法分为两类:一类是模糊等价矩阵动态聚
类法,另一类是模糊ISODATA聚类方法。第一类分类算法 主要有传递闭包法、最大树法、模糊C - 均值法( Fuzzy C - Means,FCM)等。我主要要研究的主要是FCM算法上的改 进算法，所以先介绍模糊相似矩阵和模糊等价关系的概念 。 [4]
2021/2/12
FCM算法的介绍
• 为了优化聚类目标函数，人们提出了现在
相当流行和应用广泛的模糊c均值（FCM， Fuzzy c-means）聚类算法。该算法是从硬 c均值（HCM,Hard c-means）聚类算法发 展而来的。
• 以下给出FCM算法和HCM算法步骤：
2021/2/12
FCM算法的介绍
化的数据压缩到[0,1]闭区间,方法如下 其中Xij 是统计指标原始数据, 第j 列 是统计指标原始数据的最小值, 是 统计指标原始数据的最大值。
2021/2/12
模糊聚类算法
• ③计算被分类对象间相似程度的统计量作为矩
阵的一个元素, 从而确定U 上的一个相似关系R。 计算被分类对象间相似程度的统计量的方法有 很多, 常用的有欧式距离法、数量积法、几何 平均最小方法、算术平均最小方法、夹角余弦 方法等方法。本文在计算被分类对象间相似程 度时主要使用夹角余弦方法, 即:
高复杂性、高增量的要求。
• 2) 处理不同类型属性的能力。算法在处理数值类型数据的同
时能否处理其他的数据类型,如二元类型、分类/标称型、序数 型及混合数据类型。
• 3) 发现任意形状的类。 • 4) 用于决定输入参数的领域知识最小化。 • 5) 处理噪声数据的能力。 • 6) 对输入数据顺序的敏感性。算法能否与输入顺序无关。 • 7) 处理高维数据的能力。算法在应付低维数据的同时能否处
• 定义3:设U、V 为两个论域,若对P ( x, y) ∈U ×V,指定其对R
的隶属度(或隶属函数)μR ( x, y) :U ×A →[0, 1 ],称U、A上
的模糊集R 为从U到V 的一个模糊关系。
• 定义4:设U、A 均为有限论域,则所有的rij构成模糊关系R,用
一个矩阵来表示,记作R = ( rij ) n ×m ,其中,矩阵R 的元素 满足: 0≤ril ≤1 (0≤i, j≤1) ,矩阵R 称Fuzzy(模糊)矩阵。
模糊c均值类型聚类算法研究现状
• 由模糊聚类的数学模型可以知道，对于一组给定的样本集，
模糊聚类分析可以很容易获得它的一个模糊划分：
U={uik|1<=i<=c;1<=k<=n}.但是，要保证划分的有意义，
理高维空间的非常稀疏、高度偏斜的数据。
2021/2/12
聚类分析的介绍
聚类算法分类
• 聚类算法的分类有多种标准，其中有按聚类标
准，聚类处理的数据类型，聚类尺度，以及聚 类分析的思路等。这里我们按照聚类基本思想 来划分，将其分为五类：层次聚类算法、分割 聚类算法、基于约束的聚类算法、机器学习中 的聚类算法以及用于高维数据的聚类算法,如 下页图所示。
2021/2/12
FCM算法的介绍
2021/2/12
FCM算法的介绍
2021/2/12
模糊c均值类型聚类算法研究现状
• 鉴于模糊c均值聚类算法的高效性和广泛应
用，人们在此基础上进行了发展和深化， 提出了许多模糊c均值类型的算法。可以从 一下三个方面进行描述。
• 目标函数的演化 • 算法的实现途径 • 有效性度量方式
2021/2/12
模糊聚类算法
• ④如果模糊相似关系R 是模糊等价关系, 则可直接
进行聚类分析, 否则, 转到下一步;
• ⑤改造模糊相似关系使其成为模糊等价关系, 方 • 法是将模糊相似矩阵循环自乘, 如: R×R=R2,
R2×R2 =R4,⋯直到满足R2k=Rk 为止, 则Rk 便是 改造R 所得的一个模糊等价关系, 然后在此基础上 再进行模糊聚类分析。
基于模糊聚类算法中FCM算法 的改进研究
Yunnan university Department of Computer Science
Lei Zhiming 2008-05-13
2021/2/12
目录
• 聚类分析的介绍 • 模糊聚类算法 • FCM算法的介绍 • 模糊c均值类型聚类算法研究现状 • 对FCM算法改进的可行性 • 对FCM算法改进的想法 • 参考文献
2021/2/12
模糊聚类算法
• 在这里我们给出几个用到的定义： • 定义1:设X = ( x1 , x2 , ⋯, xn )是来自统计样本的全部对象的
集合, 每个xi 有m 个属性, 以( xi1 , xi2 , ⋯,xim )来表示xi 的一 个划分,构成n ×m 矩阵,称为初始数值矩阵。
• 定义2:对X = (x1 , x2 , ⋯, xn )中任意两个不同的对象xi、xj ( i≠j) ,以rij表示xi 与xj 间的相似程度, rij称作相似系数。
2021/2/12
聚类分析的介绍
• 随着数据挖掘研究领域技术的发展,作为数据
挖掘主要方法之一的聚类算法,也越来越受到 人们的关注。聚类分析是数据挖掘研究和应 用中一个重要的部分。。
• 聚类是一种常见的数据分析工具,其目的是把
大量数据点的集合分成若干类,使得每个类中 的数据之间最大程度地相似,而不同类中的数 据最大程度地不同。
• 在多媒体信息检索及数据挖掘的过程中,聚类
处理对于建立高效的数据库索引、实现快速 准确的信息检索具有重要的理论和现实意义。
2021/2/12
聚类分析的介绍
聚类的要求
• 数据挖掘的聚类一般是针对大数据集而言的,因此在数据挖掘
中聚类方法的比较应该满足以下要求:
• 1）可伸缩性。算法在满足小数据集的同时能否满足大数据集、
2021/2/12
模糊聚类算法
• 在上述定义中：由模糊相似关系确定的矩阵是模式相似矩
阵, 由模糊等wenku.baidu.com关系确定的矩阵是模糊等价矩阵。
• 下面简单说下从模糊相似矩阵出发, 求传递闭包或模糊等
价矩阵来进行模糊聚类分析方法的步骤：
• ①确定将要进行聚类分析的对象的统计指标; • ②为便于比较和分析, 将统计指标的数据标准化, 并将标准
2021/2/12
聚类分析的介绍
聚类算法分类 聚类分类图：
2021/2/12
模糊聚类算法
• 传统模糊聚类方法分为两类:一类是模糊等价矩阵动态聚
类法,另一类是模糊ISODATA聚类方法。第一类分类算法 主要有传递闭包法、最大树法、模糊C - 均值法( Fuzzy C - Means,FCM)等。我主要要研究的主要是FCM算法上的改 进算法，所以先介绍模糊相似矩阵和模糊等价关系的概念 。 [4]
2021/2/12
FCM算法的介绍
• 为了优化聚类目标函数，人们提出了现在
相当流行和应用广泛的模糊c均值（FCM， Fuzzy c-means）聚类算法。该算法是从硬 c均值（HCM,Hard c-means）聚类算法发 展而来的。
• 以下给出FCM算法和HCM算法步骤：
2021/2/12
FCM算法的介绍
化的数据压缩到[0,1]闭区间,方法如下 其中Xij 是统计指标原始数据, 第j 列 是统计指标原始数据的最小值, 是 统计指标原始数据的最大值。
2021/2/12
模糊聚类算法
• ③计算被分类对象间相似程度的统计量作为矩
阵的一个元素, 从而确定U 上的一个相似关系R。 计算被分类对象间相似程度的统计量的方法有 很多, 常用的有欧式距离法、数量积法、几何 平均最小方法、算术平均最小方法、夹角余弦 方法等方法。本文在计算被分类对象间相似程 度时主要使用夹角余弦方法, 即:
高复杂性、高增量的要求。
• 2) 处理不同类型属性的能力。算法在处理数值类型数据的同
时能否处理其他的数据类型,如二元类型、分类/标称型、序数 型及混合数据类型。
• 3) 发现任意形状的类。 • 4) 用于决定输入参数的领域知识最小化。 • 5) 处理噪声数据的能力。 • 6) 对输入数据顺序的敏感性。算法能否与输入顺序无关。 • 7) 处理高维数据的能力。算法在应付低维数据的同时能否处
• 定义3:设U、V 为两个论域,若对P ( x, y) ∈U ×V,指定其对R
的隶属度(或隶属函数)μR ( x, y) :U ×A →[0, 1 ],称U、A上
的模糊集R 为从U到V 的一个模糊关系。
• 定义4:设U、A 均为有限论域,则所有的rij构成模糊关系R,用
一个矩阵来表示,记作R = ( rij ) n ×m ,其中,矩阵R 的元素 满足: 0≤ril ≤1 (0≤i, j≤1) ,矩阵R 称Fuzzy(模糊)矩阵。