聚类算法的研究

第 ３ 卷第 ６期 ｌ
Ｖ０ ＿ １ Ｎｏ６ ｌ ３ ．
长春师 范 学 院学报 （ 自然科 学版 ）
Ｊｕｎ ｌｆ ｈ ｎｃｕ ｏｍａ Ｕ ｉ ｒｔ（ａ ｒ ｃｅｃ） ｏｒａｏ ａｇｈ ｎＮ ｒ ｌ ｎｖ ｓｙ ｔ ａ Ｓｉ ｅ Ｃ ｅｉ Ｎ ｕ ｌ ｎ
２１ ０ ２年 ６月
Ｊ ｎ．０１ ｕ ２ ２
Ｇ
数． ｘ可分为 Ｇ个类 ， 仃 为 Ｘ来 自第 ｋ 设 令 个类 的权重 （ 丌 ） ∑ １ ，则数据集 ｘ模型的一般框架为 ， ＝ （
＝ｌ
Ｇ
ｋ ｌ － Baidu Nhomakorabea
∑订
ｎ Ｇ
Ｉ ∞，假设 ｘ，２ ３ ｘ 彼此独立 ，９ （ ， ，观测数据 ｘ的联合模型为 ｆ 。 ２ …， ； ＝ 。 ，， ｎ Ｘ Ｘ …， ＝８ ｏ 一 ａ （，， ｘ Ｘ ，
兀 ∑７ （ ． ｒ ＸＩ
：ｌｔ ＝１
２ ． 混 合模 型聚 类 的理论 ．２ ４
对观测数据集 ｛ ｌ ２ …，ｎ ｘ， ， ｘ ， ｘ｝ 建立一个有限维的混合模型 ，对给定数据集 Ｘ，Ｌｇ 似然函数直接极 ｏ一 大化很 困难． ，引入 ｘ最有可能的分类标签向量集 Ｂ ｆ ２ ３ ，Ｘ 的分类标签记为 Ｂ＝（ …， 为此 ＝Ｂ， ， ， Ｂ Ｂ …， ｉ ｂ， ｉ ，
称 群 分 析 ，它 是研 究 对样 品或 指 示进 行 分类 的一 种 多元 统 计 方法 ． 所谓 的 “ ” 类 ，通 俗地 说 ，就 是 相似 元素
的集 合 ． 类 有 两种 情 形 ，一是 对 当前 所研 究 的 问题 已知它 的类 别数 目及 类 特征 ，只 需将 一 些 未 知类 的个 分
Ｄｓｏｅｙ Ｉ ９ ８２： ３ ３ ４ ｉ ｖｒ ， ９ （） ８ — ０ ． ｃ Ｉ１ ２
［ 谢娟英， 帅， ３ 】 蒋 王春霞， 一种改进的全局 Ｋ 等． 一均值聚类算 法［． Ｊ 陕西师范大学学报： ］ 自然科学版， ０ ０ ） ８２ ． ２ １（ ： ，２ ２１
聚类 算法 的研 究
刘 洋
（ 大庆 师 范学 院数 学科 学学 院 ，黑龙 江 大庆 １３ １） ６ ７ ２
【 摘
要】 聚类算法是多元统计 的一个重要 分支 ，在理论和实 际生 活中都有重要 的意 义。本文对聚类算
法的发展历程 以及近年来发展的一些 聚类算法进行研究 。
【 关键词】 聚类算法 ；算法优缺点 ；混合模型聚类 算法
确定 ，转 化为模 型选择 问题 ；对 观测 噪音 的处理 ，通 过添 加一个 或 多个 观测数 据 的不 同成分 来处 理 ．
２４１ ．． 聚类 的混 合模 型
观测数据集记为 Ｘ＝ｘ，２ ３ ｘ｝ ｛１ ， ， ｎ ｘ ｘ …， ，设 （ 是数据 向量 Ｘ所在第 血 ＸＩ 个类 的概率密度函数 ， 为参
ｒ
，
若 数 据 Ｘ 来 自第 七 （＝ ， …，） 个类 ，则 ＝ ；否则 ＝ ． 常 情况 下假 定 Ｂ，２ … ，ｎ 立 同分 ｋｌ， Ｇ ２ １ ０通 ， Ｂ 伤， Ｂ 独
布 ，以概率 丌。 ， 丌 ，（ ＝ ）来 自 ， ， …， Ｇ ∑ 仃 １ 一个多维分布． 则有
Ｇ
据．
２２ Ｋ ｍ ａｓ ． — ｅｎ 聚类 算法
１６ 年 ，Ｍ ｃ ｕｅ 首次提出了 Ｋ ｍ ａｓ ９７ ａＱ ｅｎ — ｅｎ 聚类算法 ，大体思想是在最初 的观测样本或指标 中找 出 Ｋ个
观 测样 本 作为 始 聚类 中心 ，然 后计 算 每一 观测 样本 与 每一个 聚类 中心 的距 离 ，把有 最 短距 离 的样 本 划分 为
Ｐ［ ＝ ］仃 ， ｌ ＝ ＸＩ １ ＝ Ｐ Ｂ， Ⅱ （ ∞ ． Ｉ
ｒ ＿Ｉ
’
利用分类标签向量集 Ｂ ，观测数据集的 ｌ 一似然函数可 以表示成 ｏ ｇ
ｎ Ｇ
ｌ Ｌ （）∑ （ ＝）ｇ ７ ｆ Ｉ ， ｏ ８８＝ 乏Ｊ ￣１ｏ （ ★ ｇ ｂ ｌ ｒ
・
再 发 生变 化为 止．
Ｈ ａｇ ｕｎ 为克服仅适用于数值型数据聚类 的局限性提出 Ｋ ｍ ｄｓＨ ａｇ — ｏｅ— ｕｎ 算法［ ２ １ ，针对初始聚类 中心的选择 ，谢
娟英等给出一种改进的全局 Ｋ 一均值聚类算法［ ３ １ 等．
２３ 基于 密度 的聚类 ． 此 聚类算 法 的主要思 想 是 以观测 样本 的密度 为依 据 ，把拥 有较 大 密度 的观 测样 本 聚成 一类 ． 样本 的 观测
２ 聚类 算法
２１ 分层 聚类 算 法 ． 分 层 聚类 算 法是 对 于给 定 的观 测样 本 或指 标进 行 层 次上 的分 解 的一 种 聚类 算法 ，可 以分 为凝 聚算 法 和
【 稿 日期 】 ０ ２ ０ — ５ 收 ２ １ — ４ ０
【 作者简介】 刘 洋（９ ５ ，女 ，黑龙 江大庆人 ，大庆 师范学院数 学科学学院助教 ，硕士 ，从事 多元统计分析研 究。 １８ 一）
型．
３ 结论
随着 科 学 的不 断进 步． 呈现 维数 大 、分 布复杂 等 特点 ，对 聚类算 法 的要求 也越 来越 严格 ． 后 的发 数据 在今 展 中 ，如何 聚类 不 同类 型 的数 据 集 ，特 别是 观测 数 据 的分 量 问结 构不 统一 ，彼 此 不独立 的数据 集 ． 为此 ，应 该融 合不 同聚类 算法 的思 想 ，利 用不 同算 法 的优缺 点构 建新 的 、解 释性更 合理 的聚类 算 法 ．
［ 考 文 献】 参
【 高惠璇． １ ］ 应用多元统计分析【 ． ： 京大学 出版社，０ ５ Ｍ］ 北京 Ｉ Ｌ ２０ ．
【 Ｈｕ ｎ ．ｘ ｎ ｉ ｓ ｏ ｈ — ｅ ｎ ｇ ｒ ｈ ｒ ｌｓ ｒ ｇ ａｇ ａ ｔ ｗ ｔ ｃｔｇｒ ａ ｖｌｅ ［ ． ａ ｎｎ ｎ ｎ ｗｅ ｇ ２ ］ ａ ｇ Ｅ ｔ ｓ ｎ ｅ ｍ ａ ｓ ｌ ｉ ｍ ｆ ｕ ｔ ｉ ｒ ｅ ｔ ｓ ｓ ｉ ｅｏ ｃｌ ａ ｓ ］Ｄ ｔ Ｍｉｉ ａ ｄＫ ｏ ｌ ｅ Ｚ ｅ ｏ ｔｔ Ｋ ａ ｏｔ ｏｃ ｅｎ ｌ ｄ ａ ｅ ｈ ａ ｉ ｕ Ｊ ａ ｇ ｄ
数 据 集 ，此 算 法 仍 需 进 一 步 完 善 ． ｎＬ ａ ｎＭＦ ｅａｔｎＰ２０ 出 了 多项 式 混 合 模 型 聚 类 方 法 ， Ｗａｇ ，Ｒ ｍｏｉ ，Ｓｂｓａｉ ０ ６ 提 ｉ Ｅ ￣ 提 供 了一 个 自动选 择 有 最 大后 验概 率 的聚类 数 目的方 法 ，特别 适用 于有 孤立 点 数据 的聚类 ． ａ ｎ ａ 等 Ｘｉ ｆ ｇ ｉ ｏｅ Ｄ （０ ９［ 立 了独 立 的 Ｇ ｕｓ ｎ与 Ｂｔ ２０ ）建 ６ １ ａｓｉ ａ ｅ ａ分布 数据 的有 限维混 合 联合 模 型 ，讨 论 了两 种不 同类 型数 据 的混 合模
一
类 ，重新计算 （ 求平均值）每个有变化的聚类中心 ，则得到新 的聚类 中心 ，如此下去 ，直到每一类都不
Ｋ ｍ ａｓ — ｅｎ 聚类算法 的优 点是 思 想直 观 ，聚类 速度 较快 ；缺点 是 它太 依 赖 于初 始 聚类 中心 的选 取 ，不 能 自动 给 出 聚类 数 目 ，仅适 用 于 数 值 型数 据 ． 为此 ，很 多学 者 针对 Ｋ ｍ ａｓ 法 的缺点 给 出改进 算 法 ：比如 — ｅｎ 算
体 ，正确 地 归属 于其 中某 一类 ；二 是 事先 不 知道 研究 的 问题 应 分 为几 类 ，更 不知 道 观测 数 据 的具 体分 类情 况 ，需要 对 观 测数 据进 行 分析 处理 ，选定 一 种度 量数 据 接 近程 度 的统计 量 ，确定 分类 数 目，建 立一 种 分类 方 法 ，并按 接 近程 度对 观 、对 象 给 出合理 的分类 ． 原则 是 使分 到 同一类 间样本 性 质特 征尽 可能 相似 ，不 钡 ０ 聚类
等 研 究方 向的重要 内容 之 一 ． 过 聚类 ，可 以给 出数据 稀疏 和密集 的区域 ，发 现数 据 整体 的分 布模 式 ，以及 通 数 据 彼此 之 间 的相 互关 系等． 分析 对 较大 数据 集 的分 析处理 也 有重要 应用 ． 聚类 不仅 如此 ，聚类分 析 在其 他 领域 也有 重 要 的地位 ． 如 ，商业 上 聚类 分析 用 于研 究消 费者 行 为 ；环 境上 例 聚类 分 析是 检 验环 境 污染 程度 ，对 污 染成 分 归类 的有效 工 具 ；天 文学 中聚类 分析 用来 对 天 体归 类 ；生 物学
１ ・ ０
其中 Ｊ ＝） （ １ 为示性 函数． 把分类标签向量集 Ｂ看成缺失 向量集 ，利用 Ｅ Ｍ算法估计式子 中的参数 ０ ，使得似 然函数最大化． 令参数 ０ 的极大似然估计为 ０，Ｘ来 自第 ｋ 个类的后验概率为 ，表达式为
Ｐ ： ］ ［ １ｘ， ＝ Ｉ
Ｊ＝ｌ
同类 间样 本性 质特 征尽 可 能分 开 ． 根据不 同的分 类标 准 ，聚类 算 法有 多 种分 类 方式 ． 对 观测 数据 先验 知 识 的有无 ，聚类被 划 分为无 监 根据
督 聚类 和有 监 督 聚类 ． 督 聚类 为上 述 的第一 种情 形 ，无监 督 聚类 为上述 的第 二种 情形 ． 据对 观测 数据 内 有监 根 在 的 概率 框 架 的有 无 ，聚类 又 可 以分 为基 于模 型 和基 于判 断 的聚类 ． 实 际 问题 的 背景 ，观 测 数据 类 型 ， 根据 又 提 出基 于 网格 的聚类 、基 于最 小生 成树 聚类 、模 糊 聚类 算 、 自组 织 映射聚类 、蚁 群 聚类等 ．
中聚 类分 析 被用 来 对动 植 物 和基 因进 行 分类 ，获取 对种 群 固有 结 构 的认 识 及 发现 新 的基 因 ；计 算机 中聚类
分 析 用来 进行 图像 的分 析 处理 等 ．
１ 聚 类及 聚类 的简 单分 类
迄今 为 止 ，聚类 还 没有 一 个被 公 认 的定 义． 在此 介 绍 应用 多 元 统计 分 析 ｌ ｌ ｌ 聚类 的描 述 ：聚类 分 析 又 中对
【 图分 类号 】 ２ ２ 中 Ｏ １ 【 献 标 识 码】 文 Ａ 【 章 编 号 ］ ０ ８ １８ （ １）６ ０ ０ — ３ 文 １０ — ７ Ｘ２ ２０ — ０ ９ ０ ０
聚类 分 析研 究 已有 很 长 的历史 ，它不 仅 是 多元统 计 中的一 个 重要 分 支 ，而且 也 是数 据 挖掘 、模 式 识别
整个样本空间被低密度的观测样本划分为若干区间． 算法的优点是预先不需要知道聚类的数 目；缺点是只能 处理数值型观测数据 ，但是基于网格 的聚类算法解决了这一弊端．
２４ 基 于模 型聚类 算法 ．
基于模型聚类算法是 以概率数理理论为基础 的聚类算法． 可以解决无监督聚类 对观测 噪音不能恰当处 理 、对观测样本不能 自 动给出最优的聚类数 目的弊端． 基于模型的聚类算法与 Ｅ Ｍ算法结合 ，对聚类数 目的
＿ ）
．
∑音 ｆ Ｘｌ ｆ （ ） ０
根 据 后 验 概 率 对 样 本 进 行 聚 类 ，将 观 测数 据 分 类 到 有 最 大 后 验概 率 的类 牙０ 模 型 选 择 准 则 Ａ Ｃ 用 Ｉ， Ｂ Ｃ等给 出观 测数 据 集 的聚类 数 目 ｘ 的最优 选择 ． Ｉ
基于模型的聚类算法 ，特别是基于混合模型的聚类算法应用广泛 ，但是对于非正态数据以及高维混合
・
９ ・
分裂算法． 分类的方法 ： 一开始将所有 的对象置于一个类 中，计算每两个类间距离 ，把距离最小 的两个类合
并 为 一个 新类 ，如此 下去 ，直 到每 个类 只包 含一个 对象 ，或者达 到一 个终 止条 件为止 ．
分层聚类算法优点是可以得到各个数 目的类 ；缺点是分到各个类问的观测样本不能 自 动调整 ，聚类计 算量太大，且在聚类时易忽略新类临时产生的信息 ，不能 自动给出最优聚类数 Ｅ． １ 此聚类算法适用于小型数