大规模数据集下谱聚类算法的求解_史卫亚

摘 要 谱聚类算法是一种流行的数据聚类方法 ， 该算法使用特征分解技术计算邻接矩阵的特征解 ， 但是在大规 模 数 据集的情况下 ， 因储存和计算的问题而无法进行求解 。 基于线性代数中对称矩阵的性质 ， 提出使用邻接矩阵的每 一 列 ， 通过迭代计算出邻接矩阵的特征解 。 所提算法的 空 间 复 杂 度 只 有 Ο（ 时间复杂度也降 作为迭代算法的输入样本 ， ｍ） 。 实验结果验证了算法的有效性 。 低为 Ο（ ｋ ｍ） ｐ 关键词 谱方法 ， 邻接矩阵 ， 大数据集 ， 特征分解
） ， ， ， 本文受国家自然基金项目 （ 河南省教育厅自然科学研究计划项目 （ 河南工业大学博士基金项目（ 河南省 ６ ０ ８ ７ ５ ０ ０ ３ ２ ０ １ ０ Ｂ ５ ２ ０ ０ ０ ５） ２ ０ ０ ９ Ｂ Ｓ ０ １ ３） ） ， ） 科技厅重点科技攻关项目 （ 郑州市科技发展计划项目 （ 资助 。 １ １ ２ １ ０ ２ ２ １ ０ １ ９ ０ ２ ０ １ ０ Ｓ Ｆ ＸＭ ４ ７ ０ ， ： ； ， 史卫亚 （ 男， 博士 ， 副教授 ， 主要研究方向为数据挖掘 、 模式识别 ， 郭跃飞 （ 男， 博士 ， 副教授 ， 主要 １ ９ ７ ３－ ） Ｅ－ｍ ａ ｉ ｌ ｗ ｓ ｈ ｉ ｆ ｕ ｄ ａ ｎ． ｅ ｄ ｕ． ｃ ｎ １ ９ ６ ４－ ） ＠ ｙ 研究方向为机器学习 、 模式识别 。
·３ １ ２·
次迭代后 ， 可以求出 邻 接 矩 阵 的 特 征 值 和 特 征 向 量 。 所 提 出 的方法不需要事先存储邻接 矩 阵 ， 空 间 复 杂 度 从 Ο（ 减少 ｍ ）
２
由某一个数据 ｘ 这样 ｉ 与 其 它 ｍ 个 数 据 之 间 的 相 似 度 构 成， 在实际计算中 ， 只 需 事 先 把 ｍ 个 数 据 储 存 起 来， 对于每一个 样本数据 ｘ 计算它与这 ｍ 个数据 之 间 的 相 似 度 进 而 得 到 Ｌ ｉ， （ 。 然后把矩阵 Ｌ 的每一列 Ｌ（ 作为迭代算法的输入样 ｘ ｘ ｉ） ｉ） 经过若干次迭代后可以得到矩阵 Ｇ 的特征解 。 本，
谱聚类算法的实现基本过程可以大致概括如下 ： ） 根据样本数据 集 构 造 一 个 图 ， 图的每一个节点对应一 １ 点和点之间用边连接 ， 并且边的权重用于表示数 据 个数据点 ， 之间的相似度 。 这个 图 可 以 用 邻 接 矩 阵 的 形 式 表 示 出 来 ， 记 为Ｗ， 其每一个元素为边的权重 。 ） 把矩阵 Ｗ 的 每 一 列 元 素 加 起 来 得 到 ｍ 个 数 ， 把它们 ２ 分别放在 ｍ×ｍ 的矩阵的对角线上 ， 其他位置元素都是零 ， 记 该矩阵为 Ｄ。 并令 Ｌ＝Ｄ－Ｗ 。 ） 利用特征分解方法求出 矩 阵 Ｌ 的 前ｋ 个 特 征 值 ｛ ３ λ｝
［］ 用的 方 法 有 Ｋ－ｍ ｅ ａ ｎ ｓ算 法 、 ＥＭ 算 法 等 。 谱 聚 类 算 法 ２ 是 近
些年出现 的 一 类 新 型 聚 类 算 法 ， 其思想来源于谱图划分理 论
［ ３］
。 与传统的聚类算 法 相 比 ， 它对不规则的误差数据不是
［ ４， ５］
计算复杂度 较 小 ， 而 且 性 能 也 要 好 一 些， 近些年成功 太敏感 ， 应用于机器视觉 、 图像分割等领域 。 谱聚类算法将聚类 问 题 转 化 为 图 的 最 优 划 分 问 题 ， 计算 过程中首先构造图并用邻接矩阵 （ 或亲合矩阵 ） 的形式表示 出 来， 然后对该矩阵进行特征分解求得其特征值和特征向量 ， 进 而选择合适的特征向量对这些数据点进行聚类 。 该算法的 空 ， 间复杂度和时间复杂度分别是 Ο（ 和 Ο（ 其中 ｍ 是数 ｍ２ ） ｍ３ ） 但是随着样本数量的增 据集样本的数量 。 尽 管 算 法 很 简 单 ， 加， 在大规模数据集 的 情 况 下 ， 由 于 存 储 空 间 的 限 制， 普通计
Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ ｅ ｃ ｔ ｒ ａ ｌ ｃ ｌ ｕ ｓ ｔ ｅ ｒ ｉ ｎ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｉ ｓ ａ ｄ ａ ｔ ａ ｃ ｌ ｕ ｓ ｔ ｅ ｒ ｉ ｎ ｍ ｅ ｔ ｈ ｏ ｄ ． Ｉ ｔ ｕ ｓ ｅ ｓ ｅ ｉ ｅ ｎ ｄ ｅ ｃ ｏ ｍ ｏ ｓ ｉ ｔ ｉ ｏ ｎ ｔ ｅ ｃ ｈ ｎ ｉ ｕ ｅ ｔ ｏ ｏ ｕ ｌ ａ ｒ Ｓ － ｐ ｇ ｇ ｇ ｇ ｐ ｑ ｐ ｐ ｅ ｘ ｔ ｒ ａ ｃ ｔ ｔ ｈ ｅ ｅ ｉ ｅ ｎ ｖ ｅ ｃ ｔ ｏ ｒ ｓ ｏ ｆ ｔ ｈ ｅ ａ ｆ ｆ ｉ ｎ ｉ ｔ ｍ ａ ｔ ｒ ｉ ｘ ． Ｂ ｕ ｔ ｔ ｈ ｅ ｍ ｅ ｔ ｈ ｏ ｄ ｉ ｓ ｉ ｎ ｆ ｅ ａ ｓ ｉ ｂ ｌ ｅ ｆ ｏ ｒ ｌ ａ ｒ ｅ ｓ ｃ ａ ｌ ｅ ｄ ａ ｔ ａ ｓ ｅ ｔ ｂ ｅ ｃ ａ ｕ ｓ ｅ ｏ ｆ ｔ ｈ ｅ ｓ ｔ ｏ ｒ ｅ － ｇ ｙ ｇ ， ａ ｎ ｄ ｃ ｏ ｍ ｕ ｔ ａ ｔ ｉ ｏ ｎ ａ ｌ ｂ ｔ ｈ ｅ ｏ ｆ ｓ ｍｍ ｅ ｔ ｒ ｉ ｃ ｍ ａ ｔ ｒ ｉ ｘ ｉ ｎ ｔ ｈ ｉ ｓ ｅ ａ ｃ ｈ ｃ ｏ ｌ ｕ ｍ ｎ ｏ ｆ ｔ ｈ ｅ ａ ｆ ｆ ｉ ｎ ｉ ｔ ｒ ｏ ｂ ｌ ｅ ｍ． Ｍ ｏ ｔ ｉ ｖ ａ ｔ ｅ ｄ ｒ ｏ ｅ ｒ ｔ ａ ｅ ｒ ｐ ｙ ｙ ｙ ｐ ｐ ｐ ｙ ｐ ｐ ｍ ａ ｔ ｒ ｉ ｘ ｗ ａ ｓ ｕ ｓ ｅ ｄ ａ ｓ ｔ ｈ ｅ ｉ ｎ ｕ ｔ ｓ ａ ｍ ｌ ｅ ｆ ｏ ｒ ｔ ｈ ｅ ｉ ｔ ｅ ｒ ａ ｔ ｉ ｖ ｅ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ． Ｔ ｈ ｅ ｅ ｉ ｅ ｎ ｖ ｅ ｃ ｔ ｏ ｒ ｓ ｏ ｆ ｔ ｈ ｅ ａ ｆ ｆ ｉ ｎ ｉ ｔ ｍ ａ ｔ ｒ ｉ ｘ ｃ ｏ ｕ ｌ ｄ ｂ ｅ ｉ ｔ ｅ ｒ ａ － ｐ ｐ ｇ ｇ ｙ ， ｒ ｏ ｏ ｓ ｅ ｄ ｔ ｉ ｖ ｅ ｌ ｃ ｏ ｍ ｕ ｔ ｅ ｄ ． Ｔ ｈ ｅ ｓ ａ ｃ ｅ ｃ ｏ ｍ ｌ ｅ ｘ ｉ ｔ ｏ ｆ ｍ ｅ ｔ ｈ ｏ ｄ ｗ ａ ｓ ｏ ｎ ｌ ｍ） ｔ ｈ ｅ ｔ ｉ ｍ ｅ ｃ ｏ ｍ ｌ ｅ ｘ ｉ ｔ ｗ ａ ｓ ｒ ｅ ｄ ｕ ｃ ｅ ｄ ｔ ｏΟ ｐ ｐ ｙ ｐ ｐ ｐ ｙ ｙ Ο（ ｐ ｙ （ ｒ ｏ ｏ ｓ ｅ ｄ ｋ ｍ） ． Ｔ ｈ ｅ ｅ ｆ ｆ ｅ ｃ ｔ ｉ ｖ ｅ ｎ ｅ ｓ ｓ ｏ ｆ ｍ ｅ ｔ ｈ ｏ ｄ ｗ ａ ｓ ｖ ａ ｌ ｉ ｄ ａ ｔ ｅ ｄ ｆ ｒ ｏ ｍ ｅ ｘ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ａ ｌ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ． ｐ ｐ ｐ ｐ ， ， Ｋ ｅ ｗ ｏ ｒ ｄ ｓ ｅ ｃ ｔ ｒ ａ ｌ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ， Ａ ｆ ｆ ｉ ｎ ｉ ｔ ｍ ａ ｔ ｒ ｉ ｘ Ｌ ａ ｒ ｅ ｓ ｃ ａ ｌ ｅ ｄ ａ ｔ ａ ｓ ｅ ｔ Ｅ ｉ ｅ ｎ ｄ ｅ ｃ ｏ ｍ ｏ ｓ ｉ ｔ ｉ ｏ ｎ Ｓ － － ｐ ｇ ｙ ｇ ｇ ｐ ｙ 算机上实现谱聚类算法变得不可行 。 为实现大规模数据 集 情 况 下 谱 聚 类 算 法 的 求 解 ， 许多作 ］ 者提出了解决方法 。 文献 ［ 提出 分 割 原 数 据 集 ， 即通过分 ６ ８ － 一般先对大 割来减少构造谱图 的 节 点 数 目 。 在 分 割 过 程 中 ， 规模数据集进行预处理 ， 常 用 的 方 法 是 先 利 用 Ｋ－ｍ ｅ ａ ｎ ｓ方 法 然后取每个聚类的中心作为该聚类的代表点 ， 最 聚类数据集 ， 这样可以较大 后将全部聚类中心的代表点作为谱图的节点， ］ 程度地减少邻接矩阵的大小 。 文献 ［ 提出使用线 性 代 数 ９， １ ０ 中秩近似的思想 ， 即从数据集中选取部分数据点 ， 利用这些 数 据点形成邻接矩阵 ， 特征分解该矩阵可得到其特征向量 ， 进而 使用 Ｎ ｓ ｔ ｒ ｍ 近似可以求解原矩阵的特征解 。 ｙ 我们曾提出 一 种 求 解 大 规 模 数 据 集 的 核 主 成 分 分 析 方 法
２． ３ 迭代算法分析
。 更为 重 要 的 是 在 处 理 大 规 模 数 据 集 情 况 下 ， 到 Ο（ 传统 ｍ） 文中提出的方法仍然可以较好实 的特征分解技术无法使用， 现数据聚类 。 在人工合成的数据集以及真实的数据上进行 的 充分验证了该算法的有效性 。 实验 ，
２ 基于迭代的谱聚类方法
［ １ １］
１ 引言
在统计机器学习 、 模式识别以ห้องสมุดไป่ตู้数据挖掘等过程中 ， 聚类
１］ 。 所谓 聚 分析常用来发现数据分布规律和其中的隐含模式 ［
， 类就是把数据集合分成 若 干 类 （ 或簇） 使得同一类中的数据 之间具有较高的相 似 度 ， 而 不 同 类 之 间 的 数 据 差 别 较 大。常
Ｃ ｏ ｍ ｕ ｔ ａ ｔ ｉ ｏ ｎ ｏ ｆ Ｓ ｅ ｃ ｔ ｒ ａ ｌ Ｃ ｌ ｕ ｓ ｔ ｅ ｒ ｉ ｎ Ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｆ ｏ ｒ Ｌ ａ ｒ ｅ ｓ ｃ ａ ｌ ｅ Ｄ ａ ｔ ａ Ｓ ｅ ｔ － ｐ ｐ ｇ ｇ ｇ
１２ ３ ａ Ｓ Ｈ Ｉ Ｗ ｅ ｉ Ｙ ｕ ｅ ｆ ｅ ｉ － ＧＵＯ － ｙ １ （ ， ） Ｋ ｅ Ｌ ａ ｂ ｏ ｒ ａ ｔ ｏ ｒ ｏ ｆ Ｇ ｒ ａ ｉ ｎ Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ Ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ａ ｎ ｄ Ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｏ ｆ Ｍ ｉ ｎ ｉ ｓ ｔ ｒ ｏ ｆ Ｅ ｄ ｕ ｃ ａ ｔ ｉ ｏ ｎ Ｚ ｈ ｅ ｎ ｚ ｈ ｏ ｕ ４ ５ ０ ０ ０ １， Ｃ ｈ ｉ ｎ ａ ｙ ｙ ｇ ｙ ｇ ２ （ ， ， ） Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄ Ｅ ｎ ｉ ｎ ｅ ｅ ｒ ｉ ｎ Ｈ ｅ ｎ ａ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｏ ｆ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ Ｚ ｈ ｅ ｎ ｚ ｈ ｏ ｕ ４ ５ ０ ０ ０ １， Ｃ ｈ ｉ ｎ ａ ｇ ｇ ｙ ｇ ｙ ｇ ３ （ ， ， ） Ｄ ｅ ａ ｒ ｔ ｍ ｅ ｎ ｔ ｏ ｆ Ｃ ｏ ｍ ｕ ｔ ｅ ｒ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ Ｆ ｕ ｄ ａ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ Ｓ ｈ ａ ｎ ｈ ａ ｉ ２ ０ ０ ４ ３ ３， Ｃ ｈ ｉ ｎ ａ ｐ ｐ ｇ ｙ ｙ ｇ ，
。 本文中扩展 该 方 法 来 实 现 大 规 模 数 据 集 情 况 下 的 谱
聚类算法的求解 。 主要思想是利用线性代数中对称矩阵的 性 质， 首先使用初始的 邻 接 矩 阵 创 建 一 个 新 的 矩 阵 。 因 为 新 构 所以我们可以 成的矩阵和原先的矩阵具有相同的特征向量， 计算新矩阵的特征向量 ， 通过分析协方差矩阵的性质 ， 可以 把 邻接矩阵的每一列看成迭代算法的输入样本 。 这样经过若 干
２． １ 谱聚类算法回顾
由于传统的特征分解方法在计算过程中事先需要存储 特 征矩阵 ， 其计算空间复杂度和 时 间 复 杂 度 分 别 是 Ο（ 和Ｏ ｍ２ ） （ ， 其中 ｍ 是数据集样本的数量 。 当样本数 量 大 的 时 候 需 ｍ３ ）
［３］ ［４］ ， ） 要非常大的 内 存 。 一 些 迭 代 方 法 （ 先后 ＧＨＡ １ Ａ Ｐ Ｅ Ｘ１
第３ ９卷 第６ Ａ期 ２ ０ １ ２年６月
计 算 机 科 学 Ｃ ｏ ｍ ｕ ｔ ｅ ｒ ｃ ｉ ｅ ｎ ｃ ｅ Ｓ ｐ
Ｖ ｏ ｌ ． ３ ９Ｎ ｏ ． ６ Ａ Ｊ ｕ ｎ ｅ ２ ０ １ ２
大规模数据集下谱聚类算法的求解
２ ３ 史卫亚１， 郭跃飞 １ （ ） 粮食信息处理与控制教育部重点实验室 郑州 ４ ５ ０ ０ ０ １ ２ ３ （ ） ） 河南工业大学信息科学与工程学院 郑州 ４ 复旦大学计算机科学与技术系 上海 ２ ５ ０ ０ ０ １ ０ ０ ４ ３ ３ （