三种数据降维方法的分析比较
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一
个ｎ ｐ ｘ 阶的数 据矩阵 ：
…
１
…
，
方法 。首 先 ， 通过 变换 ‘ 现输 入空 间Ｘ到特 征空 ｐ 实 间Ｆ 映射 ， 的 即输 入 空 间样 本 点ｘ’ …， 征空 ｌ， Ｘ ｘ ｔ 到特 间样本 点 ‘ ｐ ， 的变换 。然后 ， … 在特 征空 间 中
１
福
建 电
脑
２１ ０ ２年第 ６期
一
个 非 零 特征值 ， 为 所 对应 的特征 向量 ， ３、 且（）
（） ４的特 征值 与特征 向量具 有 以下关 系 ：
换 。 者 的最 大 的不 同在于Ｋ Ｃ 在求解 过程 中需 两 ＥＡ 要 计算 特征值 与特 征 向量 的Ｒ ｎ ｉ ｅｙ熵
２、 法 分 析 较 算 匕
互 ｆ， ∑ａＪＯ ＝ ＝ （ ￣ ）ｊ ｘ
（ ５ ）
不可 行 。 算法 复 杂 度 主要 由数 据点 个数 ｎ 原 始 维 、 目标 维数 ｄ 决 定 。Ｐ Ａ 算协 方 差 矩 阵需 来 Ｃ 计 应 的 通 过 仅 进行 规范 化 。通过 式 （ ） 原始 数Ｄ、 ＝ ６对 要Ｏ ｎ ）而对Ｄ Ｄ （Ｄ ， ｘ 协方 差 矩阵 进行 特征 分 析需 要 数据 进行 重建 ： 一 ０ｎ ； Ｐ Ａ ｆ ｘ ￣ 阵进行特征分析需要Ｏ ｌ， Ｐ Ａ （ ） Ｃ Ｘｎ ｎ ３Ｋ ） Ｃ ３Ｋ
线 性 映射将 高维数据 转变 成低 维数 据 。数据 降维 的 目标 是在保 持原始数 据 的分 类 和决 策能力 前提
Ｚ＝ ｌ ｌＸ ＋ １‘ ＋ｌ ２ …＋１ ２ ｆ ， ｚ＝ ： 十 控 ＋ ｆ …＋ ２ ， ，
Ｘ
（）
下， 去掉数 据 中的冗余 信息 。 通过 数 据降维 可 以减 轻 维数 灾难 和高维 空间 中不相 关 属性 ．促进 高维
ｘ
的低 维表示 。
１ １Ｐ ． ＣＡ
满 足 以上条 件 的ｚ， ， ， 分别 称 为原 始 数 ， … ｚ ｚ 据 ， ， ， … 的第 第２ … ， 个 主成 分 。 ， ， 第ｍ
１２ ＫＰ ． ＣＡ
Ｐ Ａ 一种 典 型 的线性 降 维方 法 ．通 过对 原 Ｃ是 始 变量 的相关 矩 阵进行研 究 。用 少数 几个综 合 变
＝
Ｘ２
Fra Baidu bibliotek
，
：
运 用 主成 分分 析方法 ， 即求解特 征值 ：
ｌ ２ …
丑 Ｃｏ ｌ ， ｔ ＝ ｏ ， …， ， ２
（ ３ ）
入 是ｃ （ 所 １ ） 较 麻烦 。 此时就 需要对 数据 进行 降维 处理 ． 即用 比 阵 ，； 的一个非零特征值 ， 为入 对应 的特征 较 少 的几个 变量来 代替 原始 比较 多 的变 量 ．并 且 向量 。可 以将 上式 转换为 下列特 征值 问题 ： 在 它们 在相 互独立 的前 提下 ．使 这 些少 数 的综 合 互 ， ｌ， ｔ ＝ ｉ ， …， ＝２ （ ４ ） 变量尽 可 能多 的反映原 始 变量 的信 息
【 关键 词 】 ：数 据 降 维 ； 成分 分析 ； 成分 分析 ； 熵 主成分 分析 主 核主 核
随 着计算 机处理 的数据 量 和数 据维 数 的越来 为新 的少 数变 量 ：
越 大 ．数 据 降维技术 已经成 为 一项 越来 越重 要 的 数据 处理 技术［］ 据 降维是 指通 过线 性或 者非 １ 。数 － ２
的绝 大部分 信息 ．它们通 常 用原 始变 量 的线性 组 分 分 析 （ ｅｎｌ ｒ ｃ ａ Ｃ ｍ ｏ ｅｔ ｎｌｓ ． Ｐ Ｋ ｒｅ Ｐｉ ｉ ｌ ｏ ｐ ｎ ｎ Ａ ａ ｉ Ｋ ． ｎｐ ｙｓ 合 来 表示 。 Ｃ 为处 理非 线性 问题 提供 了可能 。 Ａ） 假 设 现有ｎ 个样本 。 每个样 本 有Ｐ 变量 。 成 个 构 Ｋ Ｃ嗍 Ｐ Ａ 的基本思 想是在 主成 分分 析 中应 用核
随 着 支 持 向 量 机 ｆｕ ｐ￣ Ｖ ｃｏ Ｍａｈｎ 。 Ｓ ｐ ｏ ｅｔｒ ｃｉｅ ＇ 量（ 即主 成分 ） 示原 始 的 多个 变 量 ， 表 进而 达 到 降 Ｓ Ｍ 研 究 的展 开 ． 对 核方 法 的研 究 受 到前 所 未 Ｖ ） 针
维 的 目的 。提取 出来 的主成分 可 以反 映原 始变 量 有 的重 视 与 核方法 的有机 融合 而形 成 的核 主成
的 ， 是 与ｚ不相关 的 ， ，… ， ｚ ： ｊ 的所有 线性 组合
＿
数 据 降维 的数 学描 述 ：） ＝ｘ ＝ 维 空 间 ａＸ ｉ ｉ是Ｄ ｌ ｌ
… 是 Ｊ ２… Ｚ ｍ 中 的一 个样 本集 ， ＝ｙ 是 ｄｄ ＜ ） 空 间 中的一 中方差 最 大者 ， ， 与 ， ， … ， ｌ都 不相关 Ｙ ｛ ｉ （＜ Ｄ 维 … 的所有线 性组合 中方差 最 大者 。 个 数据 集 ； ） 维 映射 ， Ｘ Ｙ】 ｙ Ｍ（ ， ｙ ｂ降 Ｍ： ， ＝ ｘ 称 为 的 ， ， ， 【 ）
ｉ． ，２ … ， 为 原始 变 量 ，１ｚ， ，ｍｍ≤ｐ ｅ 】ｘ ， ｘ ｘ ｚ， … Ｚ（ ２ ）
。
当ｐ 大时 ．在ｐ 空 间 中处 理 问题 就显得 比 较 维
其中ｃ； 为特征空间中的样本协方差矩 ％
其中 ＝【 。 Ｋ（） １ ； 是核矩阵， （， ，是Ｋ ｉ ＝ ） 入 的 纸 ｉ
数 据 的分类 和压缩翻 。 １ 数 据 降 维 方 法 、
ｚ ＝ｌ１ ＋ ２ ２ ｍ Ｘ ＋… ＋ｌ
ｍ ｐ
ｖ
确 定 系数ｌ ； ： 则： 的原
①ｚ ｆ ≠『 √ ２ …， 彼此不相关 ； ｉ （ ． ＝ ，， ｍ） 与石 ； ②ｚ是 ，。 ， ，…， 所有线性组合 中方差最大
２１ ０ ２年第 ６期
福
建 电
脑
４ ７
三种数据 降维方法的分析 比较
梁 衡 （许 昌学院 ， 计算 机科 学与技 术 学院 河 南 许 昌 ４ １０ ） ６ ０ ０ 【 摘 要 】 ：数 据 降维主要 是 为 了解 决维数 灾害 问题 。 该论 文主要 分析 了三种数 据 降维 方法 ， 并 对算 法优缺 点进 行 了分析 和 比较 。
个ｎ ｐ ｘ 阶的数 据矩阵 ：
…
１
…
，
方法 。首 先 ， 通过 变换 ‘ 现输 入空 间Ｘ到特 征空 ｐ 实 间Ｆ 映射 ， 的 即输 入 空 间样 本 点ｘ’ …， 征空 ｌ， Ｘ ｘ ｔ 到特 间样本 点 ‘ ｐ ， 的变换 。然后 ， … 在特 征空 间 中
１
福
建 电
脑
２１ ０ ２年第 ６期
一
个 非 零 特征值 ， 为 所 对应 的特征 向量 ， ３、 且（）
（） ４的特 征值 与特征 向量具 有 以下关 系 ：
换 。 者 的最 大 的不 同在于Ｋ Ｃ 在求解 过程 中需 两 ＥＡ 要 计算 特征值 与特 征 向量 的Ｒ ｎ ｉ ｅｙ熵
２、 法 分 析 较 算 匕
互 ｆ， ∑ａＪＯ ＝ ＝ （ ￣ ）ｊ ｘ
（ ５ ）
不可 行 。 算法 复 杂 度 主要 由数 据点 个数 ｎ 原 始 维 、 目标 维数 ｄ 决 定 。Ｐ Ａ 算协 方 差 矩 阵需 来 Ｃ 计 应 的 通 过 仅 进行 规范 化 。通过 式 （ ） 原始 数Ｄ、 ＝ ６对 要Ｏ ｎ ）而对Ｄ Ｄ （Ｄ ， ｘ 协方 差 矩阵 进行 特征 分 析需 要 数据 进行 重建 ： 一 ０ｎ ； Ｐ Ａ ｆ ｘ ￣ 阵进行特征分析需要Ｏ ｌ， Ｐ Ａ （ ） Ｃ Ｘｎ ｎ ３Ｋ ） Ｃ ３Ｋ
线 性 映射将 高维数据 转变 成低 维数 据 。数据 降维 的 目标 是在保 持原始数 据 的分 类 和决 策能力 前提
Ｚ＝ ｌ ｌＸ ＋ １‘ ＋ｌ ２ …＋１ ２ ｆ ， ｚ＝ ： 十 控 ＋ ｆ …＋ ２ ， ，
Ｘ
（）
下， 去掉数 据 中的冗余 信息 。 通过 数 据降维 可 以减 轻 维数 灾难 和高维 空间 中不相 关 属性 ．促进 高维
ｘ
的低 维表示 。
１ １Ｐ ． ＣＡ
满 足 以上条 件 的ｚ， ， ， 分别 称 为原 始 数 ， … ｚ ｚ 据 ， ， ， … 的第 第２ … ， 个 主成 分 。 ， ， 第ｍ
１２ ＫＰ ． ＣＡ
Ｐ Ａ 一种 典 型 的线性 降 维方 法 ．通 过对 原 Ｃ是 始 变量 的相关 矩 阵进行研 究 。用 少数 几个综 合 变
＝
Ｘ２
Fra Baidu bibliotek
，
：
运 用 主成 分分 析方法 ， 即求解特 征值 ：
ｌ ２ …
丑 Ｃｏ ｌ ， ｔ ＝ ｏ ， …， ， ２
（ ３ ）
入 是ｃ （ 所 １ ） 较 麻烦 。 此时就 需要对 数据 进行 降维 处理 ． 即用 比 阵 ，； 的一个非零特征值 ， 为入 对应 的特征 较 少 的几个 变量来 代替 原始 比较 多 的变 量 ．并 且 向量 。可 以将 上式 转换为 下列特 征值 问题 ： 在 它们 在相 互独立 的前 提下 ．使 这 些少 数 的综 合 互 ， ｌ， ｔ ＝ ｉ ， …， ＝２ （ ４ ） 变量尽 可 能多 的反映原 始 变量 的信 息
【 关键 词 】 ：数 据 降 维 ； 成分 分析 ； 成分 分析 ； 熵 主成分 分析 主 核主 核
随 着计算 机处理 的数据 量 和数 据维 数 的越来 为新 的少 数变 量 ：
越 大 ．数 据 降维技术 已经成 为 一项 越来 越重 要 的 数据 处理 技术［］ 据 降维是 指通 过线 性或 者非 １ 。数 － ２
的绝 大部分 信息 ．它们通 常 用原 始变 量 的线性 组 分 分 析 （ ｅｎｌ ｒ ｃ ａ Ｃ ｍ ｏ ｅｔ ｎｌｓ ． Ｐ Ｋ ｒｅ Ｐｉ ｉ ｌ ｏ ｐ ｎ ｎ Ａ ａ ｉ Ｋ ． ｎｐ ｙｓ 合 来 表示 。 Ｃ 为处 理非 线性 问题 提供 了可能 。 Ａ） 假 设 现有ｎ 个样本 。 每个样 本 有Ｐ 变量 。 成 个 构 Ｋ Ｃ嗍 Ｐ Ａ 的基本思 想是在 主成 分分 析 中应 用核
随 着 支 持 向 量 机 ｆｕ ｐ￣ Ｖ ｃｏ Ｍａｈｎ 。 Ｓ ｐ ｏ ｅｔｒ ｃｉｅ ＇ 量（ 即主 成分 ） 示原 始 的 多个 变 量 ， 表 进而 达 到 降 Ｓ Ｍ 研 究 的展 开 ． 对 核方 法 的研 究 受 到前 所 未 Ｖ ） 针
维 的 目的 。提取 出来 的主成分 可 以反 映原 始变 量 有 的重 视 与 核方法 的有机 融合 而形 成 的核 主成
的 ， 是 与ｚ不相关 的 ， ，… ， ｚ ： ｊ 的所有 线性 组合
＿
数 据 降维 的数 学描 述 ：） ＝ｘ ＝ 维 空 间 ａＸ ｉ ｉ是Ｄ ｌ ｌ
… 是 Ｊ ２… Ｚ ｍ 中 的一 个样 本集 ， ＝ｙ 是 ｄｄ ＜ ） 空 间 中的一 中方差 最 大者 ， ， 与 ， ， … ， ｌ都 不相关 Ｙ ｛ ｉ （＜ Ｄ 维 … 的所有线 性组合 中方差 最 大者 。 个 数据 集 ； ） 维 映射 ， Ｘ Ｙ】 ｙ Ｍ（ ， ｙ ｂ降 Ｍ： ， ＝ ｘ 称 为 的 ， ， ， 【 ）
ｉ． ，２ … ， 为 原始 变 量 ，１ｚ， ，ｍｍ≤ｐ ｅ 】ｘ ， ｘ ｘ ｚ， … Ｚ（ ２ ）
。
当ｐ 大时 ．在ｐ 空 间 中处 理 问题 就显得 比 较 维
其中ｃ； 为特征空间中的样本协方差矩 ％
其中 ＝【 。 Ｋ（） １ ； 是核矩阵， （， ，是Ｋ ｉ ＝ ） 入 的 纸 ｉ
数 据 的分类 和压缩翻 。 １ 数 据 降 维 方 法 、
ｚ ＝ｌ１ ＋ ２ ２ ｍ Ｘ ＋… ＋ｌ
ｍ ｐ
ｖ
确 定 系数ｌ ； ： 则： 的原
①ｚ ｆ ≠『 √ ２ …， 彼此不相关 ； ｉ （ ． ＝ ，， ｍ） 与石 ； ②ｚ是 ，。 ， ，…， 所有线性组合 中方差最大
２１ ０ ２年第 ６期
福
建 电
脑
４ ７
三种数据 降维方法的分析 比较
梁 衡 （许 昌学院 ， 计算 机科 学与技 术 学院 河 南 许 昌 ４ １０ ） ６ ０ ０ 【 摘 要 】 ：数 据 降维主要 是 为 了解 决维数 灾害 问题 。 该论 文主要 分析 了三种数 据 降维 方法 ， 并 对算 法优缺 点进 行 了分析 和 比较 。