基于复杂网络的大数据分析

１ 引言 大数据是一个 数据量 庞大 、数据 类型 多样 、数据 相互 作
用关系复杂 、动态产生或消失 的异构数 据集合 。大数 据重要 特征表现在 ：数据不再 是一个 个孤 立 的个 体 ，数据 之 间及 其 隐含 的机理之 间具有 复杂 的关 联关 系 。这种 复杂关 系将 这 个开放的异构数据集 合 的所 有数 据构成 了一 个不 可分 割的 整体 ，任何分割 ，都可能带来整体特性 的丢失 ；其开放性 使动 态生消的数据会改变数据间 的既有相 互作用关 系 ，从 而影响 数据 集合 的整体特性 ，这使得数据 间的关联关系更为复杂 。
ＡＢＳＴＲＡＣＴ ：Ａｓ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｂｉｇ ｄａｔａ，ｄａｔａ ａｒｅ ｎｏ ｌｏｎｇｅｒ ｉｓｏｌａｔｅｄ．Ｔｈｅｒｅ ｉｓ ｃｏｍｐｌｅｘ ｒｅｌａｔｉｏｎｓｈｉｐ ａｍｏｎｇ ｄａ— ｔａ ａｎｄ ｃｏｎｎｏｔａｔｉｖｅ ｍｅｃｈａｎｉｓｍ ，ａｎｄ ｔｈｅ ｗｈｏｌｅ ｄａｔａ ｍａｋｅ ｕｐ ａｎ ｉｎｄｉｖｉｓｉｂｌｅ ｅｎｔｉｒｅｔｙ． Ｄｙｎａｍｉｃ ｅｌｉｍｉｎａｔｉｏｎ ｏｆ ｄａｔａ ｗｉｌｌ ｃｈａｎｇｅ ｉｔｓ ｏｒｉｇｉｎａ ｌ ｒｅｌａｔｉｏｎｓｈｉｐ ａｎｄ ｔｈｅ ｏｖｅｒａｌｌ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｔｈｅ ｄａｔａ． Ｔｈｉｓ ｆｅａｔｕｒｅ ｏｆ ｂｉｇ ｄａｔａ ｐｒｅｓｅｎｔｓ ｓｏｍｅ ｌｉｍｉ－ ｔａｔｉｏｎｓ ｔｏ ｔｈｅ ｔｈｅｍａｔｉｃ ａｎａｌｙｓｉｓ ｓｕｃｈ ａｓ ｄａｔａ ｍ ｉｎｉｎｇ：ｔｈｅ ｐｒｅｓｕｐｐｏｓｉｔｉｏｎ ａｎｄ ｔｈｅ ｔｈｅｍａｔｉｃ ａｎａｌｙｓｉｓ ｏｆ ｔｈｅ ｄａｔａ ｃｕｔ ａｐａｒ ｔ ｔｈｅ ｉｎｔｅｒｐｌａｙ ｂｅｔｗｅｅｎ ｔｈｅ ｔｏｐｉｃｓ， ｒｅｓｕｌｔｉｎｇ ｉｎ ｔｈｅ ｌｏｓｓ ｏｆ ｔｈｅ ｉｍ ｐｌｉｃｉｔ ｍ ｅｃｈａｎｉｓｍｓ ｉｎ ｔｈｅｓｅ ｒｅｌａｔｉｏｎｓｈｉｐｓ． Ｉｎ ｏｒｄｅｒ ｔＯ ｓｏｌｖｅ ｔｈｉｓ ｐｒｏｂｌｅｍ ，ａ ｌａｒｇｅ ｄａｔａ ｓｅｔ ｉｓ ｃｏｎｓｉｄｅｒｅｄ ａｓ ａ ”ｄａｔａ” ｉｍａｇｅ ｏｆ ｃｏｍｐｌｅｘ ｓｙｓｔｅｍ ｉｎ ｉｎｆｏｒｍａｔｉｏｎ ｓｐａｃｅ．Ｂａｓｅｄ ｏｎ ｃｏｍｐｌｅｘ ｓｙｓｔｅｍ ｔｈｅｏｒｙ ａｎｄ ｃｏｍｐｌｅｘ ｎｅｔｗｏｒｋ ｍｏｄｅｌ，ａ ｓｙｓｔｅｍ －ｌｅｖｅｌ ｍｏｄｅｌ ｏｆ ｂｉｇ ｄａｔａ ａｎａｌｙｓｉｓ ｗａｓ ｅｓｔａｂｌｉｓｈｅｄ， ａｎｄ ａ ｆｏｒｍａｌ ｄｅｓｃｒ ｉｐｔｉｏｎ ｏｆ ｍｕｌｔｉ－ｆａｃｔｏｒｓ ａｎｄ ｔｈｅ ｉｎｔｅｒａｃｔｉｏｎ ａｍｏｎｇ ｔｈｅｍ ｗｅｒｅ ｐｒｅｓｅｎｔｅｄ．Ｗ ｉｔｈ ｔｈｅ ｃｏｍｐｕｔａｂｌｅ ｍｏｄｅｌ， ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｂｉｇ ｄａｔａ ａｎａｌｙｓｉｓ ｗａｓ ｔｒａｎｓｆｏｒｍ ｅｄ ｉｎｔｏ ｔｈｅ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ｃｏｍｐｌｅｘ ｎｅｔｗｏｒｋｓ：ｔｏｐｏｌｏｇｉｃａｌ ｐｒｏｐｅｒｔｉｅｓ，ｄｙ— ｎａｍｉｃ ｐｒ ｏｐｅｒｔｉｅｓ，ｅｍｅｒｇｅｎｃｅ ａｎ ｄ ｏｔｈｅｒ ｓｙｓｔｅｍ ｆｅａｔｕｒｅｓ．Ｏｎ ｔｈｉｓ ｂａｓｉｓ，ｔｈｅ ａｎａｌｙｓｉｓ ｏｆ ｂｉｇ ｏｃｅａｎ ｄａｔａ ａｎｄ ｂｉｇ ｄａｔａ ｏｆ ｔｒａｎｓｐｏｒ ｔａｔｉｏｎ ｗｅｒｅ ｐｒｏｃｅｓｓｅｄ ｔｏ ｖａｌｉｄａｔｅ ｏｕｒ ｍｏｄｅ１． ＫＥＹＷ ＯＲＤＳ：Ｂｉｇ ｄａｔａ ａｎ ａｌｙｓｉｓ；Ｃｏｍｐｌｅｘ ｎｅｔｗｏｒｋ；Ｃｏｍｐｌｅｘ ｓｙｓｔｅｍ ；Ｅｍｅｒｇｅｎｃｙ
第３５卷 第５期
文章编号 ：１００６—９３４８（２０１８）０５—０００１—０８
计 算 机 仿 真
基 于 复 杂 网络 的 大 数Baidu Nhomakorabea据 分 析
２０１８年５月
邵峰 晶 ，孙 仁诚 ，隋 毅 ，王 常颖
（青岛大学计算机科学技术学院 ，山东 青 岛 ２６６０７１）
摘要 ：作为大数据的特征 ，其中的个体数据不再 是孤立 ，数据及其 隐含的机理 间具有复杂 的关联 关系 ，将所有 数据构成 难 以 分割 的整体 。数据的动态生消会改变其 原有 的关联关 系，影响数据 的整体特性 。大数据的这种特性使数据挖掘等 面向主题 的分析方法呈现 出局限 ：主题的预设和按 主题 的分 析，割裂 了主题 间 的相互作用 关系 ．导致这些 关系 中隐 含的机理被 丢失 。 针对上述 问题 ，将大数据集视为复杂系统 在信息空 间的“数据 ”映像 ，基于复杂系统理论 和复杂 网络模 型建立大数据 分析的 系统级模型 。建立 了多要素及其间相互作用关 系的形式描述和 可计算 的模型 ，将 大数据分析 问题转化为复杂 网络 的性 质分 析 ：拓扑性质 、动力学性质 ，“涌现”等系统特性 ，开展 了海洋大数据 、交通大数据等的分析应用 实践 。 关键词 ：大数据分析 ；复杂网络 ；复杂 系统 ：涌现 中图分类号 ：ＴＰ３９１．９ 文献标识码 ：Ｂ
Ｂｉｇ Ｄａｔａ Ａ ｎａｌｙｓｉｓ Ｂａｓｅｄ Ｏｎ Ｃｏｍ ｐｌｅｘ Ｎｅｔｗｏｒｋ
ＳＨＡＯ Ｆｅｎｇ－ｊｉｎｇ，ＳＵＮ Ｒｅｎ－ｃｈｅｎｇ，ＳＵＩ Ｙｉ，ＷＡＮＧ Ｃｈａｎｇ－ｙｉｎｇｕ
（Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｑｉｎｇｄａｏ Ｕｎｉｖｅｒｓｉｔｙ，Ｑｉｎｇｄａｏ Ｓｈａｎｄｏｎｇ ２６６０７１，Ｃｈｉｎａ）
大数 据分析 ，旨在发现数据 中隐含的机理 、规律与知识 。
收稿 日期 ：２０１８—０３—１０
近年 来 数 据 仓 库 、数 据 挖 掘／机 器 学 习 被 广 泛 应 用 于 大 数 据 分析 。数据仓库是按 主题基 于统计的多维 在线分析 ，分析 的 结果是数据仓库 中围绕 主题 的 已知 的数据 的提取 汇集 。数 据挖掘 、机器学习是预设一个主题 ，给 出其分 析模式算 法 ，分 析 的结果是 主题数 据 内在规律 的体现 ［１－２］。因此 ，对 于给定 主 题 的大 数 据 分 析 问题 ．上 述 大 数 据 分 析 方 法 具 有 很 好 的适 用性 ，能够挖掘主题数 据 的内在 规律 ，其分 析结 果是 主题数 据规律 的体现 。然而实 际应用 中的大数据分 析问题 ，往往涉 及若干主题 ，不同主题间存在复杂 的、动态 变化 的相关性 ，单 个主题分别逐一研 究 ，丢失 了主题 间的相关性 ．即使 获取所 有主题规律 ，也无 法获得问题的整体 规律。在此试举 两个典 型大数据分析 的例子予 以说 明。