复杂网络聚类算法研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Poisson distribution
Power-law distribution
P( X k ) k a
e k P( X k ) k!
10
Βιβλιοθήκη Baidu
Network Motif (Science 1999)
Network Motif：在统计意义上，网络中频繁出现的 子图模式。（某些子图在现实网络中出现的概率明显高 于这些子图在随机网络中出现的概率）。
O(101)
O(103)
O(108)
6
1.复杂网络聚类方法的研究背景及意义
复杂网络已成为当 前最重要的多学科 交叉研究领域之一。 小世界性、无标度 性、网络模体和网 络簇结构是迄今为 止发现的最普遍和 最重要的复杂网络 拓扑结构属性。
7
Small World (Nature 1998)
小世界网络： 具有较小的平均路 径长度，同时具有 较大的聚类系数。
21
2.复杂网络聚类方法的研究现状及分析
2.1 复杂网络聚类方法的分类
2.2 基于优化的复杂网络聚类算法
2.3 启发式复杂网络聚类算法 2.4 其它网络聚类算法
22
2.1 复杂网络聚类方法的分类 基于优化的方法 将复杂网络聚类问题转 化为优化问题，通过最优化预定义的目标函 数来计算复杂网络的簇结构。 启发式方法 将复杂网络聚类问题转化为 预定义启发式规则的设计问题。 除以上两类方法之外，还存在其它类型 的复杂网络聚类方法。
平均长度：网络中任意两点间最短路径长度的平均值。 聚类系数：节点的任意两个邻居节点仍互为邻居的平均概率
8
Scale-free network (Science 1999)
无标度性：网络的度分布呈现出幂率分布（power law），而 不是随机网络的泊松分布：
P(K) ~ K-a
9
Degree distribution
（芽殖酵母菌） 的蛋白质交互网 络
18
动态社会网络簇结构分析
(Nature 2007)
该研究结果发现了维持社会结构稳定性的两个基本原则： 对于大规模社会机构，其成分的动态变化利于维护该机构的稳定性； 19 相反的，对于小规模机构，其成分的固定不变利于维护该机构的稳定性。
基于网络簇结构分析的链接预测
(Nature 2008)
该研究提出了一种广义的随机网络模型 （相对于经典的ER随机网络模型）： （1）具有更强的表达能力，既能刻画 assortative网络又能刻画disassortative 网络； （2）对于给定的网络，该模型能够精 确的预测出网络中的未知链接或缺失链 接，并能剔除网络中存在的噪音链接。
目
录
1.复杂网络聚类方法的研究背景及意义
2.复杂网络聚类方法的研究现状及分析
3.复杂网络聚类所面临的问题
4.我们的工作
5.复杂网络vs时空数据挖掘
1
1.复杂网络聚类方法的研究背景及意义
现实世界中的诸多系统都以网络形式存在， 如社会系统中的人际关系网、科学家协作网 和流行病传播网，生态系统中的神经元网、 基因调控网和蛋白质交互网，科技系统中的 因特网、万维网、通信网、交通网等。由于 这些网络所对应的系统具有很高的复杂性， 因此被统称为“复杂网络(complex network)”。
20
1.复杂网络聚类方法的研究背景及意义（续）
由于复杂网络聚类研究具有重要的 理论意义和应用价值，它不仅成为 计算机领域中最具挑战性的基础性 研究课题之一，也吸引了来自物理、 数学、生物、社会学和复杂性科学 等众多领域的研究者，掀起了一股 研究热潮。从 2002 年至今，新的方 法层出不穷，新的应用领域不断被 拓展，不同领域的权威国际杂志和 多个重要国际学术会议多次报道这 方面的研究工作。 复杂网络聚类方法已成为图论、复杂网络、数据挖掘等理论的重要组成部分 和相关课程的核心内容。如康奈尔大学计算机系开设了《The Structure of I n fo r ma tio n N etw o r ks 》 课 程 ， 麻 省 理 工 电 子 工 程 和 计 算 机 系 开 设 了 《Networks and Dynamics》课程。
(Nature 2005)
科学家合作网： 每个节点表示 一个科学家， 连接表示科学 家之间的合作 紧密程度。
语义网络 : 每个节点 表示一个英文单词， 连接表示词在某个语 境下共同出现的频率。
15
聚类基因网络
Nature 2003
16
聚类新陈代谢网络
Nature 2005
17
聚类蛋白质网络
(Nature 2005)
以及关系数据分析等众多领域。
Nature 2005
13
应用例子1– 聚类分析
15 10 5 0 -5 -10 -10 0 10 20 30
Gaussian similarity function （高斯相似度函数）:
aij exp( || xi x j ||2 / )
14
应用例子2
社会网络、语义网络、生物网络分析
杂网络的功能、发现复杂网络中的隐藏规律和预测复杂网络的
行为不仅有十分重要的理论意义，而且有广泛的应用前景。 目前已被应用于：恐怖组织识别与组织结构管理等社会网络分
析，围绕新陈代谢、蛋白质交互、未知蛋白质功能预测、基因
调控和主控基因识别等问题的多种生物网络分析，Web社区挖 掘与Web文档聚类，搜索引擎，空间数据聚类，图像分割 ，
2
社会网络（Social Networks）
科学家协作网
移动电话网络
《圣经》对应的社会网络
3
生物网络（Biological Networks）
新陈代谢系统网络 蛋白质交互网络
食物链网络
4
科技网络（Technological Networks）
5
复杂网络分析具有重要研究意义
对于小规模网络，我们可以 通过肉眼观测其形态、特征， 但是对于(超)大规模复杂网 络，我们将很难通过肉眼深 入理解和预测网络的结构、 行为和功能，需要借助各种 复杂网络分析方法。
11
Network Community Structure (Science 2002, Nature 2005, 2007)
网络簇结构（network community structure）具有同簇节点相互连接 密集、异簇节点相互连接稀疏的特点。
12
1.复杂网络聚类方法的研究背景及意义
复杂网络聚类方法的研究对分析复杂网络的拓扑结构、理解复
Power-law distribution
P( X k ) k a
e k P( X k ) k!
10
Βιβλιοθήκη Baidu
Network Motif (Science 1999)
Network Motif：在统计意义上，网络中频繁出现的 子图模式。（某些子图在现实网络中出现的概率明显高 于这些子图在随机网络中出现的概率）。
O(101)
O(103)
O(108)
6
1.复杂网络聚类方法的研究背景及意义
复杂网络已成为当 前最重要的多学科 交叉研究领域之一。 小世界性、无标度 性、网络模体和网 络簇结构是迄今为 止发现的最普遍和 最重要的复杂网络 拓扑结构属性。
7
Small World (Nature 1998)
小世界网络： 具有较小的平均路 径长度，同时具有 较大的聚类系数。
21
2.复杂网络聚类方法的研究现状及分析
2.1 复杂网络聚类方法的分类
2.2 基于优化的复杂网络聚类算法
2.3 启发式复杂网络聚类算法 2.4 其它网络聚类算法
22
2.1 复杂网络聚类方法的分类 基于优化的方法 将复杂网络聚类问题转 化为优化问题，通过最优化预定义的目标函 数来计算复杂网络的簇结构。 启发式方法 将复杂网络聚类问题转化为 预定义启发式规则的设计问题。 除以上两类方法之外，还存在其它类型 的复杂网络聚类方法。
平均长度：网络中任意两点间最短路径长度的平均值。 聚类系数：节点的任意两个邻居节点仍互为邻居的平均概率
8
Scale-free network (Science 1999)
无标度性：网络的度分布呈现出幂率分布（power law），而 不是随机网络的泊松分布：
P(K) ~ K-a
9
Degree distribution
（芽殖酵母菌） 的蛋白质交互网 络
18
动态社会网络簇结构分析
(Nature 2007)
该研究结果发现了维持社会结构稳定性的两个基本原则： 对于大规模社会机构，其成分的动态变化利于维护该机构的稳定性； 19 相反的，对于小规模机构，其成分的固定不变利于维护该机构的稳定性。
基于网络簇结构分析的链接预测
(Nature 2008)
该研究提出了一种广义的随机网络模型 （相对于经典的ER随机网络模型）： （1）具有更强的表达能力，既能刻画 assortative网络又能刻画disassortative 网络； （2）对于给定的网络，该模型能够精 确的预测出网络中的未知链接或缺失链 接，并能剔除网络中存在的噪音链接。
目
录
1.复杂网络聚类方法的研究背景及意义
2.复杂网络聚类方法的研究现状及分析
3.复杂网络聚类所面临的问题
4.我们的工作
5.复杂网络vs时空数据挖掘
1
1.复杂网络聚类方法的研究背景及意义
现实世界中的诸多系统都以网络形式存在， 如社会系统中的人际关系网、科学家协作网 和流行病传播网，生态系统中的神经元网、 基因调控网和蛋白质交互网，科技系统中的 因特网、万维网、通信网、交通网等。由于 这些网络所对应的系统具有很高的复杂性， 因此被统称为“复杂网络(complex network)”。
20
1.复杂网络聚类方法的研究背景及意义（续）
由于复杂网络聚类研究具有重要的 理论意义和应用价值，它不仅成为 计算机领域中最具挑战性的基础性 研究课题之一，也吸引了来自物理、 数学、生物、社会学和复杂性科学 等众多领域的研究者，掀起了一股 研究热潮。从 2002 年至今，新的方 法层出不穷，新的应用领域不断被 拓展，不同领域的权威国际杂志和 多个重要国际学术会议多次报道这 方面的研究工作。 复杂网络聚类方法已成为图论、复杂网络、数据挖掘等理论的重要组成部分 和相关课程的核心内容。如康奈尔大学计算机系开设了《The Structure of I n fo r ma tio n N etw o r ks 》 课 程 ， 麻 省 理 工 电 子 工 程 和 计 算 机 系 开 设 了 《Networks and Dynamics》课程。
(Nature 2005)
科学家合作网： 每个节点表示 一个科学家， 连接表示科学 家之间的合作 紧密程度。
语义网络 : 每个节点 表示一个英文单词， 连接表示词在某个语 境下共同出现的频率。
15
聚类基因网络
Nature 2003
16
聚类新陈代谢网络
Nature 2005
17
聚类蛋白质网络
(Nature 2005)
以及关系数据分析等众多领域。
Nature 2005
13
应用例子1– 聚类分析
15 10 5 0 -5 -10 -10 0 10 20 30
Gaussian similarity function （高斯相似度函数）:
aij exp( || xi x j ||2 / )
14
应用例子2
社会网络、语义网络、生物网络分析
杂网络的功能、发现复杂网络中的隐藏规律和预测复杂网络的
行为不仅有十分重要的理论意义，而且有广泛的应用前景。 目前已被应用于：恐怖组织识别与组织结构管理等社会网络分
析，围绕新陈代谢、蛋白质交互、未知蛋白质功能预测、基因
调控和主控基因识别等问题的多种生物网络分析，Web社区挖 掘与Web文档聚类，搜索引擎，空间数据聚类，图像分割 ，
2
社会网络（Social Networks）
科学家协作网
移动电话网络
《圣经》对应的社会网络
3
生物网络（Biological Networks）
新陈代谢系统网络 蛋白质交互网络
食物链网络
4
科技网络（Technological Networks）
5
复杂网络分析具有重要研究意义
对于小规模网络，我们可以 通过肉眼观测其形态、特征， 但是对于(超)大规模复杂网 络，我们将很难通过肉眼深 入理解和预测网络的结构、 行为和功能，需要借助各种 复杂网络分析方法。
11
Network Community Structure (Science 2002, Nature 2005, 2007)
网络簇结构（network community structure）具有同簇节点相互连接 密集、异簇节点相互连接稀疏的特点。
12
1.复杂网络聚类方法的研究背景及意义
复杂网络聚类方法的研究对分析复杂网络的拓扑结构、理解复