新型网络计算技术课程-2-对等计算与对等网络技术

P2P资源定位：如何快速进行资源 查找？ P2P协同工作：如何借助P2P平台完成大
型任务的分布式协作？
P2P信任管理与激励机制：如何克 服free riding现象？
2 P2P技术
2.1. P2P拓扑结构
拓扑结构:节点之间按照一定的规则建立逻辑上 的连接关系，是确定系统类型的重要依据。 覆盖网络(overlay network):目前的P2P主要是作 network): 为一种Overlay网络构建在Internet上。 拓扑构造技术:在P2P系统的节点之间按照一定的 规则建立逻辑上的连接关系,形成P2P拓扑结构以实 现资源的有效组织. 构造拓扑结构的两种思路： （1）完全不同于C/S模式； （2）弱化服务器的功能
NUPTP2P
1 P2P概述
1.1 什么是P2P?
㈦ 我们的观点 A.一种思想:由地位对等的实体所 构成的分布式计算环境.
B.一种网络应用模式:弱化了服务器 功能,不存在绝对的权威节点
NUPTP2P 资源服务分布:P2P设备提供 的服务是Web环境下很难实现 的。Web站点服务器往往承担 B 着相当集中并且繁忙的工作 ，而客户端PC机的资源和服 务被大量闲置。
2 P2P技术
2.1 P2P拓扑结构
(1).非结构化 C.混合式拓扑结构示意图
NUPTP2P
2 P2P技术wk.baidu.com
2.1 P2P拓扑结构
(1).非结构化
C.混合式拓扑结构举例
NUPTP2P
insert(X, 123.2.21.23) ... Publish I have X! 123.2.21.23
NUPTP2P
...
NUPTP2P
A.非结构化-集中式资 源定位
两个基本特征:中心索引与分布式工作.与C/S模 式有一定的相似,但是服务器的功能得到了弱化. 如 Napster,BT(tracker),Seti@home(数据服务器)等.
NUPTP2P
2 P2P技术
2.2 资源定位技术
B.全分布式非结构化资源定位
NUPTP2P
2 P2P技术
描 述
2.2 资源定位技术
P2P的资源定 位技术 集中式资源定 位
主要应用有Napster,其特点是用于文件索引，所有查找工作在集中服务 器中完成。优点是减少网络通信量、不需要广播；如果服务器不超载则 响应快速。缺点是容易造成单点失败；潜在的拥塞；由于太多服务连 接，难以保证服务质量；如果中心服务器坍塌，则服务中断。 主要应用有Gnutella，Kazaa。其特点是没有中心服务器；查询需要在 一定范围内通过广播实现。优点是没有固定的网络拓扑；没有固定的数 据和索引位置。缺点是(1)协调工作和负载均衡主要依赖自组织;(2)缺乏 通信监管,易产生冗余流量 主要应用有CAN，Chord，Pastry。其特点是使用分布式哈希表；映射 和查询文件通过哈希键；通过哈希键可以加速和减少信息传播。采用 DHT模式具有以下优点: 负载平衡：分布式哈希函数使得索引项均匀地 分布在不同的节点上，因此它具有天然的负载平衡的特性。分散性：它 是完全分布式的。每个节点都是平等的，有效地改进了系统的健壮性。 可伸缩性：DHT查找的开销与节点的log函数成比例，因此即使很大的 系统也是可行的。能够快速定位信息。
㈠字面上
P2P可以视作Peer-to-Peer的缩写。peer在英语里 是“（地位、能力等）同等者”、“同事”和“伙伴”的意思 因此,P2P也就可以理解为“伙伴对伙伴”的意思，或 称为对等联网。 P2P系统依存于网络边缘设备的主动协作;每 个成员从其他成员而不是从服务器受益;系统中的 成员既是服务者又是消费者;系统应用的用户能够 意识到彼此的存在，构成一个虚拟或实际的群体。
网 :在 性 用 直接 P2P的 最 上， 以享受 的 C 户可 最迅速 中 直接 活动， 忽 交换 可能被 介尽 略。
社会 织、 性 : 具 有 D 表 节点 动 态 、 自 明P 2P系 利性等 自组 wor ld”现 统具 ，研究 象。 有“sm a ll
相比与C/S
集体 扩大 参 与 性 的 方 了 资 源 :P2P 每 个 式和范 交换 用 户 参与交 围， A 成 为 都可能 换的 者和 资 源 的 同时 消费 生 者。 产
早期的Internet结构：ARPANET 连接模式是对等的
标志性事件:文件共享系统Napster 的出现.（1999，Shawn Fanning,June）
Master/Slave或C/S或B/S出现， 适应了90年代的社会需求
随着Internet的普及以及客户端 能力的增强,P2P模式出现.
A.拨号方式 B.IP地址不足 C.资源与技术发展 不均衡
Step2.将node_id按一定形式组织成结构化的拓扑 结构,如Chord中的环,CAN中的超环,Tapestry中的 树等.
NUPTP2P
2 P2P技术
2.1 P2P拓扑结构
(2).结构化拓扑 A 结构化拓扑结构示意 图-环形
NUPTP2P 分布式哈希查找模式(Hash映射)
结构化拓扑结构的形成机制
新型网络计算技术
New network computing technologies
徐小龙
副教授/博士
南京邮电大学-计算机学院&软件学院
NJUPT
1
Agenda
1 2 3 4
云计算与网格计算技术 对等计算与对等网络技术 无线传感器网络与物联网 智能Agent技术
2
NJUPT
对等计算与对等网络技术
NUPTP2P
1 P2P概述
1.1 什么是P2P?
㈤Hp Lab
以分布式方式利用分布式资源完成关键功能的 系统. 典型的P2P系统主要应用在互联网边缘或者 Ad Hoc网络环境。
P2P技术为加入Internet的资源使用者和提供者提供 ㈥Ian Foster 了非中心化的、自组织的、对称的分布式环境，在广域 范围内实现了对数据信息、存储空间、计算能力、功能 组件、通信资源的充分利用。
I have file A. 1.2.3.4
NUPTP2P
2 P2P技术
2.1 P2P拓扑结构
4.3.2.1 A.集中式拓扑 --举例(接上) Where is file B?
③connection ②Reply ④Fetch ①Query search(B) --> 4.3.2.1
NUPTP2P
基于拓扑结构的P2P系统分类
NUPTP2P
2 P2P技术
2.1 P2P拓扑结构
(1).非结构化
A.集中式拓扑示意图
NUPTP2P
2 P2P技术
2.1 P2P拓扑结构
(1).非结构化
A.集中式拓扑--举例
②resource register insert(A,1.2.3.4) ...
①resource publish
A.客户端的能力增强 B.资源闲置现象严重 C.服务器成为系统可 扩展性和性能的瓶颈
NUPTP2P
Internet的P2P流量与其他网络流量比较
Web流量
P2P(70%左右)
FTP流量
Email流量
NUPTP2P
1 P2P概述
1.3 P2P系统特点
去中心化
自组织
分布式计算技术
可扩展性
P2P 特点
2 P2P技术
2.1 P2P拓扑结构
(1).非结构化 B.纯分布式拓扑示意图
NUPTP2P
2 P2P技术
2.1 P2P拓扑结构
(1).非结构化 B.纯分布式拓扑举例
NUPTP2P
I have file A. I have file A. Reply
Query Where is file A?
NUPTP2P
★不存在任何中心目录服务器;资源查找通过与邻居节点之间 的通信来共同完成; ★Gnutella是最为典型的采用非结构化的搜索的P2P协议,也是 当前研究P2P的主要参照对象; ★采用了ping,pong,query,queryhit,push等5种消息.
NUPTP2P
B.全分布式非结构化资源定位
洪泛式查询
NUPTP2P
2 P2P技术
2.2 资源定位技术
非结构化P2P系统
A.集中式资源定位 B.纯分布非结构化资源定位
结构化P2P系统
C.全分布结构化资源定位
NUPTP2P
2 P2P技术
2.2 资源定位技术
A.非结构化---集中式资源定位
Publish get query answer file
中心索引 服务器
㈡IBM
NUPTP2P
1 P2P概述
1.1 什么是P2P?
㈢Intel 主要通过直接交换来共享计算机资源和服务的系统
㈣专家Miller
P2P网络中的每个计算机有同等的能力和责 任. 并定义了五个关键特性。 网络提供点到点实时数据传输 节点既是客户端又是服务器 网络的内容由分布的节点提供 节点具有网络控制权和自治权 网络允许动态与匿名节点参与.
1
7 6 5
0
1 2 3
投影
二进 制流
Hash
ASCII码
转换
主机名 或IP地址
主机
2
4
投影 Key
二进 制流
Hash
ASCII码
转换
文件名或 资源索引
m位的标识符空间
结构化拓扑结构研 究的重点是如何将 key动态地映射到 Node上
文件或资源
NUPTP2P
2 P2P技术
2.1 P2P拓扑结构
(2).结构化拓扑 A 结构化拓扑结构构造举例
人类社会网络
社会性
高性价比
健壮性
13
NUPTP2P
报告提纲
1 2 3 4 P2P概述 P2P技术 P2P应用 P2P展望
NUPTP2P
内容介绍
1 2 3 4 P2P概述 P2P技术 P2P应用 P2P展望
NUPTP2P
2.P2P技术 2.P2P技术
2.1 2.2 2.3 2.4
P2P拓扑结构：如何建造有效的P2P 拓扑结构？
闭网 封 传统 障对象 布: 保 ,而 全分 安全 器端 全E 安 的 务 中 中服 用户安实 络 集 中 身 更多2P系统 点自 节 在P 地由 更多 现.
Peer-to-Peer
1.2 P2P产生与演化
电话通信方式：两个平等的实体 进行点对点通信 发展期:近年来,大量的P2P应用层出不穷,
如Gnutella、Kazaa和BT、Emule、Edonkey等
011
注:m=3, 2m=8 图. Chord环的构造
NUPTP2P
2 P2P技术
2.2 资源定位技术 资源定位技术:本报告是指根据搜索请求有效地 在P2P网络中查找到符合搜索条件的资源. 非结构化P2P系统的资源位置:每个资源存放位置 即为共享此资源的节点,系统没有提供资源标识到资 源所处位置的映射关系. 结构化P2P系统的资源位置: 每个资源精确地放置在确定的节点上,提供了资源标 识符ID到资源所在节点位置的映射关系.
构造Chord环
NUPTP2P
C.全分布式的结构化资源定 位 ----Chord举例
简单查询
（1）后继节点正 确则查询正确； （2）平均n/2个节 点参与信息交换
NUPTP2P
结构化Chord资源查询示意图（续）
扩展查询
每个节点转发至少 与目标节点距离中 一半的节点数目； 查询花费O(logn)步
Peer-to-Peer Computing: Technology & Network
NUPTP2P
内容 提 纲
1 2 3 4 P2P概述 P2P技术 P2P应用 P2P展望
内容介绍
1 2 3 4 P2P概述 P2P技术 P2P应用 P2P展望
NUPTP2P
1 P2P概述
1.1 什么是P2P?
麻省理工学院Frank(2001)等人提出 环型Chord协议. 000 111 001 010
110
环的构造:使用一致性哈希函数如SHA1，分别应用到网络中每个节点的IP和网络 资源的key”，从而得到m位的节点和网络 资源的标识符，这些节点标识符按大小顺 序被组织成一个规模大小为2m的一个环。
101 100
NUPTP2P
2 P2P技术
2.2 资源定位技术
C.全分布式的结构化资源定位
13FE 43FE 993E 73FE ABFE F990
04FE 9990 239E
1290
Chord
CAN
Tapestry
Pastry
NUPTP2P
C.全分布式的结构化资源定 位 ----Chord举例
二进制位数m=6 chord环容纳的节点 最大数目2m-1=63
search(A) --> 123.2.22.50
123.2.22.50 Query Where is file A?
Replies
search(A) --> 123.2.0.18
123.2.0.18
NUPTP2P
2 P2P技术
2.1 P2P拓扑结构
(2)结构化拓扑
Step1.系统中每个节点的唯一属性经哈希后得到 唯一的虚拟地址标识(node_id);
NUPTP2P
2 P2P技术
2.1. P2P拓扑结构-分类
非结构化拓扑：节点采用随机的方法或采用启发策略加入 网络，网络拓扑随着节点的变迁和网络通信的进行而发生演变。
结构化P2P拓扑:实现了分布式哈希表，并利用分布式哈希 表将数据项映射到节点。
NUPTP2P
2 P2P技术
2.1. P2P拓扑结构