非结构化P2P网络

合集下载

P2P网络拓扑结构

P2P网络拓扑结构

P2P网络拓扑
P2P 网络拓扑是P2P信息共享技术的基础, 它负责合理地组织网络中的节点以及节点 上提供共享的信息资源, 并在此基础上高 效地发送查询请求和查询应答消息, 其目 的是在保证检索质量的情况下, 尽可能减 少查询所引发的各种开销。
集中式
非结构化
全分布式 混合式
P2P网络 环装结构
全分布式结构化
P-Grid算法
• 作为反馈的索引值可以从以下两种方法得到: (1)乐观方法 乐观算法建立在转发节点将成功完成查询请求的 假定条件之上: 当一个节点向一个或几个邻居节点 转发查询时, 就增加被选节点的索引值。 (2)悲观方法 悲观算法与乐观算法相反: 当一个节点向一个或几 个邻居节点转发查询时, 就减少被选节点的索引值 (假设转发节点将失败)。
尹禾 192121
目录
• 了解P2P • 了解网络拓扑结构
• P2P网络拓扑结构的分类与优缺点 • 拓扑结构及算法实现 • 总结与展望
P2P技术
P2P(Peer-to-Peer)网络,被叫做对等网 络或对等计算,是一种有别于传统C/S(客 户端/服务器)模式的分布式网络。
传统C/S网络模式
P2P网络模式
P-Grid算法是一种基于虚拟分布式搜索树的P2P系统:每个节点 (Peer)只保存整棵树的一部分内容,这种树结构只有通过各 个节点间的通信合作才能建立起来。 •2.基本思想 P-Grid定义了一种新的数据访问结构。它的基本思想是: 节点 通过相互间随机的访问, 连续不断地分割搜索空间, 每个节点 均保留足够的信息以便在以后响应搜索请求时与其它节点通信。 最终形成的分布式访问结构就称为“P-Grid”(Peer Grid)。
•3.优点
搜索高效、快速,极大地减少了网络带宽,是一个真正的分布 式系统,不需要中央协调者。

P2P 技术在互联网中的应用和分析

P2P 技术在互联网中的应用和分析

P2P 技术在互联网中的应用和分析随着信息技术的飞速发展,基于P2P 的分布式网络资源共享系统逐渐成为用户获取数据信息的重要手段,本文对P2P 技术的结构模式和特点进行描述,对P2P网络应用加以说明,并对未来P2P的发展进行了展望。

标签:P2P 技术网络应用探讨一、引言P2P(Peer-to-Peer)又称为对等网,是近几年非常流行的一种网络技术,和传统的客户机/ 服务器模式不同,P2P 技术依赖网络中所有参与者的处理能力和信息共享,它改变了人们部署网络硬件资源的方式,为网络的发展提供了一种新的思路。

P2P 技术具有良好的扩展性和健壮性,性价比较高,P2P 网络是建立的基础是IP 网络,网络中所有安装特定软件的客户端构成一个逻辑P2P 网络,网络中的资源和应用分布在所有客户端上,各用户之间的数据传输无需服务器的介入就能够直接通信,通过这样的方式,大量的客户资源能够充分得到利用,降低硬件成本和,简化了复杂性。

二、P2P的结构类型P2P 网络的结构主要有三种模式:中央式P2P 网络、无中心结构P2P 网络和混合式P2P网络。

1.中央式P2P中央式P2P 网络在硬件部署上有一个中心服务器,主要负责维护共享资源信息以及对客户端查询信息作出回应。

根据中心服务器提供的功能,又可分为以下三类:1.1服务器提供资源的发现,查询和存储。

这种模式与传统的C/S 模型中一样,所有资源都存放在服务器上,客户端从服务器上获取信息,但客户端之间并不具有信息交换能力。

1.2服务器提供发现和查询。

在这种结构中,客户端存储共享资源信息,服务器则提供索引信息,服务器与客户端、客户端与客户端都可以进行数据信息交互。

1.3服务器仅提供发现功能。

在这种方式下,服务器仅提供在客户端的列表信息,客户端彼此之间建立连接和通信。

如果某个用户需要获取某个资料文件,会根据服务器提供的列表清单,依次查询所有的客户端,直到找到所需的资源,如果没有找到,则返回错误信息。

非结构化P2P网络资源搜索算法研究

非结构化P2P网络资源搜索算法研究

本地索 引算法 中 , 每个节 点维护 了距 离 自己m步 以 内节点 的数据 索引 , 当节点收 到查 询请求时 , 它可 以为 m步 以内的所有 节点处理查询 请求 , 这里 的 m是索 引半径 , 是 索引算法 的参 数。通过这 种算法 , 可以 把对 资源 的查 询处 理放 到较 少 的节点 上进 行 , 从而 降低 资源 搜索 延 时。本地索 引算法 工作过程如下 : 一个 系统范围 内的策略规定 了查询 消息的处理在哪些节点上进行 , 通常在深度为 2 m + l 的结点进行 。深度 不 在策略 中的结点不 处理查询请 求 , 只是简 单地将查询 消息转发 给邻 居。例如 , 如果搜 索策略 P = ( O , 5 ) , 那么离查 询结点深度为 0 和5 的倍 数 上 的结点会处 理查 询消息 , 其 它节点只是 简单 地把查 询转 发给邻居 节
1 . 2 本地索引算法( L o c a l I n d i c e s )
网络节 点资源可 以看成是节 点文本 的集 合 , 即节点 资源相关 度可 以通过计算文本相 似度得 到。本文通过扩展后缀树来表达节 点文本 内 容, 进 而通过构建 节点文本 向量来计算节 点资源 的相关 度 。统计 结果 表明 , 标题、 关键词 和摘要所 含信息代表 了文本信息 的 7 0 %, 并且摘 要 是从原 始文本资源 中提炼 出来 的最具代表 意义的短句集 合 , 反映 了文 档的 主题 内容 , 而且 摘要相对 较小 , 聚类速度 快且效率 高 , 因此在 本文 中我们主要是针对标题 、 关键词和摘要进行构建扩展后缀树 。 后缀树 : 一个有 n 个字符的 串P, 它的后缀树是一棵有 根的有 向树 , 共有 n 个 叶子 , 分别 标号 为 l 到n 。每一条 边都 用 P 的非 空子 串来 表 示 。从任一 节点 出来 的两条边 , 它 们必须 以不 同的字符 开始。从根 节 点到 叶子节 点 i , 顺序 经过 的树边 的 串联 , 恰 好为 P 从i 位 置开 始 的后 缀, 即P 。例如字符 串a p p l e ¥, 它所有的后缀为 : a p p l e ¥, p p l e ¥, p l e ¥,

第九章P2P数据管理系统

第九章P2P数据管理系统

第九章 P2P数据管理系统
P2P系统的体系结构
P2P系统的体系结构分为三种:集中式、分布式和混合式。 (1) 集中式P2P网络
在集中式P2P网络中,维护着一个全局的目录服务器,它负责记录节 点的共享信息并回答对于这些信息的查询请求。提供者节点把共享信 息发布到目录服务器上,消费者节点首先在目录服务器上查找所需资 源的准确节点位置,然后连接节点完成数据交换。 集中式P2P网络与传统的client/server模式下的集中式系统虽然有相 似之处(都维护着一个中心服务器)但两者有着本质的区别:传统的 集中式系统的中心服务器不仅保存资源的目录信息,更为关键的是保 存全部的共享资源,客户端只能连接中心服务器并下载所需要的数据; 而集中式P2P网络的中心服务器只保留共享信息的目录,所有共享信 息依然保存在局部节点上。消费者节点在中心服务器上查找到资源提 供者节点后,完成节点之间的连接,并进行数据交换。
第九章 P2P数据管理系统
P2P系统的体系结构
P2P系统的体系结构分为三种:集中式、分布式和混合式。 (1) 集中式P2P网络
第一代P2P网络均采用集中式结构,其中典型的代表是Napster。 Napster是一种可以在网络中下载自己想要的MP3音乐文件的软 件。安装了Napster系统的机器将成为一台服务器,可为其它用 户提供音乐下载服务。Napster系统本身并不存储和提供MP3文 件下载,它实际上提供的是整个网络中包含的MP3音乐文件 “目录”,即MP3音乐文件的地址,这个目录存放在一个集中 的服务器上,而MP3音乐文件本身则分布在网络中的每一台机 器上。使用者在目录服务器上找到想要的MP3音乐文件的位置, 然后到指定的位置完成下载。2002年,Napster由于违反了知识 产权保护法而被迫关闭。

非结构化P2P覆盖网络通信协议研究

非结构化P2P覆盖网络通信协议研究
C m ue n ier ga d p l ai s o p t E gnei A p i t n 计算机工程 与应用 r n n c o
非结构化 P P覆盖 网络通信协议 研究 2
姚全珠, 李 薇, 孔 伟
Y O a z u L iKO A Qu n h , IWe, NG i We

要: 针对各种基 于 流言机 制的通信协议 在构造 非结构化 P P 2 覆盖 网络 中, 其适用范 围缺 乏广泛 的实证 问题 , 出了一 个通的节点采样服 务 , 行 高效和 可靠 的节 点采样服务 。在 这种协议框 架下通 过实验分析 了 8 以执 种通 信协议 的差 异。 实验表 明, 用不 同的通信协 议 , 采 所构造 的非结构 化 P P覆盖 网络就表现 出多种 不 同的行 为特性 , 2 为构造非结构 化 P P 盖 网络 中选取通信协议提 供 了重要 的参 考依 据。 2覆 关键 词 : 流言机 制; 节点采样服 务; 通信协 议; 非结构化 P P 2 覆盖 网络
西安理工大 学 计算机科学 与工程学院 , 西安 7 0 4 10 8
S h o f Co u e ce c & En i e r g, ’ n Un v r i f T c n l g Xi a 0 4 Ch a c o l o mp t r S in e g n e i Xi a i e s y o e h o o y, ’ 71 0 8, i n t n n
Ab t a t Go sp b s d o sr c : s i 。 a e c mmu iai n p o o o s a e e n p l d n c n t c u s ucl e 2 v ra n t r b t t er n c t r t c l h v b e a p i i o sr t n 仃 t r d P P o e l y e wo k. u h i o e u 1 s o e o p l ai n a e h l c o x e sv e i c l n l ssT i c p s f a p i t h v t e a k f e tn i e mp r a a ay i . h s a e p e e t a e e c r m e r g s i — a e c o i p p r r s n s g n t fa wo k, o sp b s d i p e s mp i g e v c t i lme t r l b e n f ce t a l g e i eUn e e r e r o x lr a d o a e e r a l s r ie o mp e n a ei l a d e n a i in s mp i s r c . d r t fa wo k t e p o e n c mp r n v h m eg t o ih c mmu i ai n r t c 1 e e u t o x e m e t s o n c t p oo o . r s l o h T s f ep r i n s h w t a t e i e e t o h t h d f r n c mm u i ai n r t c l o sr cs u o n c t p o o o c n t t o u o t f

P2P网络的拓扑结构

P2P网络的拓扑结构

P2P网络的拓扑结构拓扑结构是指分布式系统中各个计算单元之间的物理或逻辑的互联关系,结点之间的拓扑结构一直是确定系统类型的重要依据。

目前互联网络中广泛使用集中式、层次式等拓扑结构。

Internet本身是世界上最大的非集中式的互联网络,但是九十年代所建立的一些网络应用系统却是完全的集中式的系统,许多Web应用都是运行在集中式的服务器系统上。

集中式拓扑结构系统目前面临着过量存储负载、DOS(Denial of S ervice,拒绝服务)攻击,网络带宽限制等一些难以解决的问题。

Peer-to-Peer (简称P2P) 系统主要采用非集中式的拓扑结构,一般来说不存在上述这些难题。

根据结构关系可以将P2P系统细分为四种拓扑形式:•中心化拓扑(Centralized Topology);•全分布式非结构化拓扑(Decentralized Unstructured Topology);•全分布式结构化拓扑(Decentralized Structured Topology,也称作DHT网络);•半分布式拓扑(Partially Decentralized Topology)。

其中,中心化拓扑最大的优点是维护简单,资源发现效率高。

由于资源的发现依赖中心化的目录系统,发现算法灵活高效并能够实现复杂查询。

最大的问题与传统客户机/服务器结构类似,容易造成单点故障,访问的“热点”现象和版权纠纷等相关问题,这是第一代P2P网络采用的结构模式,经典案例就是著名的MP 3共享软件Napster[1].Napster是最早出现的P2P系统之一,并在短期内迅速成长起来。

它实质上并非是纯粹的P2P系统,而是通过一个中央索引服务器保存所有Napster用户上传的音乐文件索引和存放位置的信息。

它的工作原理如图1所示。

当某个用户需要某个音乐文件时,首先连接到Napster中央索引服务器,在服务器上进行检索,服务器返回存有该文件的用户信息,再由请求者直接连到文件的所有者传输文件。

EIR:具有超级结点的非结构化P2P中多维数据搜索框架研究

EIR:具有超级结点的非结构化P2P中多维数据搜索框架研究
收集与维护 、 I -re E R te 树的构建与维护等 方法和措施 。 关键词 非结构化 P P 超级结点 , 2, 多维数据 , 数据查询 , 索框架 搜
EI :T eS a c r me r fM ut dm e so a ts t n Un tu tr d P P Newo k wi u e - e r R h e rh F a wo k o li i n in l - Da ae s r cu e 2 t r t S p rp e o h
Z ENG - n CHEN h— n Bi Qig Zi Ga CHEN n - a wU i h n He g F Ru- e 1 Z
( p rme to m p trEn ie r De at n fCo u e gn e i ng,Na h iCa p s o t ia Nom a n a m u ,S u h Chn r lUniest vri y,Na h i 2 2 5) n a 8 2 5 ( le eo nfr a in S in ea dEn ie rn o C lg fI o m to ce c n gn eig,Ce ta ut nv ri n rlS h U iest o y,Ch n s 1 0 3 z a g ha4 0 8 )
摘 要 在具有超级结点的非结构化 P P系统 中, 究 于具有超 2 研 提 级结点的非结构化 P P网络的综合框 架, 该框 架 中, 够 实现 对 多维数据 共 享、 引以及 查询 等操 作的 处理。 以 2 在 能 索 R—t e r 索引树为基础 , 出 了一种 能够应 用于 P P的扩展 R—t e索引树 , E R te 树 , 究了系统 中集群信 息的 e 提 2 r e 即 I- e 研 r

计算机四级网络工程师试题库含答案

计算机四级网络工程师试题库含答案

计算机四级网络工程师试题库含答案一、单选题(共82题,每题1分,共82分)1.数据传输速率为3.5×10 12 bps,它可以记为( )。

A、3.5KbpsB、3.5MbpsC、3.5TbpsD、3.5Gbps正确答案:C2.关于BitTorrent的描述中,正确的是( )。

A、源于MIT的开源系统B、最初的BitTorrent采用DHT技术C、不需要中心服务器D、不需要种子文件正确答案:A3.下列进程间通信的各种方法中,哪一个是“信箱”通信方式()。

A、在内存中开辟若干区域,发送进程申请一个区域,并将信息送入,然后把它插入到接收进程的相应队列中,之后通知接收进程B、发送进程创建好连接两个进程的一个打开的共享文件,然后写入数据流;接收进程在需要时可以从该共享文件读出数据,写入和读出数据的长度是可变的C、在相互通信的进程之间设一公共区域,一组进程向该公共区域写,另一组进程从公共区域读,通过这种方式实现两组进程间的信息交换D、发送进程首先创建一个链接两个进程的通信机制,然后把信息送入该机制;发送进程和接收进程不直接建立联系,而接收进程可以在任何时刻从该机制中取走信息正确答案:D4.关于交换式以太网的描述中,正确的是( )。

A、基本数据单元是IP分组B、数据传输不会发生冲突C、核心设备是集线器D、需要执行IP路由选择正确答案:B5.处理器中对用户不可见的寄存器是( )。

A、地址寄存器B、条件码寄存器C、数据寄存器D、指令寄存器正确答案:A6.全文搜索引擎功能模块的组成为搜索器、检索器、用户接口和( )。

A、加密器B、交换器C、索引器D、网守正确答案:C7.关于Web服务系统的描述中,正确的是( )。

A、Web采用对等工作模式B、页面到页面的链接信息由URL维持C、Web页面通常符合HTTP规范D、Web的传输协议采用HTML正确答案:B8.从网络设计者角度看,Internet是一种( )。

A、城域网B、广域网C、局域网D、互联网正确答案:D9.某 4 核处理器的计算机系统中共有50个进程,那么,处于就绪状态的进程最多有几个( )。

P2P网络搜索技术

P2P网络搜索技术

Chord:插入
Node 105
Key 5
K5 K20
N105
Circular ID space
N32
N90
K80
Chord结点加入算法
Chord的自适应需要保持两个不变的属性
每个结点的后继始终正确 对每个对象k,结点successor(k)始终负责k的索引
为此,新结点n的加入需要完成几个任务
Chord/CAN/Tapestry/Pastry
目标相同
减少路由到指定文件的P2P跳数
减少每个Peer必须保持的路由状态
算法异同
都保证算法的跳数与Peer群组的大小相关 或都指出算法能以高概率完成 方法上的差别很小
Chord
每个Peer保持LogN其他Peer的踪迹(N是群组的全部Peer
“N90 has K80”
N32
K80 N90
N60
结点维护一个有m(ID位数)项的路由表,也称“指 向表”(finger table),其中第i项指向结点s, s=successor(n+2i-1),1≤i≤m,即s是在顺时针方向到n 的距离至少为2i-1的第一个结点,记做n.finger[i].node Chord路由表的特点:
1.2.3.4
Napster原理
4.3.2.1 search(A) --> 4.3.2.1
Fetch
Query
Reply
Where is file A?
分布式结构化P2P搜索
分布式结构化P2P搜索
结构化P2P网络中,每个节点都有固定的地址,整个网络具有相对稳定而规则的拓扑结构。依赖 拓扑结构可以给网络的每个节点指定一个逻辑地址,并把地址和节点的位置对应起来。

p2p技术

p2p技术

1、什么是P2P技术?并说说明其优缺点点对点技术(point to point,简称P2P)又称对等互联网络技术,是一种网络新技术,依赖网络中参与者的计算能力和带宽,而不是把依赖都聚集在较少的几台服务器上。

P2P网络通常用于通过Ad Hoc连接来连接节点。

这类网络可以用于多种用途,各种档案分享软件已经得到了广泛的使用。

P2P技术也被使用在类似VoIP等实时媒体业务的数据通信中。

P2P网络的一个重要的目标就是让所有的客户端都能提供资源,包括带宽,存储空间和计算能力。

因此,当有节点加入且对系统请求增多,整个系统的容量也增大。

这是具有一组固定服务器的C/S结构不能实现的,这种结构中客户端的增加意味着所有用户更慢的数据传输。

P2P网络的分布特性通过在多节点上复制数据,也增加了防故障的健壮性,并且在纯P2P网络中,节点不需要依靠一个中心索引服务器来发现数据。

在后一种情况下,系统也不会出现单点崩溃。

当用P2P来描述Napster 网络时,对等协议被认为是重要的,但是,实际中,Napster 网络取得的成就是对等节点(就象网络的末枝)联合一个中心索引来实现。

这可以使它能快速并且高效的定位可用的内容。

对等协议只是一种通用的方法来实现这一点。

P2P在安全上的好处:隐私保护与匿名通信在P2P网络中,由于信息的传输分散在各节点之间进行而无需经过某个集中环节,用户的隐私信息被窃听和泄漏的可能性大大缩小。

此外,目前解决Internet隐私问题主要采用中继转发的方法,从而将通信的参与者隐藏在众多的网络实体之中。

在一些传统的匿名通信系统中,实现这一机制依赖于某些中继服务器节点。

而在P2P中,所有参与者都可以提供中继转发的功能,因而大大提高了匿名通信的灵活性和可靠性,能够为用户提供更好的隐私保护。

健壮服务与网络抗毁P2P采用了完全分布式架构,网络中的节点既可以获取其他节点的资源或服务、同时又是资源或服务的提供者,不依赖于少数集中控制节点,具有比传统的Client/Server网络更好的健壮性和抗毁性,成为构建高健壮性网络的有效方式。

P2P网络搜索技术

P2P网络搜索技术

P2P网络搜索技术一、P2P技术简介(一)概念及特征。

P2P是peertopeer的缩写,是一种用于不同用户PC机之间共享他们所拥有的空闲软硬件资源(处理能力、存储能力、网络连接能力、可共享文件等),可以不经过中心节点直接互相访问和交换信息的技术。

它打破了传统的C/S式,在对等网络中,每个节点都具备客户机和服务器的双重特性,可以同时作为服务使用者和服务提供者。

与其他网络模型相比较,P2P有分散化、可扩展性和健壮性好、高性能等优点。

P2P技术目前的主要应用:文件共享与交换、协同工作、搜索引擎、分布计算、智能代理。

(二)P2P与C/S的区别。

每个对等点具有相同的地位,同时扮演着服务器和客户端两个角色,还具有路由和缓冲的功能。

P2P中每个结点可以很容易加入系统中,其中任一结点可以利用网络上其他对等体的信息资源、理器周期、速缓存和磁盘空间,P2P是基于内容的寻址方式。

P2P模式最主要的优点就是资源的高度利用率,所有节点的资源总和构成了整个网络的资源,整个网络可以被用作具有海量存储能力和巨大计算处理能力的超级计算机。

而且对等点越多,网络性能越好,网络随着规模的增大而越稳固。

信息在网络设备节点间直接流动,高速即时,降低中转服务成本。

但P2P也有些不足,P2P不易管理,对等点可以随意的加入或退出,会造成网络带宽和信息存有的不稳定。

二、P2P的几种搜索技术(一)P2P搜索的几种基本方式1、Index集中式架构。

存有一个提供索引功能的节点,这个节点的索引储存了资源所在的位置信息,给定资源的某种查询条件,索引可以迅速找出符合条件的资源及其所在的位置2、Hash分布式结构。

这种方式要求每一个资源都可以通过某种hash算法找到一个唯一的地址,发布资源时资源不是保存有本地,而是保存有这个资源hash后的地址所对应的节点中。

3、Flooding分布式架构。

这种方式要求每个节点都有查询本地资源的能力,每个节点都有d个邻居,这些节点之间通过邻居关系构成一个连通的网络。

纯分布式P2P网络结构浅析

纯分布式P2P网络结构浅析

纯分布式P2P网络结构浅析作者:刘凯张华来源:《电脑知识与技术》2012年第36期摘要:P2P(Peer-to-Peer)是现今广泛使用的一种网络模型,非结构化P2P模型和结构化P2P模型是其中两种基本拓扑结构。

非结构化模型一般使用洪泛方法实现,结构化P2P网络一般使用分布式哈希表构建。

该文在分析两种P2P网络的基础上,对比了结构化P2P模型和非结构化P2P模型中的典型案例的实现过程,并对其优缺点进行了总结。

关键词:P2P;洪泛;分布式哈希表中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2012)36-8631-031 研究背景二十一世纪以来,信息技术迅速发展,互联网上的信息量快速增长,根据Google公司的报道,到2005年,Google已经索引了80.6亿个页面和10亿以上的图片,如何有效管理这些信息是一个热点和难点问题。

当前,互联网程序主要使用客户机/服务器(C/S)和浏览器/服务器(B/S)模式,这两种模式都以服务器为中心,由服务器负责存储资源和提供服务。

但随着互联网的发展,两种模式中服务器的负载越来越重,服务器成了发展的瓶颈,同时应用程序对服务器依赖性较大,一旦服务器出现故障,整个系统都面临崩溃。

P2P的出现,使得消除服务器为中心的网络瓶颈成为了可能。

最近几年,P2P计算已称为计算机中的热门话题之一。

P2P网络是一种分布式的网络,它打破了传统的C/S和B/S模式,在网络中每个计算机的功能和地位都是对等的,每个计算机既为其他用户提供服务,也想用其他用户所提供的服务,在P2P中,所有的运算、存储等都分布在各个计算机上,这样就减少了对服务器的依赖,减轻了服务器的负载。

2 P2P网络结构P2P系统一般要构造一个拓扑结构,在这个结构中需要解决节点命名,出错恢复和数据查询等问题,现有的P2P网络结构有以下几种:2.1混合型的P2P结构这种结构并不是完全的分布式P2P,这种结构中仍然有服务器的存在,不过服务器的作用发生了改变,和传统的C/S相比,此时服务器仅祈祷促成各种节点协调和扩展的功能,一般这种服务器我们称为索引服务器。

非结构化P2P网络的一种改进搜索算法

非结构化P2P网络的一种改进搜索算法
分析 比较 , 表 明改进后算 法的高效性 和可行性 。
关键词 : 非结构化 P 2 P网络 ;洪泛法 ;冗余 查询 包;搜 索算法 ; 模 拟
中图分 类号 : T P 3 9 3 文献标识码 : A d o i : 1 0 . 3 9 6 9 / j . i s5 . 2 0 1 3 . 1 2 . 0 1 2
主要的搜索算法 _ 6 。洪泛法 的优点是 算法思想简 单, 但是一个致命 的缺陷是会产生冗余的查询数据包 ( 下文中简称查 询包 ) , 大量 的冗余查询信 息可能成 为网络瓶颈而限制 网络的性能 , 比如网络中资料利用 率的下降和搜索效率的降低 [ 8 。 。 。
2 0 1 3年第 1 2期 文章编号 : 1 0 0 6 - 2 4 7 5 ( 2 0 1 3 ) 1 2 - 0 0 4 4 - 0 4
计 算 机 与 现 代 化 J I S U A N J I Y U X I A N D A I H U A
总第 2 2 0期
非结构化 P 2 P网络 的一 种 改 进 搜 索算 法
叶 培顺
( 榆 林学院信 息工程学院 , 陕西 榆林 7 1 9 0 0 0 ) 摘要 : 分析非结构化 P 2 P网络 中利 用原始 的洪泛法进行 资源搜 索时产生冗余查询 包的原 因, 提 出整 改的措 施和优化 的机
制, 在此基础上给 出改进 的搜 索策略 , 同时设计 出一种更好的分段搜 索算法 , 并对其进行 实验仿 真, 通过 和洪泛 法的模 拟
I m pr o v e d S e a r c h Al g o r i t h m f o r Uns t r uc t ur e d P2 P Ne t wo r k
YE Pe i . s h u n

Chord算法(原理)

Chord算法(原理)

Chord算法(原理)算法是P2P中的四⼤算法之中的⼀个,是有MIT(⿇省理⼯学院)于2001年提出,其它三⼤算法各⾃是:Chord的⽬的是提供⼀种能在P2P⽹络⾼速定位资源的的算法,Cord并不关⼼资源是怎样存储的,仅仅是从算法层⾯研究资源的取得,因此Chord的API就简单到仅仅有⼀个set、get。

1、Chord是什么?Chord是⼀个算法,也是⼀个协议。

作为⼀个算法,Chord能够从数学的⾓度严格证明其正确性和收敛性;作为⼀个协议,Chord具体定义了每⼀个环节的消息类型。

当然,Chord之所以受追捧,另⼀个主要原因就是Chord⾜够简单,3000⾏的代码就⾜以实现⼀个完整的Chord。

Chord还能够被作为⼀个⼀致性哈希、分布式哈希(DHT)的实现。

2、覆盖⽹络(overlaynetwork)是指这样⼀种⽹络:构建在其它⽹络之上、⽹络节点之间通过虚拟或逻辑连接在⼀起,⽐⽅云计算、分布式系统都是覆盖⽹络,由于其都构建于TCP/IP之上,且节点之间有联系。

Chord也是构建于覆盖⽹络。

3、结构化与⾮结构化⽹络⾮结构化的P2P⽹络是指⽹络节点之间不存在组织关系,节点之间全然是对等的,⽐⽅第⼀代P2P⽹络Napster,这类⽹络结构清晰、简单,但查找没有多⼤的优化余地,常常採⽤全局或分区泛洪查找,查找时间长、且结果难以保证(有可能在找到前就超时)。

结构化的P2P⽹络与⾮结构化恰好相反,我们觉得⽹络在逻辑上存在⼀个⼈为设计的结构,⽐⽅Chord假定⽹络是⼀个环,Kadelima则假定为⼀颗⼆叉树,全部的节点均为树的叶⼦节点。

有了这些逻辑结构,就给我们资源查找引⼊了很多其它的算法和思路。

4、分布式哈希表(DHT)的主要想法是把⽹络上资源的存取像Hashtable⼀样,能够简单⽽⾼速地进⾏put、get,该思想的诞⽣主要是受第⼀代P2P(Napster)⽹络的影响。

与⼀致性哈希相⽐,DHT更强调的是资源的存取,⽽⽆论资源是否是⼀致性的。

计算机网络P2P

计算机网络P2P
11
无结构P2P网络的特点
• 覆盖网拓扑结构 无结构,指覆盖网没有固定、严格的拓扑 结构,而是一个随机生成、松散组织的普通图, 但总是符合某种模型的一种结构。 a.小世界模型: 指任一两个网络节点间的距离很 短,并且对每个节点而言,其邻居节点相识 (互相连接)的频率很高,所以节点集群现象 明显。 b.幂律模型: 网络中拥有连接数L的结点占网络 结点总数的份额正比于L-a ,a是取决于网络本身 的常数因子,因此网络中大多数结点连接数很 少,少数结点连接数很多。
资源的发布不接受两个角色合 二为一,在生产和消费资源的 角色上是对等的
P2P网络中无中介、等级、格 式、区域和平台的限制,相互 乊间直接交换信息和服务
可充分利用个人计算机的软硬件 设备,信息和服务在节点间传输 时交互的对象及接收的目标是确 定的、有效的
无服务器参不空间分配,可提 供实时的、可升级的信息
33
BitTorrent
传统下载方法不BT下载比较
HTTP、FTP下载原理
BT下载原理
BT下载:作为服务器的Peer把文件传给其他的Peer后,各个Peer之 间也进行交互传。这样,单一的下载源就变成了多个源,Peer越多, 彼此之间交互的范围和数量也就越大,下载速度也就越快。
34
BitTorrent
USENET的出现
丌对外提供应用服务,也丌存放 仸何实体资源,只是作为实体资 源的目录戒索引而存在
Napster的兴起
8
9
Napster客户端
Napster客户端
向索引服务器请求MP3文件
Napster客户端 中央索引服 务器
需 要 下 载 MP3 文 件的主机
Napster客户端
此主机上有所请求 的MP3文件 Napster客户端

【国家自然科学基金】_非结构化p2p_基金支持热词逐年推荐_【万方软件创新助手】_20140803

【国家自然科学基金】_非结构化p2p_基金支持热词逐年推荐_【万方软件创新助手】_20140803

科研热词 p2p网络 非结构化p2p网络 激励机制 对等网络 p2p 虚节点 稳定性 点播 异步传输 子节点 可扩展性 分布式哈希表 信任模型 非结构化对等网 非结构化p2p系统 非结构化p2p 非结构化 随机算法 随机技术 随机多图 链路利用率 路由延迟 超级节点 资源查找 语义覆盖网络 语义检索 计算机应用 覆盖网络 覆盖算法 被动蠕虫 节点异构性 聚类 索引副本表 稀缺资源索引副本扩散机制(nlir)算法 稀缺资源 移动agent 生日悖论 混合式p2p网络模型 查找的响应时间 本体 服务信任 映射 无偏抽样 搜索算法 搜索策略 搜索命中率 惩罚机制 性能分析 平衡点 平衡二叉树 对等网 对等系统
2008年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44
科研热词 对等网络 非结构化p2p 连接度 超级节点 洪泛 对等计算 p2p网络 非结构化 路由算法 资源查询 资源共享 资源信息服务 覆盖网 虚拟计算环境(ivce) 自治域系统 聚类域 联合授权 策略迭代 移动自组网 移动代理 模型 搜索负载 搜索时间 拓扑误配 拓扑失配 投票 应用层组播 层次分析法(ahp) 对等组 委托授权 分布式文件共享 分层非结构化p2p 免疫细胞 信息缓存 信息检索 体系结构 web服务发现 super-peer层资源发现 p2pstreaming p2p markov决策过程 k+查询树 grid-p2p gnutella
推荐指数 5 2 2 2 2 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

P2P网络的搜索算法分析

P2P网络的搜索算法分析

P2P网络的搜索算法分析摘要:P2P网络的搜索算法是P2P技术的一个重要研究领域。

通过对P2P网络搜索算法定义和研究意义的介绍,让读者概略地了解此种搜索算法;并且通过对其分类,展示了其发展的过程;最后,通过典型P2P搜索算法的分析,进一步说明了其优越性和发展前景。

关键词:P2P;搜索算法;泛洪;DHT1什么是P2P网络的搜索算法P2P是英文Peer to Peer(对等)的简称,又被称为“点对点”。

“对等”技术是一种网络新技术。

P2P技术可以不通过服务器的中转而实现计算机系统之间资源和信息的直接共享。

P2P 技术研究的一个重要分支便是搜索算法的研究。

P2P搜索算法即指基于P2P网络结构的搜索方式。

它的存在形式导致其与现有搜索技术有了很大的不同。

由于P2P 网络资源分散性极强,分布于各个节点;节点允许自由进退,资源不断变化处于动态。

而这两方面都使得P2P网络搜索的难度大大地增加。

2P2P网络搜索算法的分类对比2.1集中式集中式的搜索是以目录服务器为中心的搜索方式。

目录服务器会记录下网络中共享资源的所有信息并且会对对这些共享资源逐一进行索引和查找。

集中式搜索里,所有的对等点和已经知道地址的目录服务器都相互连接,因此,目录服务器会记下每个对等点的加入或离开,并随之更新系统索引表。

集中式搜索具有诸多优势,例如:搜索的速度快、内容全面,搜索过程中需要的信息量小,节省网络带宽等等。

但是,不容忽视的是,集中式搜索也有其自身无法克服的缺陷:由于中央服务器的瘫痪容易造成其整个网络的崩毁,因此大大降低了其搜索的可靠性和安全性;另外,中央目录服务器的更新维护费用都会由于网络规模的扩大而急剧增加,致使所需成本也大大提高;再有就是中央服务器的存在引起了共享资源在版权上的划分不清纷争不断,也因此这种搜索成为了非纯粹意义的P2P 网络模型。

2.2分布式搜索能够解决集中式搜索所具有以上的问题。

与集中式搜索相比较,分布式搜索没有目录服务器,或者说每个对等点都可称为一个服务器;每个对等点都具有相似的功能;对等点通过彼此相连串联起整个网络体系,依靠其所在的网络来搜索确定其余对等点和搜索资源。

一种有效的非结构化P2P网络资源搜索策略

一种有效的非结构化P2P网络资源搜索策略
慢, 降低 了系统 的效率 L 。 2 J
1 常 见 的 非 结 构 化 P P 网络 资 源 搜 索 策 略 2
非结 构 化 P P 网 络 的 基 本 搜 索 算 法 是 洪 泛 2 ( l d g 算法 , Fo i ) on 该算法 的特点是 路 由时 进行 全网络遍 历的盲搜索 , 网络 的拓 扑没有 固定 的结构 , 各个节点需 要维护一个记 录邻 居节点 的路 由表 , 来传 递查 询 消 用 息。 当网络 中的某个 节点 发 出查询请 求 时 , 首先 向它 所 有的邻居节点传输 查询 信息 , 如果 某个 邻居 节 点有 符合 条件的资源 , 响应该 查 询请求 , 便 否则 , 居 节点 邻
李春 秀 , 方 爱 刘
( 东师范 大 学 信 息科 学与 工程 学院 , 东 济 南 2 0 1 ) 山 山 50 4

要: 针对 非结 构 化 P P网络 资 源搜索 算 法 中冗 余 消息 数过 多 、 2 搜索 效率 低等 问题 , 出 了一种 基 于邻 居 一邻 居节 点 的 提
非 结构 化 P P网络 资源 搜 索策 略 , 策 略可 以在 一定程 度 上 防止 路 由环 路 的产 生 , 2 该 同时 综 合 考虑 邻 居 节点 的活 跃 度 和 资 源命 中数 , 下一 条邻 居 节点 路径 转 发查 询消 息 , 查询 信 息发 往 目标可 能存 在 的 区域 , 选择 将 因此 减少 了发 往 网络 的查 询 信 息包数 量 , 了 网络带 宽 。实 验结 果表 明 , 法可 以 减少 大 量 的 冗余 查 询 信 息 , 高 资 源搜 索 的成 功率 , 一种 有 效 节省 该算 提 是 的非 结构 化 P P网络 资源 搜索 策 略 。 2
能力 的不 断增强 , er o er简称 P P 作 为一 种 P e—t —Pe( 2)

chord算法解析

chord算法解析

直接从peer下载,不再需要经过目录服务器!!
2.1.2 基于目录服务器的P2P网络: Napster(4)
特点
索引发布和内容定位通过目录服务器进行,因此 查询简单、高效,但是和客户/服务器模式一样, 目录服务器存在瓶颈和单点失效问题,而且可扩 展性差
2.1.3 层次P2P网络: KazaA(1)
SHA-1(“202.38.64.2”) =e1d9b25dee874b0c51db4c4ba7c9ae2b766fbf27
2.2.2 DHT原理(1)
将内容索引抽象为<K, V>对
K是内容关键字的Hash摘要
K = Hash(key)
V是存放内容的实际位置,例如节点IP地址等
但是内容定位(也称为索引查询)或者采用泛洪,或 者采用目录服务器的方式,缺乏有效的、可扩展 的索引查询机制,不能满足大规模网络的需求
2.2 几种结构化P2P
Chord Pastry CAN Tapestry
基于分布式Hash表 (DHT: Distributed Hash Table )
结构化P2P: 直接根据查询内容的关键字定位其索引的存放节点
层次P2P网络
Peer根据能力的不同,例如是否拥有足够强的计算存储能力,是 否拥有公网IP,分为超级节点和一般节点
超级节点之间构成完全分布式的P2P网络 超级节点和其所连接的一般节点构成基于目录服务器的P2P网络,
其中超级节点具有目录服务器的功能
2.1.1 完全分布式的P2P网络: Gnutella(1)
拥有 xyz.mp3的节点 1.2.3.4
应答
Value=1.2.3.4
谁拥有xyz.mp3?
2.1.3 层次P2P网络: KazaA(3)
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

Directory Server
User
User
集中模型的优点和缺点
优点: 结构简单 便于管理 资源检索响应比较快(不同情况不一定) 管理维护整个网络消耗的网络带宽较低
集中模型的优点和缺点
缺点: 服务器承担所有的检索工作,负载过重 不完全符合P2P的原则 服务器上的索引不能及时更新,检索结 果不精确 服务器受到攻击时,对服务影响较大 容易受版权限制 穿透防火墙能力差
混合模型同时吸取了完全分散式模型 和层次模型的优点,构建高效的混合拓扑 结构需要同时涉及这两种模型的问题。 对于超级节点组成的完全分散式网络, 更好的gossip协议和智能的TTL选择方法 可以改善网络负载和搜索覆盖率的平衡性。 超级节点的选取算法也影响混合P2P网 络的服务质量。
P2P相关其他问题
混合模型
混合模型可以利用完全分散式模型在 节点数不多时实现的高分散性,鲁棒性 和高覆盖率。也利用层次模型对大规模 网络提供可扩展性。 在完全分散式模型中,TTL=5时,网 络的规模不超过20000,性能是较好的, 如果每个超级节点管理50-200个普通节 点,整个网络规模是可观的。
混合模型研究的重点
node ttl=4 ttl=5 ttl=6
Random Walk 覆盖率
newscast协议使用不同TTL的覆盖率
层次化模型(MBone)
在层次化模型中,把参与服务的部分性 能较好的节点选出作为超级节点,超级节点 管理普通节点,超级节点再由更高级一级的 超级节点管理,构成层次化的结构。超级节 点保存子节点的文件索引信息。
Random Walk
采用newscast协议(gossip的一种)得到的 最大深度
10 9
hop
8 7 6 5
1
5
9
13
17
21
25
29
33
37
41
45
49
53
57
61
65
69
73
77
81
85
89
93
1E+04 最大深度
97
rate
100 20 40 60 80 0
5000 10000 15000 20000 25000 30000 35000 40000 45000 50000 55000 60000 65000 70000 75000 80000 85000 90000 95000 1E+05
混合模型
在完全分散式模型中,TTL=5时,网络的 规模不超过20000,网络覆盖率是相当高的
混合模型
层次化模型中,处于底层的超级节点是 比较容易维护的,某个这种超级节点的离 开对网络的影响不大。 混合模型的思想是,把整个P2P网络建 成一个二层结构,由普通节点和超级节点 组成,一个超级节点管理多个普通节点, 超级节点直接使用gossip协议构成完全分 散式模型。
非结构化P2P网络
内容
1. 2. 3. 4. 5.
介绍 集中模型: Napster 分散模型: Gnutella 层次化模型 混合模型
介绍பைடு நூலகம்

集中模型(Napster)
分散模型Gnutella) 层次化模型(MBone) 混合模型(EDonkey)



集中模型: Napster
User User
分散模型:Gnutella
完全分散式P2P文件共享系统: 没有中央索引服务器,所有的节点都是 平等的,节点不仅提供文件下载服务, 也提供文件搜索服务。搜索文件时,搜 索请求遍历整个P2P网络,拥有相关文件 的节点返回搜索结果。
分散式P2P路由

技术:



Flooding Replication & Caching Time To Live (TTL) Epidemics & Gossiping protocols Random Walkers & Probabilistic algorithms
层次化模型的优点和缺点
优点:相对于集中模型,索引信息不是保存在 中央服务器上,不会产生服务器瓶颈,索引 信息同步较快,相对于完全分散式模型,信 息检索不会给网络造成较大流量。 缺点:层次化模型对于非结构化网络,维护整 个网络比较困难,特别是处于结构的顶层的 节点在离开网络后,对网络的影响比较大, 重构网络比较复杂。
安全性 数据传输控制 分散节点管理 P2P网络的测量和统计 P2P网络模拟 移动P2P
分散式P2P路由
Hostcache Server H e.g. :6346
Gnutella Network N
Request/Receive a set of Active 1 Peers
!
Servent p
2 Connect to network
完全分散式模型的优点和缺点
优点: 所有的节点都参与服务,不存在中央服 务器,避免了服务器性能瓶颈 部分节点受攻击不影响服务 搜索结果比较及时,有效性比较强。
完全分散式模型的优点和缺点
缺点: 采用flooding方式传播搜索请求,造成网络 额外开销比较大,随P2P网络规模的扩大,网 络开销成指数级增长。TTL =4, 5, 6, 7 , 8时, cache(20),msglen(100B), (每条请求) 16MB, 320MB, 6.4GB, 128GB, 2.56TB (每秒 请求数随网络规模的扩大,是很可观的) 搜索请求遍历整个P2P网络需要经过很多跳, 完整的获得搜索结果延迟比较大。 防火墙穿透能力差
rate
100 20 40 60 80 0
5000 10000 15000 20000 25000 30000 35000 40000 45000 50000 55000 60000 65000 70000 75000 80000 85000 90000 95000 1E+05
node ttl=4 ttl=5 ttl=6
相关文档
最新文档