EAST数据系统中的应用.
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
16
基于P2P的EAST数据系统性能评价
通过分析和测量获得一些基本参数 通过建模和仿真等方法对基于C/S和P2P两 种方式的Server的性能进行分析 建立testbed对整个系统进行测试
17
分布式P2P在EASTNap数据系统中的应用研究
集中式P2P由于索引服务器的存在,使整 个系统的健壮性大大降低。 完全分布式P2P则很好的解决了此问题
P2P在 EAST数据系统中的应用
报告人:赵伟丰 导 师:舒炎泰 6/29/2006
提纲
选题背景 研究内容 已完成工作 将来的工作 工作时间安排
2
提纲
选题背景
EAST简介 P2P简介
P2P在高性能数据处理中的应用
研究内容 已完成工作 将来的工作 工作时间安排
6
P2P分类
集中式拓扑结构
Napster
分布式拓扑结构
– Gnutella Structured – CAN, Chord, Pastry
Unstructured
混合式拓扑结构
KaZzA
7
集中式 P2P
Index Server
A
BBiblioteka Baidu
8
分布式 P2P
分布式非结构化拓扑 采用随机洪泛和转发 TTL控制消息传输 健壮性好,扩展性差 资源的发现效率低。 分布式结构化拓扑 分布式散列表 较好的扩展性、鲁棒 性、自组织能力。可以 提供精确的发现。 DHT维护机制复杂, 仅支持精确关键词匹配 查询,无法支持内容/ 语义等复杂查询
P2P(Peer-to-Peer)
一种点对点网络计算模式 所有机器都是一个节点(Peer) 所有节点地位是对等的,既充当服务器,为其他 结点提供服务,同时也享用其他结点提供的服务。 节点之间直接共享和交互资源,不需要任何服务 器或者中间介质的转发。
特点:非中心化、可扩展性、健壮性、高性/价比、 隐私保护、负载均衡
Data Collection (s) 3 CAMAC 2 VXI 5 PCI C/S with 1 servers 7.9 35.2 0 157.3 127.8 285.1 Data available Workstation on Servers/ Pees Complete Processing (s) (s) Final Completion (s)
P2P技术的特点
15
基于Napster的EASTNap程序实现
主要实现以下程序:
基于Napster实现EASTNap服务器索引程序
定义EASTNap协议
建立索引Hash表
实现双参数(Shot、Signal)查询 解决内网访问问题
根据EASTNap协议实现采集机端程序
根据EASTNap协议实现用户端程序
3
EAST
Experimental Advanced Superconducting Tokamak
4
EAST数据系统
基于C/S模式 在线系统 CAMAC、VXI
和PCI采集子系统 组成 主要负责实时采 集实验数据,并 将数据传输到数 据服务器 离线系统 有多台数据服务 器和用户组成 主要负责实验数 据的存储、显示 和处理 On-Line Off-Line 5
C/S with 2 servers
C/S with 4 servers P2P with 10 DAS
87.3
58.2 35.2
63.9
33.5 33.5
151.2
91.7 68.7
21
C/S和P2P两种方式系统性能的分析
C/S Model-M/M/1 1 T 1/ 0.21 P2P Model-M/D/1 2 1/ 0.0046 T
200
217.5
22
EASTNap程序实现及测试结果
C/S方式下: 文件上传DataSrv的时间 与文件大小的关系
P2P方式下:
文件上传IndexSrv的时间
与文件大小的关系
23
EASTNap程序实现及测试结果
P2P C/S P2P C/S P2P C/S P2P C/S 0 1000 2000 3000 4000 Time(ms) 5000 6000 Compress Transmit
18
提纲
选题背景 研究内容 已完成工作
体系结构的设计
基于C/S和P2P两种方式的系统性能分析 EASTNap程序的初步实现及现场测试
将来的工作 工作时间安排
19
基于P2P的EAST数据系统的体系结构
On_Line
Off_Line
20
C/S和P2P两种方式系统性能的分析
A
B
9
混合式 P2P
A
B
10
4种结构的性能比较
11
P2P的研究热点
对于P2P系统的研究热点主要在分布式P2P 的搜索机制和可扩展性方面。 对于集中式和混合式P2P系统,已在大量 领域进行了广泛的应用,但缺乏系统的、 定量的研究。
12
P2P技术在SLAC中的应用
BaBar Copy Program (bbcp) Supports 3rd party copy operations using an agent
Instantiate a source node and a target node Relay parameters to the source and target
Connect
Source Send Data
Target
Agent
13
提纲
选题背景 研究内容
设计基于P2P的EAST数据系统的体系结构
C/S Model Result
2 ( )
P2P Model Result 100 10
100
Delay (s)
Delay (s)
10 1
1 0.1 0.01
0.1 0.25
1.25
2.25 3.25 Workload(ch/s)
4.25
4.75
0.001 0.25
50
100 150 Workload(ch/s)
基于Napster的EASTNap程序实现
基于P2P的EAST数据系统的性能评价 完全分布式P2P在EASTNap数据系统中的应用研究
已完成工作 将来的工作 工作时间安排
14
基于P2P的EAST数据系统的体系结构
设计依据:
现有C/S方式下EAST数据系统的特点 未来EAST实验的设计要求