亚马逊平台架构

– Outputs a list of OSDs
• Advantages
– Anyone can calculate object location – Cluster map infrequently updated
19
Ceph
20
Ceph
• Objects are replicated on OSDs within same PG
• Auditor
– 检查数据的完整性
14
SWIFT特点
• 优点
– 分布式，无中央节点 – 知道如何去Tradeoff，即遵从CAP规则 – 利用异步方法去做Data Integrity/Consistency Checks
• 缺点
– Consistency Hashing的寻址方式 – 没有用Erasure Encoding
3
ቤተ መጻሕፍቲ ባይዱ
AWS栈
4
开源存储产品
• Hadoop HDFS
– Use Case
• Batch processing and not For interactive use • Write-once-read-many use case
5
CAP理论
• Consistency • Availability • Partition tolerance
26
6
7
开源存储产品
• Hadoop HDFS
– 缺点
• 一个Active NameNode
– Low Scalability
• Chain Data Replication
– Slow compared with parallel writes – Low availability compared with parallel writes
21
Ceph
22
Ceph
23
Ceph特点
• 优点
– 无中央节点，无metadata Store – Strong Consistency – 利用异步方法去做Data Integrity/Consistency Checks
• 缺点
– CRUSH寻址方式，复杂 – 没有用Erasure Encoding
SWIFT 寻址方式
SWIFT 数据一致性模型
13
SWIFT重要的组件
• Replicator
– 做consistency check，如果本地数据的Hash 和它的远程的Replication的Hash不一致，做 复制
• Updater
– 当对象由于高负载等原因而无法立即更新时， 任务将会被序列化到在本地文件系统中进行排 队，以便服务恢复后进行异步更新。
如何构造高可靠性和高扩展性 的云存储服务
陈靓
1
大纲
• 云存储在云计算栈中的作用 • 流行的云存储产品的体系结构和优缺点
– Hadoop HDFS的体系结构分析 – Openstack SWIFT的体系结构分析 – Ceph的体系结构分析
• 设计云存储产品的注意要素
2
AWS栈
• AWS S3是AWS其他所有服务的基石 • EC2的AMI • EBS的Snapshot
15
Ceph
• 寻址方式（CRUSH） • 数据一致性模型（Consistency Model）
16
Ceph
17
Ceph
18
Ceph
• CRUSH(x) (osdn1, osdn2, osdn3)
– Inputs
• x is the placement group • Hierarchical cluster map • Placement rules
– 适合MapReduce的应用，建议不要用于存储 数据
8
开源存储产品
• Openstack SWIFT （Object Store）
– 寻址方式（Consistent Hashing） – 数据一致性模型（Consistency Model）
9
SWIFT的系统结构图
10
SWIFT 寻址方式
11
24
总结
• 不要中央节点，但需要Metadata Store • Object的数据地址不能直接映射为物 理地址 • 需要异步的Data Integrity Check/Consistency Check • 使用Erasure Encoding给数据编码
25
References
• Dynamo: Amazon’s Highly Available Keyvalue Store • Ceph: Reliable, Scalable, and HighPerformance Distributed Storage” (PDF) • RADOS: A Scalable, Reliable Storage Service for Petabyte-scale Storage Clusters” (PDF) • https:///openstackswift/architecture/