百度对象存储系统的架构与演进
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
9
性能
写
Index & Data分离 减少compaction量
读
Index缓存在内存，数据一次随机读 热点数据缓存
删
在线删除Index 分布式离线删除
10
Outline
是什么？ 低成本对象存储 云服务化 未来
11
商业化
内部存储
开放存储
用户 业务
用户数少 易沟通 友好
使用方式明确 业务发展可预期
用户数大 沟通相对困难 存在恶意用户
使用方式多变 业务ቤተ መጻሕፍቲ ባይዱ长不可预期
安全性 易用性 解决方案
百度内部服务整合 无法使用百度内部服
资源 简单
务
12
数据安全
可靠性
自动多副本冗余备份，数据可靠性11个9 多region、多az数据备份
授权
基于AK、SK的用户认证 基于Policy的鉴权 & 授权
是什么？ 低成本对象存储 云服务化 未来
6
背景
技术进步
万兆网卡逐步成为主流 CPU资源富裕 低功耗CPU开始商用 业务进展 网盘、文库数据快速增长
7
ObjectStore
8
可靠性
备份
Index三副本 Data 1.5副本(8 + 4) 副本跨交换机存储
修复
例行坏块检测 & 修复 大数据磁盘坏块预测系统
15
解决方案
冷存储
和友商同等价格的情况下提供基本的在线服务
媒体云
视频在线直播、点播 图片处理
数据分析
MapReduce，机器学习……
16
Outline
是什么？ 低成本对象存储 云服务化 未来
17
百度对象存储系统 架构与演进
Outline
是什么？ 低成本对象存储 云服务化 未来
4
是什么
什么是对象
实际存在的实体 日志、视频、MP3 Object = Name + Data + Attr
特点
支持PUT、GET、DELETE等类KV接口 扁平名字空间 删除 & 修改少
5
Outline
高级特性
https、服务端加密……
13
服务安全
用户间隔离
Frequentness & Quota限制
企业级放攻击
依托于百度私有放攻击体系 支持黑洞流量清洗
天灾？
多region、多az数据备份，保证服务永远可用
14
易用性
上云
高并发、多源数据导入 硬盘传输
使用
API、SDK、工具、ts支持 多种解决方案 维护 按需使用，自动扩缩容 报表、日志、审计、监控……
性能
写
Index & Data分离 减少compaction量
读
Index缓存在内存，数据一次随机读 热点数据缓存
删
在线删除Index 分布式离线删除
10
Outline
是什么？ 低成本对象存储 云服务化 未来
11
商业化
内部存储
开放存储
用户 业务
用户数少 易沟通 友好
使用方式明确 业务发展可预期
用户数大 沟通相对困难 存在恶意用户
使用方式多变 业务ቤተ መጻሕፍቲ ባይዱ长不可预期
安全性 易用性 解决方案
百度内部服务整合 无法使用百度内部服
资源 简单
务
12
数据安全
可靠性
自动多副本冗余备份，数据可靠性11个9 多region、多az数据备份
授权
基于AK、SK的用户认证 基于Policy的鉴权 & 授权
是什么？ 低成本对象存储 云服务化 未来
6
背景
技术进步
万兆网卡逐步成为主流 CPU资源富裕 低功耗CPU开始商用 业务进展 网盘、文库数据快速增长
7
ObjectStore
8
可靠性
备份
Index三副本 Data 1.5副本(8 + 4) 副本跨交换机存储
修复
例行坏块检测 & 修复 大数据磁盘坏块预测系统
15
解决方案
冷存储
和友商同等价格的情况下提供基本的在线服务
媒体云
视频在线直播、点播 图片处理
数据分析
MapReduce，机器学习……
16
Outline
是什么？ 低成本对象存储 云服务化 未来
17
百度对象存储系统 架构与演进
Outline
是什么？ 低成本对象存储 云服务化 未来
4
是什么
什么是对象
实际存在的实体 日志、视频、MP3 Object = Name + Data + Attr
特点
支持PUT、GET、DELETE等类KV接口 扁平名字空间 删除 & 修改少
5
Outline
高级特性
https、服务端加密……
13
服务安全
用户间隔离
Frequentness & Quota限制
企业级放攻击
依托于百度私有放攻击体系 支持黑洞流量清洗
天灾？
多region、多az数据备份，保证服务永远可用
14
易用性
上云
高并发、多源数据导入 硬盘传输
使用
API、SDK、工具、ts支持 多种解决方案 维护 按需使用，自动扩缩容 报表、日志、审计、监控……