2019金山云KS3对象存储介绍
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
X86 小规模、半离线、非关键业务
系统架构
缓存 集群
接入集群（NGX） 业务集群（WebService）
异步任务 处理集群
跨Region复制
标
标
标
低
准
准
准
频
存
存
存
存
储
储
储
储
集
集
集
集
群
群
群
群
数据存储（Object）
Region.A
元
元
数
数
据
据
集
集
群
群
M
S
元数据存储（KV）
Region.B
数据存储
DataServer.n
易用
• 兼容AWS S3接口标准 • 支持控制台、API、命令行和可
视化客户端访问 • 10余种主流语言SDK • 多种数据迁移工具和服务
企业私有云
虚机、容器
大数据
备份
数据存储
KVM
镜像、快照
日志、图片、视频
数据库、日志
对象存储KS3
文件、对象存储
核心优势
• 规模无限制，可支持数百PB数据，千亿规模元数据，数万台服务器，商用验证 • 高可靠（11个9），高可用（4个9），高性能（sata，网络无阻塞） • 全自动运维：全面监控、自动化运维、故障自动检测和预测 • 全自研系统：多副本或EC冗余存储 & 周期性自检 • 单桶百万QPS能力 • 完全兼容S3协议：支持业界标准，业务无缝集成 • 不依赖特定硬件厂商 • 完全自研的监控报警平台 OnePiece
NameServer (Standby)
Get Active Nameserver
Zookeeper
Zookeeper
Zookeeper
Zookeeper
Zookeeper
• 单个集群规模：1000台；单台物理机最大：288TB，单个集群支持：>200PB物理空间 • 支持三副本& EC两种冗余策略，异步物理空间回收 • 支持数KB~数Mb级别的海量小文件存储
写入操作
log manifest current
block0
block1
SST block2 block3
block4
Block index
本地引擎
物理架构
运营商
内网KGW集群
外网KGW集群 CORE1
路由器
外网KGW集群 CORE2
内网KGW集群
TOR
TOR
TOR
TOR
TOR
MG-CORE
PHY
国内最大公有云对象存储服务
上传的数据量每月增长30%，全年增长500%
核心优势
稳定
• 多副本、多IDC部署 • 可用性99.95%，可靠性11个9 • 6年以上数百PB大规模业务验证
安全
• HTTPS传输加密 • AES-256网银级服务端加密 • 专有DDos防护体系 • 客户端IP访问限制 • 细粒度资源访问策略
C4-S C4-S C4-S C4-S 元数据存储
S2-S1 S2-S1 S2-S1 S2-S1 S2-S1 S2-S1 数据存储
S2-S1
客户案例
国内领先的 版权分销商
KS3
私有云存储
• 10PB私有化存储 • 500台存储节点 • 存储视频母带 • 标准HTTP协议传输数据 • 金山云通过专线运维 • 提供控制台与使用工具
元数据存储
Application Table SDK
百度文库
proxy
Table Server
proxy
Table Server
proxy
Table Server
Zone1
zookeeper Master
proxy
Table Server
proxy
Table Server
proxy
Table Server
…
KTS
KTS
Phenix
Phenix
S1-A1
S1-A1
NGX API KTS Phenix S1-A1
服务部署 – 标准部署
负载均衡
KGW
KGW
…
N2
N2
业务接入
NGX API
NGX
…
API
N2
N2
网络
KTS
KTS
KTS
KTS
Phenix Phenix Phenix Phenix Phenix Phenix … Phenix
核心优势
存储规模 可用性 & 可靠性
数据策略 可扩展性 单点容错 扩容代价 空间利用率 技术支持 运维成本 硬件依赖 适用场景
KS3经过多种业务、大规模、长时间验证的高品质商用服务
KS3 商用售卖超过800PB 4个9 & 11个9，5年大规模商业验证 动态自动三副本&EC转换 无上限，单Bucket无上限
PHY
PHY
PHY
PHY
MG-ilo
基于标准IP交换网络和x86服务器，无需任何专用设备
服务部署 - AllInOne
负载均衡
接入层 业务层
NGX API
元数据存储
KTS
数据存储
Phenix
S1-A1
KGW N2
NGX API KTS Phenix S1-A1
KGW N2
网络
NGX
NGX
API
API
无影响 无影响 > 90% 7 * 24， 全自研 低（成熟、自动化程度高）
X86 大规模、低成本、关键业务
Ceph 数十PB 设计4个9 &11个9，无大规模商用验证 固定三副本或EC 单集群100台，单Backet有上限 分钟级卡顿 业务有损 < 80% 无，依赖开源社区 高（自研，自动化程度低）
对象存储存储产品介绍
ks3.ksyun.com
© 2019 KSYUN The information contained herein is subject to change without notice
产品介绍 金山对象存储（Kingsoft Standard Storage Service，简称KS3）
DataServer.5 DataServer.5 DataServer.4 DataServer.3 DataServer.2 DataServer.1
KS3 API
Da
Obj SDK
tSe a re. 1vr
Data IO
• • • ••
Get Metadata
NameServer (Active)
Zone2
系统架构
Shadow Master
proxy
Table Server
proxy
Table Server
proxy
Table Server
Zone3
mem disk Level0 Level1
Level2
Immutable Mem Table
compaction
Immutable Mem Table
• 十年技术积累 • 国内最大的企业级公有云存储服务 • 国内4个region，数万台存储服务器 • 日增1P+
俄罗斯 北京
上海
新加坡
广东
香港
产品介绍
2012年12月 2013年6月 2013年12月 2014年6月 2014年12月 2015年6月 2015年12月 2016年6月 2016年12月 2017年6月 2017年12月
系统架构
缓存 集群
接入集群（NGX） 业务集群（WebService）
异步任务 处理集群
跨Region复制
标
标
标
低
准
准
准
频
存
存
存
存
储
储
储
储
集
集
集
集
群
群
群
群
数据存储（Object）
Region.A
元
元
数
数
据
据
集
集
群
群
M
S
元数据存储（KV）
Region.B
数据存储
DataServer.n
易用
• 兼容AWS S3接口标准 • 支持控制台、API、命令行和可
视化客户端访问 • 10余种主流语言SDK • 多种数据迁移工具和服务
企业私有云
虚机、容器
大数据
备份
数据存储
KVM
镜像、快照
日志、图片、视频
数据库、日志
对象存储KS3
文件、对象存储
核心优势
• 规模无限制，可支持数百PB数据，千亿规模元数据，数万台服务器，商用验证 • 高可靠（11个9），高可用（4个9），高性能（sata，网络无阻塞） • 全自动运维：全面监控、自动化运维、故障自动检测和预测 • 全自研系统：多副本或EC冗余存储 & 周期性自检 • 单桶百万QPS能力 • 完全兼容S3协议：支持业界标准，业务无缝集成 • 不依赖特定硬件厂商 • 完全自研的监控报警平台 OnePiece
NameServer (Standby)
Get Active Nameserver
Zookeeper
Zookeeper
Zookeeper
Zookeeper
Zookeeper
• 单个集群规模：1000台；单台物理机最大：288TB，单个集群支持：>200PB物理空间 • 支持三副本& EC两种冗余策略，异步物理空间回收 • 支持数KB~数Mb级别的海量小文件存储
写入操作
log manifest current
block0
block1
SST block2 block3
block4
Block index
本地引擎
物理架构
运营商
内网KGW集群
外网KGW集群 CORE1
路由器
外网KGW集群 CORE2
内网KGW集群
TOR
TOR
TOR
TOR
TOR
MG-CORE
PHY
国内最大公有云对象存储服务
上传的数据量每月增长30%，全年增长500%
核心优势
稳定
• 多副本、多IDC部署 • 可用性99.95%，可靠性11个9 • 6年以上数百PB大规模业务验证
安全
• HTTPS传输加密 • AES-256网银级服务端加密 • 专有DDos防护体系 • 客户端IP访问限制 • 细粒度资源访问策略
C4-S C4-S C4-S C4-S 元数据存储
S2-S1 S2-S1 S2-S1 S2-S1 S2-S1 S2-S1 数据存储
S2-S1
客户案例
国内领先的 版权分销商
KS3
私有云存储
• 10PB私有化存储 • 500台存储节点 • 存储视频母带 • 标准HTTP协议传输数据 • 金山云通过专线运维 • 提供控制台与使用工具
元数据存储
Application Table SDK
百度文库
proxy
Table Server
proxy
Table Server
proxy
Table Server
Zone1
zookeeper Master
proxy
Table Server
proxy
Table Server
proxy
Table Server
…
KTS
KTS
Phenix
Phenix
S1-A1
S1-A1
NGX API KTS Phenix S1-A1
服务部署 – 标准部署
负载均衡
KGW
KGW
…
N2
N2
业务接入
NGX API
NGX
…
API
N2
N2
网络
KTS
KTS
KTS
KTS
Phenix Phenix Phenix Phenix Phenix Phenix … Phenix
核心优势
存储规模 可用性 & 可靠性
数据策略 可扩展性 单点容错 扩容代价 空间利用率 技术支持 运维成本 硬件依赖 适用场景
KS3经过多种业务、大规模、长时间验证的高品质商用服务
KS3 商用售卖超过800PB 4个9 & 11个9，5年大规模商业验证 动态自动三副本&EC转换 无上限，单Bucket无上限
PHY
PHY
PHY
PHY
MG-ilo
基于标准IP交换网络和x86服务器，无需任何专用设备
服务部署 - AllInOne
负载均衡
接入层 业务层
NGX API
元数据存储
KTS
数据存储
Phenix
S1-A1
KGW N2
NGX API KTS Phenix S1-A1
KGW N2
网络
NGX
NGX
API
API
无影响 无影响 > 90% 7 * 24， 全自研 低（成熟、自动化程度高）
X86 大规模、低成本、关键业务
Ceph 数十PB 设计4个9 &11个9，无大规模商用验证 固定三副本或EC 单集群100台，单Backet有上限 分钟级卡顿 业务有损 < 80% 无，依赖开源社区 高（自研，自动化程度低）
对象存储存储产品介绍
ks3.ksyun.com
© 2019 KSYUN The information contained herein is subject to change without notice
产品介绍 金山对象存储（Kingsoft Standard Storage Service，简称KS3）
DataServer.5 DataServer.5 DataServer.4 DataServer.3 DataServer.2 DataServer.1
KS3 API
Da
Obj SDK
tSe a re. 1vr
Data IO
• • • ••
Get Metadata
NameServer (Active)
Zone2
系统架构
Shadow Master
proxy
Table Server
proxy
Table Server
proxy
Table Server
Zone3
mem disk Level0 Level1
Level2
Immutable Mem Table
compaction
Immutable Mem Table
• 十年技术积累 • 国内最大的企业级公有云存储服务 • 国内4个region，数万台存储服务器 • 日增1P+
俄罗斯 北京
上海
新加坡
广东
香港
产品介绍
2012年12月 2013年6月 2013年12月 2014年6月 2014年12月 2015年6月 2015年12月 2016年6月 2016年12月 2017年6月 2017年12月