海量对象存储运维服务体系介绍
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大文件下载优化
面向运维-架构
多存储引擎与数据隔离
面向运维-架构
元数据扩容与同步
NOS运维服务体系
面向运维平台
专业运维平台
Openresty运维、NEFS运维、 CEPH运维、容量评估
DS+ELK日志平台
日志采集、清洗过滤、索引、聚合
OWL数据运维
数据库管理、自助变更、数据备份、数据巡 检
NDP部署平台
NSS哨兵
监控、报警、指令下发、采集器
发布变更、服务部署、模版管理
CMDB
服务器管理、资产管理、配置管理、集群管 理
面向运维-平台
自动化容量评估
面向运维-平台
存储容量评估模型
样本
模型
修正
采样区间
采样区间不易太长或太短， 存储空间一般建议三个月
线性回归模型
预测空间增长与可用天数 最小二乘法(scipy )
网易海量对象存储运维服务体系介绍
技术创新 变革未来
目录
• NOS简介 • NOS 运维服务体系 • 面向运维的架构 • 面向运维的平台
NOS简介
什么是NOS
云存储平台，用户可以通过简单的REST API，在全平台上很容易地上传、下载各 种大小的文件，并能方便查看资源使用统计，数据访问情况等。
• 安全存储- 静态资源托管 • 全网加速-上传下载全网加速） • 数据处理- 图片、音视频云端处理
NOS简介
应 用 实 例
NOS简介
桶 1w+
QPS 3w+
对象 400亿+
容量 20PB+
NOS运维服务体系
系统迭代
版本发布、架构升级、数据库升级
2
1
资源管理
元数据管理、配置中心、容量管理、扩容缩 容、数据迁移
可用性保障
监控报警、故障切换、限流隔离、应急预案
3
4
安全保障
数据安全、网络安全、风险控制
NOS运wk.baidu.com服务体系
HOW
运维自动化平台 面向运维架构设计 运维流程规范
面向运维架构
NOS运维服务体系
鲁棒性
流控、服务降级
扩展性
动态扩容、跨机房高可用
数据隔离
多存储引擎、多租户
全链路追踪
全局req ID、请求追溯
面向运维-架构
NOS整体框架
面向运维-架构
Openresty限流与隔离
面向运维-架构
去噪点
原因：突发性的删除或者 导入数据。 依据方差、top n等条件筛 选
面向运维-平台
面向运维-平台
元数据
进程名、服务器等 元数据准确性：
对接发布平台+形成闭 环基于规则的采集更正
全链路问题追踪
日志采集
日志格式标准化 一致性ID
数据清洗
去除无用数据 注入模块与环境等
信息
聚合索引
根据查询创建合适 的索引，如NOS桶、
操作类型等
前端展示
Kibana 报表平台
全链路问题追踪
面向运维-平台
面向运维-架构
多存储引擎与数据隔离
面向运维-架构
元数据扩容与同步
NOS运维服务体系
面向运维平台
专业运维平台
Openresty运维、NEFS运维、 CEPH运维、容量评估
DS+ELK日志平台
日志采集、清洗过滤、索引、聚合
OWL数据运维
数据库管理、自助变更、数据备份、数据巡 检
NDP部署平台
NSS哨兵
监控、报警、指令下发、采集器
发布变更、服务部署、模版管理
CMDB
服务器管理、资产管理、配置管理、集群管 理
面向运维-平台
自动化容量评估
面向运维-平台
存储容量评估模型
样本
模型
修正
采样区间
采样区间不易太长或太短， 存储空间一般建议三个月
线性回归模型
预测空间增长与可用天数 最小二乘法(scipy )
网易海量对象存储运维服务体系介绍
技术创新 变革未来
目录
• NOS简介 • NOS 运维服务体系 • 面向运维的架构 • 面向运维的平台
NOS简介
什么是NOS
云存储平台，用户可以通过简单的REST API，在全平台上很容易地上传、下载各 种大小的文件，并能方便查看资源使用统计，数据访问情况等。
• 安全存储- 静态资源托管 • 全网加速-上传下载全网加速） • 数据处理- 图片、音视频云端处理
NOS简介
应 用 实 例
NOS简介
桶 1w+
QPS 3w+
对象 400亿+
容量 20PB+
NOS运维服务体系
系统迭代
版本发布、架构升级、数据库升级
2
1
资源管理
元数据管理、配置中心、容量管理、扩容缩 容、数据迁移
可用性保障
监控报警、故障切换、限流隔离、应急预案
3
4
安全保障
数据安全、网络安全、风险控制
NOS运wk.baidu.com服务体系
HOW
运维自动化平台 面向运维架构设计 运维流程规范
面向运维架构
NOS运维服务体系
鲁棒性
流控、服务降级
扩展性
动态扩容、跨机房高可用
数据隔离
多存储引擎、多租户
全链路追踪
全局req ID、请求追溯
面向运维-架构
NOS整体框架
面向运维-架构
Openresty限流与隔离
面向运维-架构
去噪点
原因：突发性的删除或者 导入数据。 依据方差、top n等条件筛 选
面向运维-平台
面向运维-平台
元数据
进程名、服务器等 元数据准确性：
对接发布平台+形成闭 环基于规则的采集更正
全链路问题追踪
日志采集
日志格式标准化 一致性ID
数据清洗
去除无用数据 注入模块与环境等
信息
聚合索引
根据查询创建合适 的索引，如NOS桶、
操作类型等
前端展示
Kibana 报表平台
全链路问题追踪
面向运维-平台