aStor-EDS软件定义存储主打胶片(1)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
对象存储
对于结构化与非结构化数据的处理需要采用分离式系统,购置多套设备,分散管理
新IT对存储提出新要求
更丰富的存储类型 更全面的数据保护 更优的存储性能
客户业务扩展,数据呈现指 数级增加,客户业务系统部 署更多的服务器,要求存储 系统提供高IOPS、高带宽 处理能力,为IO密集型应用 提供更高的吞吐量、为计算 密集型应用提供更高的并发 IO数据
统 一 管 理
负载均衡
分布式存储架构 IP交换网络千兆/万兆/40GE…
软件定义存储系统架构
支持POSIX标准接口、 NFS v3,SMB1.0 2.0 3.0
Media Management (S3/Swift compatible)
高带宽、大容 量、文件存储
高性能、分布式 块存储
大容量、低成本 对象存储
让多级数据更有价值
统一存储管理平台:
可视化存储监控及大屏展示,存储状态一屏可视 系统状态一键检测,简化日常巡检工作
智能亚健康检测:
基于人工智能预测系统状态,故障提前告警 故障提前发现,提高系统可靠性和业务连续 性
图形化配置操作页面,简化复杂的存储部署及配置
价值
智能业务感知:
根据业务的特点智能规划IO路径, 提高业务体验
技术架构 - 分布式统一存储系统
EDS
DistributeFilesystem
通用x86服务器部署软件
解锁专有硬件
磁盘级存储池管理
根据业务需求规划不同池:全闪
存高性能块、高性能文件存储、 对象冷数据存储 根据存储介质规划不同池:SSD、 SASHDD、通用HDD
横向扩展能力
容量横向扩展能力
性能横向扩展能力
• 修复时业务IO保障 • 纠删码快速修复技术
能或可靠性要求较高的业
可靠性要求低 99%
可靠性要求中 99.99%
可靠性要求高 99.9999%
技术架构 - 高性能技术
智能业务感知
• 根据业务的特点规划IO路径 • 据业务特点智能缓存淘汰和数据预取
智能缓存,提高数据写入速度
• 优化的高性能SRaft一致性协议,提高性能的同时保障 • 跨节点复制IO智能合并,系统性能1+1 > 2 • 缓存性能横向扩展原有业务无需配置
基于软件定义开发的分布式块存 储EDS-块,支持包括主流虚拟化平 台(KVM,ESXi,XEN,HyperV),主流云管平台(Openstack、 Zstack、vSphere),OLTP和OLAP 数据库等SAN存储适用的场景。 EDS块存储是专门为大并发,高性 能,高压力,弹性扩展需求的客户所 量身定做的解决方案产品。 应用场景:虚拟化 / 数据库 / 结构化 数据应用 / 替代传统SAN ……
NAS
软件定义存储系统EDS
千兆/万兆全模块交换机
SAN
Object
软件定义存储部署方式
虚拟化业务系统 高性能运算 大数据业务 …..
集群部署:3节点起步,可扩展至数千
业务网络
节点。高带宽、高性能,满足未来容量
与性能的需求。
aStor软件定义存储系统
分为高密版本、普通版本。满足不通需 求客户。
• 云数据中心 •
KB级别的照片、PDF文档、小视 频,小文件数量以亿为单位计算 海量PB级大容量存储需求 高性能运算需求时
小文件 海量数据
超融合
如客户在选择其他品牌 HCI产品,容量较大时、可 考虑用aStor-EDS方案
•1、所有数据提供纠删码N(N+M)、多副本冗余保护 •2、数据自动平衡,有效应对系统扩容
•3、数据自动恢复,有效应对磁盘故障
产品定位及使用场景
私有云/混合云
文件服务 OLAP OLTP 数据挖掘 视频监控 大数据分析
企业级云数据中心存储架构
NFS、CIFS、POSIX、HDFS、S3等多接口访问支持 结构化业务 数据模块 大数据分析 业务模块 数据压缩 通用业务模 块 智能数据迁移 高性能业务 模块 副本 容灾备份模 块 纠删 业务模块逻辑分 区 存储高级功能
软件定义存储承载多业务
EDS-块存储
EDS-文件存储
基于软件定义开发的分布式文件存 储,同时支持SMB、NFS、CIFS等多 种NAS协议,在非结构化共享文件的 场景中,可以提供超高的文件性能。 同时按照策略设置优先级权限。 EDS文件存储可以使用户对目录内 的文件数据拥有不同的访问权限。同 时支持自定义配额,包括容量、文件 数。 应用场景:非结构化数据存储、业务 办公、文件共享等
新IT时代源自文库数据特点
20% 结构化数据 80% 非结构化数据
80% 60% 40% 20% 0%
年增长率
30%
65%
电子商务 •实施翻译,以促成订单,增强用户黏性
社交网络 •快速分析用户行为,实现精准营销
结构化数据 非结构化数据
移动互联网广告 物联网 •迅速调整,实现对于广告需求的精确满足 •日本大地震后9分钟发出海啸预警
EDS-对象存储
基于软件定义开发的分布式对象存 储,不但可以帮助运营商与云服务商 实现数10个PB规模的存储资源池,也 可以帮助企业实现成本可控的中小规 模水平扩展存储。 EDS对象存储是专门为高性价比 和大容量需求型客户,量身定做的解 决方案产品,对海量小文件,超大容 量数据存储有良好的优化。 应用场景:视频,影音,图片,流媒 体 / 非结构化数据 / 性能容量比 ……
机械盘加速,提高数据落盘速度
• 将随机IO顺序化,降低IO的随机性 • 将临近的IO合并,降低IO总写入次数
企业级SATA机械盘随机每秒写入约 200次,顺序每秒写入却可达1000 次以上,差别5倍
技术架构 - 低成本技术
副本技术
• N副本冗余N块盘或N台主机 • 在副本数量较低时IOPS较高(比如2副本) • 数据存储密度较低,最高为50% • 单次存储消耗较高资源(原始容量的N倍) • 降级读不影响性能 • 技术实现相对简单
aStor-EDS
SDS软件定义存储介绍
目录
01
业务趋势
产品理念及定位 产品架构及功能
02
aStor-EDS软件定义存储
03
04
适配场景
新IT时代的到来
4D打印
AR/VR
物联网
自动驾驶
区块链
云计算
大数据
移动
社交
工业4.0
传统信息系统 CRM BOM ERP
信息技术,已经从一种工具,演化成人类生产生活的载体
智能存储简化数据管理
智 能 亚 健 康 检 测 基于人工智能预测 系统状态,故障提 前告警 故障提前发现,提 高系统可靠性和业 务连续性
可视化存储监控及 大屏展示,存储状 态一屏可视
系统状态一键检测, 简化日常巡检工作 根据业务的特点智 能规划IO路径,提 高业务体验 根据业务特点进行 带宽保障,保障核 心业务体验
图形化配置操作页 面,简化复杂的存 储部署及配置 统一存储管理平台
智 能 业 务 感 知
安全存储让数据可靠可视
数据安全: 多级权限管理保障入口安全 磁盘及主机级物理隔离,满足核 心数据安全需求 使用可视: 实时监控每个存储池的使用情况, 及时发现风险 全面的审计日志,追溯可疑的数 据访问源 同一集群支持多池 配置,满足不同的 可靠性和性能需求 支持磁盘、主机、 机架不同级别的故 障域配置 支持磁盘、主机热 扩容,扩容的过程 中业务不中断
挑战2:数据安全
01.隐私泄漏影响大
02.外部攻击难度低
03.数据统一存储安全性差
挑战3:多级数据缺乏有效管理
数据副本数量滚雪 球,存在浪费
多级数据缺乏统一 管理
温冷数据无法发挥 使用价值
挑战4:云平台下的结构化与非结构化
文件
VM资源池
桌面云
NFS/CIFS
iSCSI/FC
HTTPS
NAS存储 SAN存储
纠删码技术
• N+M冗余M块盘或M台主机
AND
• 数据存储密度高,最低66% • 亲和吞吐型应用,小块IO消耗更大 • 单次存储消耗的资源少(原始容量的M/N倍) • 更高的可靠性(M可以配置的很大) • 降级读性能差(丢失了数据副本时需要计算)
• 技术实现复杂
接口特性 - 高性能块存储
通用iSCSI场景
统一管理+AI智能
统一管理:一套平台管理所有存储资源。 AI智能:智能感知业务运行,动态自动调 节存储服务。 智能修复:自我挖掘潜在风险及问题,及 时提出警告和建议。
数据安全
数据安全:新一代存储让数据使用可视化。 数据安全:访问审计、权限管理、数据加 密。
数据全生命周期+增值
数据全生命周期:一平台解决数据全生命周期 管理。 数据增值:融合平台,提供数据二次价值挖掘。 数据活用:云上备份、数据容灾、大数据挖掘。
复杂的业务系统需要 更佳丰富的存储接口 类型
产品理念—新一代存储
应云而生 统一智能 融合安全 数据增值
云数据中心
业务云化,催生新型/互联网型业务诞生。 存储云化:存储以资源向上提供服务。 业务多元化:同时提供块、文件、对象存储服 务,匹配各类业务所需不同存储资源。 多兼容:全兼容KVM、ESXI、XEN、Hyper-V,兼 容Openstack、vSphere、Zstack等
• 元数据高速缓存
目录级数据分池存储
• 不同的共享目录放置 到不同的存储池
目录级快照
• 目录级存储快照 • 配置快照策略
接口特性 - 对象存储
多数据中心部署 用户管理及桶级权限
桶级存储池配置
对象多版本控制
创新高效的索引技术
EDS使用场景 - 按承载数据分类
结构化数据
(CRM数据、ERP数据、数据库)
根据业务特点进行带宽保障,保
障核心业务
用户收益
02
高性价比
•1、EC+数据压缩,最大化存储利用率 •2、优化系统,最大限度降低硬件成本
•3、一套平台,全数据协议支撑
03 02
01
03
稳定可靠
01 简单易用
•1、为备份系统提供标准iscsi虚拟磁盘服务
•2、为应用提供S3/Swift兼容的对象存储服务 •3、提供友好的系统管理界面
ZONE GROUP:1
文件级快照 定时快照 支持Scrub及磁盘亚 健康检测,问题提 前发现 支持数据储存校验, 发现静默错误
机架:A,主机:1~3
机架:B,主机:4~6
全闪存三副本池 HDD混合存储池 HDD冷存储池
OSDs OSDs OSDs OSDs OSDs OSDs
存储池 存储池 存储池
SSD的特点是IOPS成本低、带宽成本中等、寿 命成本高。所以需要根据业务的特点规划不同 的数据路径,比如视频监控和小文件存储。
客户端缓存更靠近业务,因为放置于存储系统 之前,所以需要自身保证可靠性。对比将缓存 放置于存储系统后端,效果更好、难度更高
智能分层,提高数据读取速度
• 内存和闪存多级数据分层,充分 发挥硬件性能 • 智能自适应淘汰和预取ARC算法 提高缓存命中率(专利技术)
自动负载均衡 IP高可用
• .
VMware场景 Full Copy Block Zero Hard-ware-Assisted Locking Thin Provisioning Unmap.
Block
接口特性 - 文件存储
多种客户端接入协议
• 支持NFSv3 • 支持SMB协议
文件系统高速缓存
• 数据高速缓存
技术架构 - 可靠性技术
四、数据校验及智能亚健康检测
三、存储快照及复制
• 目录级存储快照 • 智能亚健康检测 • 校验码自动写入 • 自动巡检策略配置
• 对象存储多站点异步复制
一、数据冗余策略
• 多副本,用于随机性能要求 相对较高的 • 分布式纠删码,用于吞吐性
二、故障快速修复
• 全局修复,速度达到2TB/H
非结构化数据
(图片,影音、视频、音频、扫描件)
VmWare •
当客户前端是VMware虚拟化平台时 对接Openstack、Zstack等开源云平台 当客户的虚拟化是KVM、Openstack、Hyper-V时 当客户拥有除了VMware的其他虚拟化产品,希望构 建异构云平台时
OpenStack •
Variety:种类和来源多样化
Velocity:分析处理速度快
Volume:数据量巨大 • 集中储存/集中计算已经无法处理巨大的数据量
价值&成本
Value:价值密度低,商业价值高
• 大量的不相关信息进行复杂深度分析,深挖价值
新IT时代数据带来的挑战
性能和容量扩展的挑战
海量数据管理的挑战
性能与成本的平衡
更丰富的软件功能
海量规模的数据类型多 样、管理日益复杂,客户 需要利用压缩、动态分级 等软件功能提高存储空间 的利用效率,简化海量规 模的数据管理
数据成为企业生存的生命 线,数据的安全性保证成 为必然需求,要求存储系 统提供数据副本、纠删码 等数据保护功能; 针对跨地域、跨机房的用 户应用,需要两个以上站 点之间做远程容灾,本地 数据丢失后,启用远端数 据中心;