云存储产品白皮书
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
云存储产品白皮书
目录
1产品简介 (3)
2系统结构 (4)
3存储系统规格 (6)
4系统功能特性及解释 (7)
5系统硬件说明 (9)
6适用范围 (10)
1产品简介
云集群存储系统是xx公司在吸取国内外前沿技术的基础上,针对不同行业用户的共性需求,完全自主开发的一款创新型统一存储产品,其目标是“存得住----支持海量数据存储;读得出――具有较高的性能;用得好――使用方便灵活”,帮助用户应对IT系统存储基础设施面临的挑战。
云存储系统是集成了分布式文件系统软件YeeFS和符合行业标准的通用硬件而构建的集群式文件存储产品,可基于用户现有硬件设备进行改造,集高性能、高可用、高可扩展、简单管理等优点于一身,并且具有超高的性价比。云是为适用于数据密集型访问环境,提供海量存储设施,同时适用于对存储性能、安全性有特殊要求的用户,本系统灵活的扩展性可保证用户实现按需购买,保护用户投资。
高性能(High Performance)
访问前端采用高性能SSD盘作为读写缓存;
存储系统支持InfiniBand、10Gb/s以太网等高速网络全连接。
●高可用性(High Availability)
集群式架构,完全消除单点故障;
利用元数据快照和数据备份技术,提供强大的数据保护。
●高扩展性(Scalability)
支持在线扩展,在扩展实施的同时将保障前端应用系统服务的持续性;
满足应用规模扩展对存储容量扩展、性能同时提升的要求。
●经济性(Economy)
可使用标准的X86服务器进行组建,大大降低了整体TCO投入;
支持原有设备的接入,最大限度的保护了用户的现有投资。
●易用性(Ease of use)
配备有简单易用的Web图形化管理和监控界面,并能通过邮件、短信向管理员发送告警信息;
实现安装升级、系统扩容、负载均衡、磁盘检查、数据恢复等多项自动化功能。
2系统结构
云集群存储系统由三部分构成:
●元数据服务集群管理系统(MDSC:Meta Data Service Cluster):存放整个文件系统的
元数据,管理整个文件系统的名字空间。提供单一的系统映像,部署在一组通用X86
结构的PC服务器上。
●对象存储集群管理系统(OSSC:Object Storage Service System):存储应用系统的文
件数据,具有故障探测、自我修复功能,内置独特的文件存储与备份机制,每个文件
被系统分割成多块后按一定规则存放在多个存储服务器中,并且每块文件在其他服务
器中至少有1份备份(根据安全和性能需求可设定为多份),这些软件部署在一组通
用X86 结构的PC服务器上。
●访问客户端(云AP:Access Point)对上层提供标准POSIX语义的访问接口和统一
的文件系统映像,响应上层应用对文件访问请求并通过内部私有协议高速访问后端集
群存储上的文件数据,形成对上层统一的虚拟存储池。访问客户端软件可以安装在应
用系统服务器上,对应用系统提供访问存储的文件支撑,也可以单独安装在一组服务
器上并与NFS或iSCSI系统结合。
存储集群访问客户端
存储系统
交换网络
1GbE、
10GbE
为了更好的支持高性能计算或虚拟机应用场景下对高IOPS的要求,云提供高速缓存模块SOCache(Super IO Cache),利用高性能的SSD盘做访问客户端的二级缓存,大幅提高性能,同时
在两个访问客户端之间使用InfiniBand实现高速缓存同步,即时备份和保护用户数据。SOCache部署在云AP的服务器上,可根据用户实际需求进行选择。
IB 元数据集群管理引擎
SOCache
3存储系统规格
4系统功能特性及解释
1)云存储系统可以输出多种接口
➢Linux Posix接口,用于Linux系统应用使用,文件级别接口,效率高。多用于海量数据(非结构化数据)的存储和分析应用使用,聚合带宽可达到几十GB(如果1部电影有1GB,相当于1秒种可以拷贝几十部)。
➢ISCSI接口,用于支持桌面虚拟化,特点为高IOPS。可以提供数万IOPS能力,能支持数百个虚拟桌面同时使用,传统存储需要数百块磁盘的IOPS在云的产品里只需要1~2组加速单元即可,同样的能力更加节省成本、能耗、占地空间。
➢NFS、CIFS,windows、unix操作系统访问使用,windows、unix操作系统可以获得海量数据存储能力。一套云系统可提供多个NFS、CIFS网关,提供访问冗余保障、提升整体访问性能。
2)基于标准X86服务器的硬件
➢云的硬件基础为标准X86服务器,不像传统存储一样受硬件厂家产品系列、型号限制。
任意时间、品牌的X86服务器均可使用,用户不用担心未来系统的采购、扩容时硬件买不到、不需要付出较高的价格。
➢可以将现有磁盘阵列接入系统。对于磁盘阵列起到利旧作用,同时依靠数据副本技术提高其可靠性,同时可以对所有纳入云存储的空间进行统一管理。
3)支持空洞文件
支持空洞文件的特性,可以使虚拟化环境中,用户数据空间按需占用,不用提前分配,不会产品浪费。例如用户的虚拟机建立了一个100GB磁盘,如果不写文件则不会实际占用存储空间,当写入10GB文件后才会占用10GB空间。
4)数据副本高可用
存储系统采用数据副本技术,准许1~5台设备同时故障而不影响应用访问。例如有10台我们当存储设备,对于关键数据我们做了6份副本,如果有5台存储设备完全故障,对于该关键应用来说也将不受任何影响。
5)在线扩容能力
➢存储支持在线扩展,当存储空间不够后,直接增加新的存储设备,就可以看到存储空间的增加,应用不用进行停机操作。而传统存储,由于提供的为卷设备,无法进行方便的扩展,扩展的时候需要将大量数据导出-增加设备-数据倒入的操作,在扩容的时候需要停止应用且扩容周期较长。
➢随扩容性能提升,云的架构决定其存储访问效率与存储设备数量有直接关系,随着存储设备的增多其访问效率也将近线性增加。传统磁盘阵列,架构所限,后端盘柜的扩展并不能影响机头的能力,无法实现存储性能的近线性增加。
6)quota 磁盘配额
可以针对每个用户进行使用空间限制,规定用户使用空间总大小。