存储管理平台的技术优势和功能特征
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
存储管理平台的技术优势和功能特征
本次项目配置1套EMC ViPR云存储管理平台用于管理结构化、非结构化
及数据连续保护设备。
云存储管理平台有利于资源统一规划、调度、配置、管
理和简化运维。
1云存储管理平台建设目标
(1)构建具备柔性、弹性特征的IT基础设施架构
传统的信息系统基础设施架构比较固化,缺乏灵活响应业务需求变化的能力。
在云计算时代,需要通过建设软硬件虚拟化池,构建具备柔性、弹性的IT基础设施架构,一方面需要能够随业务需求变化对资源进行灵活搭配与快速交付,另一方面需要能够对业务应用系统负载的变化做出快速反应。
同时,虚拟化池作为所有业务应用运行的承载体,其自身需要具备良好的可扩展性。
(2)有效降低IT总拥有成本
传统数据中心中,资源呈现竖井式配置,资源无法共享造成重复建设,利用效率低。
虚拟化池建设需实现全局资源实现统一、集约化管理,按需分配,有效降低重复建设。
根据业界实践经验,虚拟化池模式相比传统模式,资源利用率可提高3倍以上,整体IT总成本可降低30%。
(3)增强业务可用性
虚拟化池需适当引入新技术,采用高可用架构设计,使低成本X86集群可达到中高端小型机设备的性能与可用性。
从而实现总成本降低的前提下,虚拟化池中业务稳定性与可靠性可相当于甚至超过高端设备能够达到的水平。
(4)提升业务响应能力
虚拟化池建设过程中,需要制定相关的软硬件标准,提升资源交付的标准化程度。
需要对虚拟化池中的各种资源操作能力进行封装,形成软件平台一键式部署、应用一键式部署等能力,从而提高研发测试效率,缩短资源响应周期,加快业务响应速度。
(5)加快业务创新
虚拟化池建设过程需要逐步实现资源管理操作的标准化和自动化,带来运维门槛的降低和运维水平的提升,将IT人员从传统的琐碎的低端故障处理中释放出来,使有限的人力资源可更多的投入到业务创新中
2云存储管理平台功能设计原则
开放性原则
客户云平台的搭建采用了开放、活跃的商业和开源云架构作为主要的云平台技术。
不会锁定在商业云管理软件和单一的虚拟化架构之下,未来的桌面云平台架构倾向于开放性和高度可定制原则,同时支持主流的虚拟化软件(VMware,Xen,KVM,Hyper-V)
分阶段建设原则
根据发现有虚拟化建设的情况,我们制定了分阶段的云建设路线图
第一阶段:
第一阶段我们采用两条腿走路的策略,可以有效地保证桌面虚拟化的项目进度。
➢在云基础架构方面
o搭建好客户基础架构云(IAAS)的自助服务门户,实现三个基础资源池的软件定义对外提供RestFul接口和AWS EC2接口规范(软件
定义计算-目前根植现有情况实现VMware云平台的整合、软件定义
网络(初步可以实现标准交换机,和分布式交换机的创建,端口组
的创建)、软件定义存储(实现基于策略的存储自动化资源申请,构
建不同层级的存储服务目录-目前做到EMC VNX 存储的封装,实
现存储分级接口,为未来的对象存储提供扩展,云盘的产品提供上
需要满足未来开源软件例如OpenStack 的Swift\glance接口。
)o实现简单云治理模型(容量计划,性能监控,配置变更管理,告警,服务自动化,实现云租户和租户下用户的自助服务申请流程。
➢传统虚拟化桌面方面
o以1000个用户为试点,包括财务、研发及自动化人员的桌面进行虚拟化整合,由于是传统的VDI部署场景,所有和vdi相关的硬件
(存储\计算\网络)和软件栈和现有云架构是完全独立的,部署方式
上采用传统的手工方式.
第二阶段:
进入多虚拟化平台建设期考虑使用商业VMWARE和其他开源产品作为主流的虚拟化软件,进一步提升云架构规模。
同时实现桌面环境在云中的自动化部署,实现VDI用户级的服务门户,实现桌面系统和云存储的对接,构建全厂的云存储平台,使得每个终端使用者可以在各个厂区之间漫游数据从而达到一致的桌面体验。
增强IAAS平台交付应用的能力,实现应用的自动化部署。
第三阶段:
实现私有云平台和共有云平台的对接(主要是在IT治理层面实现对资源的自动化申请,和资源的生命周期管理,性能监控)通过LXC封装技术(Docker,Warden etc)实现PaaS开发测试云的能力,构建软件开发的公共服务组件(软件运行时环境(J2EE,Spring,Ruby,Groovy,Node.js等)消息性服务(MQ,RabbitMQ,ZMQ等),数据服务(结构化和非结构化),应用流程定义BPEL。
实现PaaS服务和开发IDE的有效集成,实现敏捷开发,实现应用的自动化伸缩,应用自愈等下一代云应用特点。
➢虚拟化环境利旧原则
o新的运平台建设可以依托于现有的VMware虚拟化环境建设。
充分利用原有平台的基础上横向扩展。
➢标准化原则
o云平台中所设计的具体软硬件设施将遵照执行国家颁布的现有标准以及即将推出的各类规范。
o技术标准化:系统的设计使用通行的、广为接受的技术和方法,保证系统可扩展、可升级的能力。
o结构标准化:系统的设计应遵循先进的、成熟的、被验证的架构,降低系统的设计风险,提高稳定性和灵活性。
o数据标准化:系统使用的数据,如电子文档、业务数据等,都要符合国家相关标准的要求。
➢先进性和实用性原则
o为满足平台在较长的生命周期内有持续的可维护性和可扩展性,获得更高的发展起点,应采用先进和成熟的技术。
充分考虑所采用技
术与产品的成熟性和实用性,充分考虑信息化建设在当前各业务层
次,各管理环节中进行信息处理的便利性和可行性,以确保整个云
平台运行的稳定性和可靠性。
➢可扩展性原则
o技术的选择应考虑未来几年内或更长时间内的业务发展的要求,在方案的设计中应从各个环节体现系统可扩展性原则。
➢可靠性和可用性原则
o云平台各部分的设计满足高度的可靠性要求,在方案设计过程中,必须对整体设计方案进行合理的规划、以及各单元不存在单点故障
隐患,保障在业务系统出现重大故障后能迅速恢复。
此外,还应避
免关键性资源形成瓶颈影响整体业务的正常运转。
➢经济性原则
o需考虑基础资源与现有系统的复用,减少投资和重复建设,选择性价比高的设备进行建设;同时,应该充分挖掘现有软硬件设备的使
用潜力,尽可能以最低成本来完成平台建设。
➢安全性原则
o项目中应充分考虑平台的安全性,充分保障应用流程、权限管理、用户操作等各个环节的安全性。
3 软件定义的存储模型
EMC ViPR 是存储虚拟化软件平台,它将物理阵列中的存储(无论是基于文件、块还是对象)抽象为虚拟共享存储资源池,从而跨物理阵列实现灵活的存储使用模型,并提供应用程序和创新型数据服务。
ViPR 从底层硬件阵列抽象出存储控制路径,以便可以在软件中集中执行多供应商存储基础架构的访问和管理(图2)。
大体而言,存储设备具有控制路径和数据路径。
用浅显的语言来讲,控制路径设置和管理存储设备的策略,而数据路径执行实际读取、写入和数据服务。
ViPR 不同于以前在存储虚拟化中所做的尝试,它将存储路径与数据路径分开。
通过抽象出控制路径,存储管理将在虚拟层执行,这使客户能够将其存储池划分为许多虚拟存储阵列,并由策略以独有的方式管理它们。
这类似于将服务器划分为多个虚拟机。
但是,ViPR 会干预文件和块存储的数据路径。
控制路径与数据路径的这种分离,不仅让ViPR 能够集中执行所有数据调配和数据管理任务,而且允许应用程序访问文件和块数据,因为它们始终必须继续使用存储阵列中嵌入的独特数据服务。
ViPR 提供块和文件控制服务,这些服务将物理块和文件存储阵列的所有功能作为虚拟服务进行提供。
通过块和文件控制服务,用户可以管理块卷、NFS 文件系统或CIFS 共享以及高级保护服务,如快照、克隆和复制。
ViPR 块和文件控制服务提供完整的存储功能,用户就好像访问物理阵列一样。
相比之下,提供的块存储卷通常是供公共云中的虚拟计算实例使用,可能会放弃许多高级阵列功能,取而代之的是使用普通廉价磁盘,以降低成本和简化操作。
但是,ViPR 不需要做出这种牺牲。
ViPR 块和文件控制服务可实现操作的简便性,并保留了阵列的诸如镜像、克隆、快照和多站点高可用性及复制等所有高级功能。
ViPR 在不造成任何不利影响的情况下对存储进行虚拟化。
ViPR 的独特方法不仅保留了底层阵列的功能,而且还扩展了这些功能。
管理员和开发人员可以创建跨阵列的新全球服务。
例如,开发人员可以创建这样的对象数据服务:不仅能在普通廉价磁盘上运行,而且还可以访问对象,将对象存储在文件服务器上并利用该文件服务器的性能。
在此示例中,ViPR 还提供通过数据路径访问对象存储,也可以通过数据路径访问文件服务器。
例如,组织可以在高性能NAS 设备上存储、访问和操作对象,而不必重写现有基于文件的应用程序。
开发人员可以在软件中一次创建新的阵列功能,然后在任何阵列中运行,也不必执行重写。
4 EMC ViPR 体系结构
ViPR 使多供应商存储环境看起来就像一个大的虚拟阵列。
ViPR 使用连接到底层阵列的软件适配器,这类似于设备驱动程序使通用设备与PC 兼容所采用的方式。
ViPR 提供了开放式API,因此,任何供应商、合作伙伴或客户都可以构建新的适配器以添加新阵列。
这创建了可扩展的“即插即用”存储环境,从而可以自动连接、发现和映射阵列、主机和SAN 结构(图3)。
存储管理员添加阵列后,ViPR 会发现阵列及其所有相应的存储池和端口。
添加光纤通道交换机后,ViPR 会自动发现和映射光纤通道网络。
而且,ViPR 可以针对EMC 和非EMC 阵列(包括EMC VMAX、EMC VNX、EMC Isilon、EMC VPLEX、EMC Atmos和NetApp)完成此虚拟化和映射。
除发布API 外,ViPR 还将支持其他EMC和商品磁盘。
ViPR 隐藏了所有底层存储阵列的复杂性,并展示了其作为数据服务的核心功能,同时还保留了阵列的特有属性。
存储管理员然后可以在ViPR 中创建代表特有应用程序工作负载所需的功能集的虚拟存储池。
例如,具有高性能块存储特征的虚拟存储池(例如EMC VMAX)最适合事务性工作负载。
诸如在线文件和内容共享等云应用程序对性能不敏感,在能够更经济地提供必要的数据保护和可用性级别的普通廉价硬盘上就能运行得很好。
对于上述任意一种情况,用户
都可以根据其工作负载需求订购虚拟存储池。
用户不需要了解或关心将为其应用程序提供数据服务的底层硬件和软件。
ViPR 不是在特定阵列中调配空间,而是让存储管理员能够提供独特的、可自定义的硬件和软件资源组合作为可使用的数据服务。
5 全局数据服务
EMC 软件定义的存储的可扩展性使它在某种程度上不同于存储虚拟化和其他软件定义的存储解决方案,管理员和开发人员可以开发可跨阵列并支持混合数据类型的新全球数据服务。
全局数据服务属于存储抽象化,反映数据类型(文件、对象、数据块或混合数据类型)、访问协议(iSCSI、NFS、REST 等)以及持久性、可用性和安全性特征(快照、复制等)的组合。
数据服务的示例包括:
1.文件中对象数据服务:EMC ViPR 文件中对象数据服务提供了将非结构化数
据(例如,图像、视频、音频、联机文档)作为基于文件中对象的存储
(例如EMC VNX、Isilon 和NetApp 存储系统)进行存储、访问和操作,而不必重写或重新处理现有基于文件的应用程序。
ViPR 文件中对象数据服务是在不同硬件平台上透明运行的软件层。
最初,ViPR 文件中对象数据服务为用户提供了使用Amazon S3、OpenStack Swift 和EMC Atmos API 管理对象数据以及访问文件系统上的数据的功能。
ViPR 文件中对象数据服务提供对文件阵列的直接路径访问。
特别是,由于企业写入到文件系统的现有应用程序不必重新编码即可利用ViPR,因此他们可以从此功能受益。
2.HDFS 数据服务:Hadoop 分布式文件系统(HDFS) 支持将对使用对象和文件
数据服务的数据密集型应用程序应用位置感知。
处理工作在数据所在的执行器节点上执行,而不必再遍历网络,从而减少了主干的流量。
3.业务连续性/移动数据服务:EMC ViPR(虚拟)块控制器与VPLEX 和
RecoverPoint(物理)块数据节点相结合,为通过快照、复制、高可用性和城域内的移动性支持任何工作负载的VMAX 和VNX 块存储提供全球业务连续性和移动数据服务,而所有这一切都通过一个管理控制点进行管理。
通过在软件中虚拟化和定义的存储资源,存储管理员不再受制于物理存储约束,可以为用户提供异构存储环境,并将应用程序作为用户可以订购的服务集提供。
ViPR 的开放式可扩展平台作为开发新的和创新型数据服务的基础,这些
服务将以前陆封的数据呈现给新的使用情形和应用程序,让企业和服务提供商有能力吸引开发人员和ISV生态系统添加新的增值数据服务。
ViPR 全球数据服务为客户提供了选择的机会。
工作流数据可以部分驻留在EMC VNX中,部分驻留在EMC Atmos、EMC Isilon、NetApp、Amazon S3 或任何组合中,对用户完全透明。
不同的应用程序可以通过不同的方式访问相同数据并与其进行交互,这标志着数据思洛的终结。
企业和服务提供商通过降低了复杂性,可以获得更大的灵活性。
6 ViPR 的价值:简单、可扩展、开放
EMC ViPR 是第一个兑现了软件定义的存储和SDDC 的承诺的真正虚拟化平台。
ViPR 依靠抽象的中央控制路径,简化并自动执行重复的存储调配和管理任务。
ViPR 是可扩展的平台,组织使用它可以开发新的数据服务和适配器以支持其他阵列。
ViPR 还是开放式的API 驱动型平台,帮助与云堆栈实现集成,开发多样化的新数据服务和应用程序。
6.1简单
抽象的中央控制平面架构简化了多样化存储基础架构的操作。
ViPR 可以集中处理并自动执行整个存储生命周期流程。
管理员可以从一个软件控制点添加、调配、管理和共享存储。
企业和服务提供商可以运行多租户环境,并提供对块、文件和对象存储资源的简单自助访问。
ViPR 可以监视并报告物理存储基础架构的运行状况以及使用情况、可用容量和性能。
ViPR 可以计量存储使用量,对租户按存储容量使用计费,并与现有记帐系统相集成。
ViPR 不仅简化了管理,而且简化了交付和使用。
存储管理员不用手动以及通过脚本为用户调配存储,而是为用户/租户提供自助服务门户网站,他们可以在这里分配虚拟存储池中的存储。
获得授权的用户或租户只需选择满足其应用程序工作负载的虚拟存储池即可。
这有助于存储管理员最大限度地减少用户与IT
的交互,自动执行确定可用存储容量的过程,并且能更好地将应用程序工作负载的需求与正确的软件和硬件存储资源组合对应起来。
6.2可扩展
要成为真正意义上的软件定义的存储,平台必须能够可编程。
ViPR 提供简单而强大的表述性状态转移(REST) API,从而与多供应商存储资源建立了连接,就好像它们是一个大的存储池一样。
ViPR 的可扩展性让组织能够创建新的适配器以支持其他阵列,并创建在ViPR 上运行的新全球数据服务。
任何客户、合作
伙伴或服务提供商都可以支持更多阵列或者开发新的数据服务。
使用ViPR,存储层现在可以成为SDDC 中的另一个可编程虚拟资源。
ViPR 托管的所有数据和资源都可以通过开放式API 进行访问,该开放式API 还可与VMware、Microsoft 和OpenStack 云环境集成在一起。
组织可以轻松地将ViPR 集成到现有的数据中心操作中。
ViPR 提供特定的VMware 集成,通过接口可以集成到VMware vStorage API for Storage Awareness (VASA)、vCenter Orchestrator 和vCenter Operations 中。
例如,a vCenter 管理员可以获得从虚拟机到物理存储的端到端可见性。
6.3开放
ViPR 支持包括Amazon Simple Storage Service (S3)、OpenStack Swift 和EMC Atmos 等多个存储API。
开发人员可以将应用程序写入多个云API,并在企业数据中心或服务提供商的云中的ViPR 上执行这些工作负载。
ViPR 的文件中对象数据服务使得还能将对象存储在现有文件系统中,并实现从传统应用程序访问这些对象,而不必修改应用程序或者进行重新编码。
EMC 发布了有助于添加新阵列适配器和新数据服务的API。
这让开发人员能够将精力集中在他们添
加的功能和价值上,而不是底层存储的细节上。
开放式API 使企业和服务提供商能够构建开发人员社区,吸引要扩展增值数据服务领域的开发人员和ISV。
结论过去几年里公共云计算的兴起促使管理层、业务线(LOB) 经理和开发人员对他们的IT 领导层、服务提供商因而还有存储管理员提出更高的要求。
传统
企业应用程序工作负载的持续增长,再伴随着Web 的爆炸式增长,促使移动和云应用程序需要一种简单且自动化的方式使数据中心和存储资源与各种存储、保护和访问内容的方式保持协调一致。
数据思洛的时代已经过去。
真正软件定义的存储的时代已经到来。
EMC ViPR 软件定义的存储可以将物理阵列中的存储抽象为虚拟共享存储资源池,从而跨阵列提供创新型数据服务。
甚至包含各种可想得到的应用程序和工作负载的复杂、异构、多供应商环境,也能变得易于管理和可扩展,并成为开放式环境,可以添加创新和增值数据服务。
7 EMC实现云存储管理平台ViPR技术特性
通过EMC公司的存储云服务平台进行管理;
现有硬件里面也有软件,但相对固化,不提供或者提供非常少的接口,缺乏灵活性。
以空调为例,很早以前的空调,通过遥控器,我们只能选择温度,或者开关;后来出现了更多的选择,如风速、风向等的设定。
到了智能家居的时代,通过向应用软件开放空调的编程接口,智能家居服务商帮助我们达到,能在回家之前,就借助手机或者平板,开启并设置空调了。
软件是用户与硬件之间的接口界面。
用户主要是通过软件与硬件进行交流。
随着客户日益增长的多样化、个性化定制的需求,以及更加智能、更加灵活所需的自动化的需求,软件定义的需求将越来越多、越来越广。
大体而言,存储设备具有控制路径和数据路径。
用浅显的语言来讲,控制路径设置和管理存储设备的策略,而数据路径执行实际读取、写入和数据服务。
ViPR 不同于以前在存储虚拟化中所做的尝试,它将存储路径与数据路径分开。
通过抽象出控制路径,存储管理将在虚拟层执行,这使客户能够将其存储池划分为许多虚拟存储阵列,并由策略以独有的方式管理它们。
这类似于将服务器划分为多个虚拟机。
但是,ViPR 会干预文件和块存储的数据路径。
控制路径与数据路径的这种分离,不仅让ViPR 能够集中执行所有数据调配和数据管理任务,而且允许应用程序访问文件和块数据,因为它们始终必须继续使用存储阵列中嵌入的独特数据服务。
ViPR 提供块和文件控制服务,这些服务将物理块和文件存储阵列的所有功
能作为虚拟服务进行提供。
通过块和文件控制服务,用户可以管理块卷、NFS 文件系统或CIFS 共享以及高级保护服务,如快照、克隆和复制。
ViPR 块和文件控制服务提供完整的存储功能,用户就好像访问物理阵列一样。
相比之下,提供的块存储卷通常是供公共云中的虚拟计算实例使用,可能会放弃许多高级阵列功能,取而代之的是使用普通廉价磁盘,以降低成本和简化操作。
但是,ViPR 不需要做出这种牺牲。
ViPR 块和文件控制服务可实现操作的简便性,并保留了阵列的诸如镜像、克隆、快照和多站点高可用性及复制等所有高级功能。
ViPR 在不造成任何不利影响的情况下对存储进行虚拟化。
ViPR 的独特方法不仅保留了底层阵列的功能,而且还扩展了这些功能。
管理员和开发人员可以创建跨阵列的新全球服务。
例如,开发人员可以创建这样的对象数据服务:不仅能在普通廉价磁盘上运行,而且还可以访问对象,将对象存储在文件服务器上并利用该文件服务器的性能。
在此示例中,ViPR 还提供通过数据路径访问对象存储,也可以通过数据路径访问文件服务器。
例如,组织可以在高性能NAS 设备上存储、访问和操作对象,而不必重写现有基于文件的应用程序。
开发人员可以在软件中一次创建新的阵列功能,然后在任何阵列中运行,也不必执行重写。
云存储管理平台统一管理新购的存储设备,包括全闪存阵列、光纤阵列、集
群存储、光纤网络设备等。
透过云存储管理平台提供存储行业的全部的访问协议,包括块(FC或iSCSI)、文件、对象和HDFS协议,块协议主要供数据库、服务器虚拟化、VDI等业务访问,文件协议主要供网盘以及VDI个人数据和文件共享使用,对象和HDFS协议为未来数据分析应用提供接口。