制造型企业数据存储备份容灾系统设计论文
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
制造型企业数据存储备份与容灾系统设计摘要:现代企业的日常管理与生产越来越依靠计算机系统的支持,企业保存在网络、数据库和各类信息管理系统中的数据也日益增长,一旦数据在传输、存储中出现丢失、被窃等行为,可能会造成企业运转系统的瘫痪。
因此,增强企业信息数据安全性,建立一套合理完善的信息数据存储备份与容灾系统,成为国内外企业的普遍共识。
针对制造型企业信息数据的组成结构与特点,进行较全面的分析,同时结合当前主流的信息数据安全系统方案对适应制造型企业需求的信息数据存储备份与容灾系统进行了系统设计与规划。
关键词:存储;备份;容灾;分析;设计;构建
中图分类号:tp39 文献标识码:a 文章编号:1007-9599 (2011) 22-0000-03
manufacturing enterprise data storage backup
and disaster recovery system design
ji rui,tong yin
(nanjing mint co.,ltd,nanjing 211100,china)
abstract:the modern enterprise management and production more and more rely on computer systems support,enterprise is stored on the network,database and information management system of data is increasing day by day,once the data in the transmission,storage of lost,stolen,may cause the enterprise operation system paralysis.therefore,to enhance the
enterprise information security,to establish a reasonable and perfect information data storage backup and disaster recovery system,becomes the domestic and foreign enterprises of general consensus.for the manufacturing enterprise information data structure and characteristics,conducted a comprehensive analysis,combined with the current mainstream information data security system to adapt to the demand of manufacturing enterprise information data storage backup and disaster recovery system design and planning.
keywords:storage;backup;disaster
recovery;analysis;design;construction
制造型企业信息数据存储备份与容灾系统设计的目标是为企业应用的所有涉及的系统与软件提供安全可靠的数据备份与容灾;根据信息化建设可扩展性的原则,异地容灾是必须考虑的范畴。
图1为当前制造类企业比较典型的应用系统的拓扑图。
图1:制造型企业信息系统拓扑图
一、建设目标
数据备份与容灾的项目建设,应达到以下的建设目标:
(一)建立一套统一的集中管理平台。
通过建立san存储基础架构,构建一个高效、稳定、可靠的存储网络、数据存储中心和安全的管理平台。
使用高性能、高可靠性的大容量存储设备,进行存储整合,使数据集中存储,建立一个统一的数据存储中心。
(二)构建一个完整的企业级的数据备份/恢复平台。
将整个存储网络中的重要数据进行集中备份,建立统一的备份策略,实现数据的在线备份和数据归档。
使用高速的备份介质,减少日常备份/恢复作业对系统可用性及性能的影响,实现快速的备份/恢复机制。
并且能实现操作系统级的快速安全恢复。
(三)对关键的业务系统通过双机容错或集群实现业务连续性。
对关键的业务系统通过双机容错或集群,实现热切换,一旦某一主机工作出现故障,备机可迅速接管主机的工作,保证应用的连续不间断运行。
二、存储技术的考虑
(一)集中存储技术考虑。
系统项目设计应在遵循技术可靠性的基础上,还要遵循先进性、高效率、可扩展/可升级的原则,并考虑目前的应用情况和可拿出改造的资金情况,针对具体情况提出合适的解决方案。
目前主流的集中存储技术有两种:san和nas san(storage area network-存储区域网)是指独立于服务器网络系统之外的高速光纤存储网络,这种网络采用高速光纤通道作为传输体,以scsi-3协议作为存储访问协议。
将存储系统网络化,实现真正的高速共享存储。
nas(network attached storage-网络附加存储)是将存储设备通过标准的网络拓扑结构(例如以太网),连接到一群计算机上。
nas是部件级的存储方法,它的重点在于帮助工作组和部门级机构解决迅速增加存储容量的需求。
采用san架构,有传输效率高、传输距离长,而且由于采用san 专网,数据传输受网络阻塞影响小。
所以骨干业务一般都采用san 架构的存储模式;nas环境由于采用以太网做数据传输,设备布置的灵活性要好于san。
对于实时性要求高的业务,如含有数据库的业务。
目前的nas设备响应效率还不高,因此在一个大的备份系统中,采用nas设备做集中存储的系统不宜过多。
制造类企业生产与管理业务较多,因此架构采用san为主的集中存储架构是效费比比较高的系统架构方案。
对主要的业务采用san架构,应用的数据库都放在磁盘阵列系统中,在磁盘阵列与主机之间通过冗余的光纤交换机进行转接。
光纤交换机到磁盘阵列采用光纤通道进行数据流的传输。
(二)raid技术的考虑。
raid技术采用上,对大容量存储空间的应用主要有raid5和raid10技术。
raid5技术:在一个raid可用磁盘空间容量为n*(k-1)(k为单磁盘容量,n为磁盘数)。
它能在1块磁盘损坏的情况下保持工作的连续性。
raid10技术:可用磁盘空间为n*k/2(k为单磁盘容量,n为磁盘数),可在同时两块不同镜像组磁盘损坏的情况下保持工作的连续性,因此比raid5工作更加可靠。
采用raid10技术固然安全性高,但是其要求磁盘的数量要高得多。
比如10块硬盘做一个raid。
raid5可用磁盘容量为9块,而raid10可用磁盘容量只有5块。
对达到几个t的大数据量应用来说,
采用raid10会增加很大的投资。
因此从节省投资和安全的角度综合考虑,可倾向于采用raid5
技术,另外制造型企业的应用系统数量通常在小数量级,假如都采用raid5,可以将多个应用划于一个raid中,也可以将这些应用划于不同的raid中。
假如划到一个raid中,优点是节省磁盘,但缺点是几十块磁盘仅有一块冗余盘,冗余度降低。
对于raid来说,如果一块磁盘出现故障,系统重构的时间相对较长越长,因此对多应用来说,普遍的做法是对多个应用划分多个raid。
(三)迁移目标的考虑。
在建立集中的存储平台后,将其他应用的文件系统和数据库数据迁移到磁盘阵列设备中;迁移过程中不影响或极少影响当前环境所连的业务的运行。
为了既不突破现有存储网络的容量和磁盘阵列的处理能力,又保证集中存储系统的运行效率,应用可以从以下两方面考虑:
1.是否为企业关键业务。
2.应用的实时性要求是否高。
按上面两点可将应用分类如下:
关键数据库应用系统:为企业重点应用,数据存储在oracle、sql server等数据库中,数据存取方式为块方式,连接的客户端较多,实时性要求较高,出问题对企业影响较大。
这类应用包括erp 系统、oa系统等。
关键文件应用系统:数据以文件方式存储,连接的客户端较多,数据比较重要。
包括人力资源、质量管理、生产管理等。
其他数据库应用系统:数据以数据库方式存放,连接的客户端不多,数据量不大。
有的应用虽然重要,但仅仅作为认证设备或者监测设备来用,数据量很小。
对于关键数据库应用系统应直接连入san网络,利用san网络的高速、高可靠性满足系统对性能的要求。
关键文件应用系统应用也接入san网络,实现数据的集中存储。
(四)利用磁盘技术解决备份与恢复问题的考虑。
对于选择什么样的设备作为备份设备需要考虑企业具体的业务性质与数据性质。
现在常用的备份设备主要是磁带和磁盘两种,这两种设备各有其优劣。
磁盘设备的优点是存取数据的速度快、查询定位快;但是由于是在线设备,导致备份数据的安全性不高,成本也较高。
磁带设备是一种顺序设备,读写速度也很快,成本低。
由于是一种离线设备,备份数据的安全性高。
缺点是查找定位的速度慢,而且介质损坏的可能性大。
从整体的优缺点考虑,磁盘具有以下具体的性能优势:
1.高速性。
磁盘卷,特别是raid,具有非常快速的读取性能,可与最新磁带驱动器的吞吐性能相媲美;
使用磁盘快照技术,磁盘备份和恢复事实上可以即时完成;
在某种程度上消除备份窗口——实际上,使用磁盘快照(snapshot)和/或(off-host)的磁带备份技术,可以认为基本消除了备份窗口,因为这种备份对生产服务器的影响非常“轻微”(低
影响),并且速度非常快。
2.灵活性。
降低数据丢失风险——磁盘备份的优势是能更快速地备份(使用快照几乎即时完成),并高效地存储。
管理员能进行更频繁的备份,从而降低数据丢失的风险。
灵活利用磁盘设备——必要时,用作备份设备的磁盘可以支持同步备份、恢复和复制。
而使用顺序磁带设备却无法实现。
3.高效性。
使用磁盘的数据保护操作的潜在可靠性更高——虽然磁盘和磁带驱动器都是机械设备,但磁带驱动器、磁带库,尤其是磁带本身,在过去始终都是使用比较麻烦的设备,它们会引发备份或恢复操作的延时或故障。
将磁盘用作一种高频率的短期数据保护介质,而将磁带用作一种存档介质,可以减少此类问题的发生。
通过磁盘备份创建灾难恢复介质更加高效——复制现有磁带以进行异地保存的技术已经使用了多年。
然而,使用磁盘的全新数据保护功能,可以为异地存储创建合成完全备份,包括增量备份和差量备份。
该方案只需要复制更少的数据,因而可以降低成本,减少驱动器磨损。
磁盘的更快速度和灵活性可以简化灾难恢复测试计划——如果灾难恢复计划得不到执行,则它们将毫无价值,因此必须确认灾难恢复计划能得到执行。
但绝大多数灾难恢复计划都没有经过测试,因为测试过程非常复杂,耗时巨大,执行不方便。
使用磁盘进行恢复,就可以提供更多便利,加快测试速度,使灾难恢复测试起来更容易。
三、容灾的考虑
建设容灾系统就是指利用各种技术和管理手段将灾难的影响化解,它的主要表现形式为两个方面:一是保证企业数据的安全;二是保证业务的连续性。
建立服务器集群即是出于此种情况的考虑。
在选择实现服务器集群的软件上,可以选择功能较为全面的第三方软件,第三方软件通常提供和支持几种集群架构,能够满足大多数企业的数据中心架构需求:
能够共享数据的本地高可用性
城域集群
为灾难恢复进行广域内的集群(全局集群)
容灾系统的第三方软件能够为任何企业需求提供高可用性(ha)和灾难恢复(dr),无论高可用性或灾难恢复计划是针对本地单站点的,还是短距离内城域网(man),抑或全局范围内广域网(wan)。
不论数据中心的基础架构或san和网络连接的可用性是怎样的,都可以提供已经被广泛验证的围绕高可用性和存储管理产品建立的
高可用性或灾难恢复架构。
容灾系统软件需要安装在每个应用主机上,它应提供如下高级功能:
(一)多路径管理(dmp)。
在存储和服务器之间建立多条数据路径。
以便当运行路径出错时,另一条可用路径立即自动接管i/o,为用户提供虚拟地不中断存取。
(二)online monitoring and tuning。
管理员可以在线识别
存储瓶颈,并将数据迁移到合适的存储位置。
这可以实现在问题变得严重之前阻止它。
i/o活动的跟踪可以在系统级、卷级、逻辑磁盘级、或物理磁盘级。
(三)阵列间镜像。
提供镜像功能,可以在任何型号的磁盘阵列间完成,利用这种功能将镜像的两个阵列放到远距离的位置,达到同城容灾。
四、数据备份及恢复方面的考虑
(一)现状和对数据备份系统的要求。
目前企业主要的信息系统应用平台一般多运行windows操作系统,数据库运行的主要是mysql、sql、lotus、oracle等。
通过专业的备份软件来实现全网络的统一备份策略,通过san方式来备份,方便统一管理,同时大大提高备份和恢复速度,提高数据可靠性。
容灾系统可以实现数据两地保存,任何一边出现数据丢失、存储失效,都不会造成整个应用的中断。
(二)数据备份和恢复系统的建设原则。
一个集中数据备份中心项目建设将遵循以下原则:
1.先进性。
选择当前主流厂家的产品,并在很多数据中心项目中有成功的部署案例,要求技术先进、成熟,并且是各个领域公认的领先产品。
系统方案应满足未来各种应用系统对应用系统存储备份中心的要求,提供统一存储、备份服务。
2.扩展性。
要求系统具备良好的扩展性,支持业务系统容量增加和业务扩展的需要。
系统应具备灵活的体系架构,支持对新系统
接入的快速响应。
系统应考虑到升级、扩展以及与其它应用系统的接口能力。
产品具有良好的扩展性,能够快速响应需求的扩展,满足用户的进一步需要。
3.稳定性。
随着未来应用系统的广泛使用,存储备份中心需要提供稳定可靠的服务,并具备当异常或灾难发生时的快速恢复机制。
系统稳定性和可靠性直接关系到应用系统能否正常运行,因此在系统设计中,高可靠性至关重要。
4.开放性,兼容性。
各种设计规范、技术指标及产品均要符合国际和工业标准,并可提供多厂家产品的支持能力。
系统中所采用的所有产品都要满足相关的国际标准和国家标准,是开放的可兼容系统,能与不同厂商的产品兼容,可以有效保护投资。
5.平滑过渡。
业务系统的建设是逐步完善的过程,在建设中应保障相关各系统的稳定和已有的备份环境,保证向新系统的平滑过渡,不应影响到生产系统的使用。
6.管理、操作、易维护性。
随着信息系统建设规模的不断扩大,系统的可管理性已成为系统能否实施的关键,用户需要的是可解决其问题并易于管理的系统。
贯彻面向最终用户的原则,安装简便快捷,具有了友好的用户界面,操作简单、直观、灵活,易于学习和掌握,支持在线功能帮助。
(三)备份方面的综合考虑。
对于基于san方式的备份,需选择enterprise client备份模块和支持虚拟带库模块,这样在san
里的每个服务器都可以直接把数据备份到阵列和带库里;实现系统智能灾难恢复;使用bmr模块,可以快速、方便恢复操作系统;实现了数据高可用、远程异地容灾:使用高可用性ha,可以实现应用零宕机,数据实时同步异地。
最终可建立的企业信息系统的备份结构示意图如下。
图2:企业信息系统备份结构示意图
五、综合考虑
综上所述,制造型企业的数据存储与容灾系统可分为四个部分,第一部分是通过两台switcher构建一个无单点故障的光纤存储网络(san),将用户的在线和近线存储通过san网络集中在一起,提供高速数据传输和交换的通道;第二部分是连接在光纤存储网络(san)中的在线(online)存储系统,使用存储管理系统,通过san中的高速互联网络,为企业核心服务器提供大容量的在线存储数据;第三部分是连接在san中的近线(nearline)数据备份系统,采用d2d2t的方式,首先备份到虚拟磁带库上,对于备份完成的数据,再通过备份软件,将虚拟磁带库上的数据备份到物理磁带库中;第四部分是高可用ha软件,构建一个由服务器、lan、心跳网络、共享的存储已及在服务器上运行的应用系统组成的集群。
数据集中存储,实现备份和容灾后,该系统的拓扑结构图,如下图3所示。
图3:企业数据存储备份与容灾拓扑图
六、结束语
企业的数据备份与容灾系统在设计规划中充分考虑了可靠性、先进性、安全性、可扩展性等因素,并同时考虑了技术选择上的风险及防范手段,从而实现了集中存储,分级管理,同时实现对对数据的3级保护:
第一级保护:针对本地软硬件故障,采用高可用ha软件,实现本地集群。
软件或硬件故障时,可以通过本地集群切换,实现业务持续运行。
第二级保护:采用备份软件虚拟磁带库及物理磁带库,实现数据的自动备份。
发生数据物理错误或逻辑错误时,可以从磁带库中恢复数据。
第三级保护:采用存储管理系统软件与存储阵列,实现数据实时镜像。
在主中心发生灾难时,容灾中心还保存一份数据,确保数据不丢失,实现了应用级的数据容灾,保证了业务持续运行。
参考文献:
[1]李涛.信息系统容灾抗毁原理与应用[m].北京:人民邮电出版社,2007
[2]张冬.大话存储ⅱ—存储系统架构与底层原理极限剖析[m].北京:清华大学出版社,2011
[3]邹恒明.有备无患:信息系统之灾难应对[m].北京:机械工业出版社,2009
[4]康春荣,苏武荣.数据安全项目案例:存储与备份san与nas 容错与容灾[m].北京:科学出版社,2004
[5]张京生,汪中夏,刘伟.数据恢复方法及案例分析[m].北京:电子工业出版社,2008
[6]鲁士文.存储网络技术及应用[m].北京:清华大学出版
社,2010
[7]萨曼达,希瓦史塔瓦.信息存储与管理:数字信息的存储、管理和保护[m].北京:人民邮电出版社,2010
[8]王改性,师鸣若.数据存储备份与灾难恢复[m].北京:电子工业出版社,2009
[作者简介]季汭(1979-),男,江苏省南京市人,工程师,硕士,主要研究方向为系统分析与数据库优化。