大数据环境下浪擎双活容灾保安全
浪擎科技的“双活”容灾做好灾备基础演练
浪擎科技的“双活”容灾做好灾备基础演练对于大多数灾备公司而言,目前已经做到了在同城建立数据备份中心,但是这显然对地震等区域性灾害的容灾能力很低。
为此,有些业务发展优秀的灾备厂商也正尝试着进行异地灾备中心建立的工作。
建立灾备中心的目的是希望当灾难发生时,能够通过灾备中心实现业务和数据的恢复,这就要求灾备中心的数据100%的可用,如果灾备中心的数据不能够保证可以恢复,那么灾备就没有太大的价值和意义了。
业内有句经典的话,灾备不是一项技术,而是一项工程。
对于灾备公司而言,灾备中心并不是建立完成,并做好运维工作就可以在灾难到来时安枕无忧了。
灾备是项系统且繁杂的项目,包括前期容灾评估,容灾规划,后期演练等多项工作。
现在很多灾备公司都不太重视灾备的演练,很多一年也没有做到一次,不能完全发现灾备中心的缺陷。
可以说只有少数省份能够做到半年进行一次演练。
四川安县桑枣中学的中学校长因经常带领全校师生进行安全演练,最终逃过汶川地震,全校师生无一人伤亡。
安全事故的防范和演练对IT系统同样适用。
从技术上看,衡量容灾系统有两个主要指标:RPO(Recovery Point Object)和RTO(Recovery Time Object),其中RPO代表了当灾难发生时允许丢失的数据量;而RTO则代表了系统恢复的时间。
最好的情况是RPO=0,RTO=0,但显然这种情况是个理想状态。
定期的容灾演练才能验证容灾架构、灾难恢复预案的有效性以及实际执行能力。
针对演练过程,发现各方面存在的问题并加以改进,可以使容灾体系更加完善,同时也能使各部门相关人员都熟悉、了解相关的策略、流程和方法,提高应急响应和灾难恢复的综合执行能力。
做一次灾备演练,是十分耗时耗力的事情,需要将现有系统运行的业务全部转载到灾备系统上。
由于现在数据中心与灾备中心的配备多是1∶0.75到1∶1之间,灾备中心并不能支撑所有客户,对客户服务感知度略有影响,所以这种演练通常在业务量低的夜间进行。
浪擎-容灾备份技术为大数据保驾护航
浪擎-容灾备份技术为大数据保驾护航据IDC预测,到2020年,全球数据总量将达到35ZB。
大量的结构化数据、非结构化数据、半结构化数据,充斥着我们生活的方方面面。
这些以井喷式增长的多样化数据信息,注定是要受到市场认可的,只要企业对这些海量信息进行分析处理、发掘其潜在价值并作出预测,那么这些数据信息将会成为企业内部的“灵魂”,重要决策的依据,亦会是企业取之不尽的巨大财富。
大数据势必改变世界6年前,约翰·韦伯斯特(John Webster)和克里斯·斯塔库提斯(Chris Stakutis) 就联合撰写过一本名为《无所不包的数据》(Inescapable Data)的书,书中记载了他们与近50位企业家和高管的对话内容,主要是关于大规模收集数据如何改变他们的业务和生活的讨论。
早就有媒体撰文称“大数据革命彻底改变人类的生活,例如在副食店就可以询问家中的冰箱是否需要牛奶。
走进鞋店后,一台无线设备就能测试你的鞋码和走路方式。
”也许,以上变化还未能全面映射真实世界。
但着眼现在,社交网站Facebook每天产生32亿条消息,3亿张照片,每周新增图片总量达60TB.而提供云计算服务的亚马逊EC2,目前的服务器数量已达45万台。
现在,社交网络,云计算,移动互联网,物联网,智能数据,智能城市,智慧城市等等都是产生大数据的来源。
这些数据之大,让我们不得不把闪光灯照向它,因为,大数据已然改变了世界。
大数据如何改变世界也许你会好奇,大数据的量是很大,但是人们为何如此热衷于对大数据的分析处理呢?它究竟有多重要呢?索尼公司前首席执行官出井伸在谈到索尼衰落的原因时曾表示,新一代基于互联网基因的企业的核心能力,是利用新模式和新技术,更贴近消费者,更深刻理解需求,高效分析信息并作出判断,而像索尼这样传统的产品公司,则日渐沦为上述新兴平台级公司的附庸。
可见,在出井伸的眼里,分析整理大数据的重要性和紧迫性。
另外一个正面的例子则来自电商企业京东商城。
双活数据中心与灾备解决方案
双活数据中心与灾备解决方案多数据中心的建设需要投入大量资金,其项目周期往往很长,涉及的范围也比较大。
从技术上来说,要实现真正意义上的双活,就要求网络、应用、数据库和存储都要双活。
就现阶段来看,大多数客户的多数据中心建设还达不到完全的双活要求,主流的建设目标是实现应用双活。
目前客户建设多数据中心的模型可以归纳为以下几种:1.单纯的数据容灾:正常情况下只有主数据中心投入运行,备数据中心处于待命状态。
发生灾难时,灾备数据中心可以短时间内恢复业务并投入运行,减轻灾难带来的损失。
这种模式只能解决业务连续性的需求,但用户无法就近快速接入。
灾备中心建设的投资巨大且运维成本高昂,正常情况下灾备中心不对外服务,资源利用率偏低,造成了巨大的浪费。
数据容灾2.构建业务连续性:两个数据中心(同城/异地)的应用都处于活动状态,都有业务对外提供服务且互为备份。
但出于技术成熟度、成本等因素考虑,数据库采用主备方式部署,数据库读写操作都在主中心进行,灾备中心进行数据同步。
发生灾难时,数据中心间的数据库可以快速切换,避免业务中断。
双活数据中心可充分盘活企业闲置资源,保证业务的连续性,帮助用户接入最优节点,提高用户访问体验。
构建业务连续性3.提升业务服务能力:多个数据中心同时对外提供服务且互为备份,各中心的数据库可同时处理应用的读写请求,网络、存储、应用和数据库全部实现多活。
各数据中心独立运营,用户流量可被智能调度,形成灵活、弹性和可扩展的面向服务的业务架构。
提升业务服务能力数据中心业务连续性解决方案的几种主要应用场景同城双活:站点级双活(可支持应用级双活),整合距离相对较近的两个数据中心中的计算、存储和网络资源,实现高度灵活的负载分配,结合数据中心内部的高可用机制,为业务连续性提供最高级别保障。
特点:1、跨数据中心实现高可用性与负载平衡,支持各种应用2、管理简便,成本较高3、数据零丢失,无单一故障点,可靠性高,可最大化业务在线时间4、距离有限,可实现城域级别的应用迁移与灾难避免/灾难恢复异地灾备在不限距离的两个数据中心之间构建备份关系,可抵御较大范围的灾难性事件对业务的影响。
浪擎——理解应用系统的“双活”可靠容灾
浪擎——理解应用系统的“双活”可靠容灾容灾系统,对于IT而言,就是为计算机信息系统提供的一个能应付各种灾难的环境。
当计算机系统在遭受如火灾、水灾、地震、战争等不可抗拒的自然灾难以及计算机犯罪、计算机病毒、掉电、网络/通信失败、硬件/软件错误和人为操作错误等人为灾难时,容灾系统将保证用户数据的安全性(数据容灾),甚至,一个更加完善的容灾系统,还能提供不间断的应用服务(应用容灾)。
可以说,容灾系统是数据存储备份的最高层次,容灾系统包括两个层面的问题,数据容灾和应用容灾。
数据容灾就是指建立一个异地的数据系统,该系统是本地关键应用数据的一个实时复制。
在本地数据及整个应用系统出现灾难时,系统至少在异地保存一份可用的关键业务的数据。
应用容灾是在容灾的基础上,在异地建立一套完整的与本地系统相当的备份应用系统,在灾难情况下,远程系统迅速接管业务运行,数据容灾是容灾系统的基本要求,而应用容灾是系统建设目标,应用容灾必须建立在数据容灾的基础之上,通过整合应用系统、网络系统等各种资源来实现。
我们知道,基础的数据容灾可以保护用户数据的安全性。
而一个高端完善的“双活”容灾却可以提供不间断的应用服务,能够保护数据的安全性,以及业务应用的一致性和可靠性。
浪擎A系镜像系统采用ACA引擎,实时捕获源端生产系统的数据,然后还原成应用系统的数据库记录,再通过目标端保存到目标数据库中,实现完整的复制过程。
A镜像系统基于应用层面的数据库事务复制,能够深刻理解应用系统,提供最可靠的容灾,这是和其他同行最本质的技术区别。
备用端数据库在线运行,可以直接使用,ACA引擎复制原理决定了备用端数据库处于在线运行状态,可以直接验证容灾效果,整个复制过程通过WEB实现监控完全可视化。
当其他同行的复制技术还停留在I/O层面时,浪擎早已站在了应用层,复制数据库事务。
浪擎采用追逐式全量复制技术,保障实施全程不停机,在不停机的要求下,追逐式复制技术把源数据库所有事务,包括缓存数据以及全量复制期间的新增数据,全部复制到目标服务器,以达到目标和源数据完全一致的容灾要求。
浪擎“双活”容灾,完善数据保护机制
浪擎“双活”容灾,完善数据保护机制在构建容灾备份系统时,我们首先考虑的是远程数据保护的机制,即结合我们的实际情况选择合理的数据复制技术。
容灾系统的技术和工程可行性而言,选择合理的数据复制技术时需要考虑了以下因素:(1)所防范的灾难范围也就是明确计算机系统需要承受的灾难类型,系统故障、通信故障、长时间断电、火灾及地震等各种意外情况所采取的备份、保护方案不尽相同。
根据政府行业的特点和国际上相关机构的调查,硬件故障、人为错误、软件错误居信息系统故障发生概率的前三位,自然灾害等属于小概率事件,但由于破坏力大,也是灾备系统必须防范的重要内容,危机管理和响应的重要考虑因素。
从宏观上看,现在人们经常将灾难分为自然灾难和渐进性灾难(如人为的失误型故障、黑客攻击、断点等),容灾实现的技术保护手段在抗击这两类灾难时一般是有所区别的。
传统的容灾手段一般重点集中在了大型站点类灾难的恢复能力上(主要指自然和电力等灾难),防范软件和人为错误的(如各类失误的恢复上)能力一般不具有,因此这类容灾系统并不具有涵盖全系列灾难防范的内容。
新一代的CDP(连续数据保护)的容灾技术就加入了全面的灾难防御体系,而且将自然灾害、人的灾难等等要素都予以了相当全面的考虑。
(2)容灾系统对医院现有业务的影响程度灾备系统的建设应首先不修改现有生产系统的结构(否则会可能产生对现有系统状态的破坏和增加不稳定因素,导致今后生产系统维护增加极大的难度),其次,容灾系统的实施应采取最为简易和快捷的方式,工程上应具有可操作性、周期的可控性,实施周期要短,这样才能最大限度地减小对原有在线系统的影响,提高容灾系统建设的成功率。
(3)灾难发生的业务停顿的容忍时间指标必须明确当计算机系统发生意外无法工作时,导致业务停顿所造成的损失程度,也就是定义用户对于计算机系统发生故障的最大容忍时间。
这是设计容灾备份方案的重要技术指标。
(4)数据保护程度是否要求数据库可以恢复所有提交的交易并且要求实时同步数据也就是数据的连续性和一致性,决定了容灾备份方案规模和复杂程度的重要依据。
大数据的容灾备份
大数据的容灾备份第一点:大数据容灾备份的重要性在当今信息化社会,大数据已经成为企业和个人不可或缺的资产。
大数据的容灾备份,就是确保这些资产安全、完整、可靠的重要手段。
首先,大数据的价值在于它的实时性、准确性和完整性。
一旦发生数据丢失或损坏,将会给企业和个人带来不可估量的损失。
例如,一家金融机构的核心交易数据丢失,可能会导致无法进行正常的交易,甚至引发金融危机;一家互联网公司的用户数据丢失,可能会导致用户流失、股价下跌,甚至影响公司的声誉和品牌形象。
其次,大数据的容灾备份是应对各种灾难性事件的有效手段。
例如,自然灾害(如地震、洪水)、技术故障(如硬件损坏、软件漏洞)、人为破坏(如黑客攻击、内部员工的恶意操作)等,都可能导致数据丢失或损坏。
通过容灾备份,可以在这些灾难发生时,快速恢复数据,减少损失。
最后,大数据的容灾备份是符合法律法规要求的重要措施。
例如,我国的《网络安全法》就明确规定,企业应当采取技术措施和其他必要措施,保障网络安全,防止网络数据泄露、损毁或者篡改。
第二点:大数据容灾备份的实践方法大数据的容灾备份,主要包括以下几个方面的实践方法:首先,选择合适的备份方式。
根据数据的类型、大小、访问频率等因素,选择适合的备份方式,如全量备份、增量备份、差异备份等。
同时,考虑到备份数据的存储和恢复速度,选择合适的备份存储介质,如硬盘、磁带、云存储等。
其次,设计合理的备份策略。
根据业务需求和数据变化情况,设计合理的备份频率、备份时间、备份地点等。
例如,对于一些关键业务数据,可以采用实时备份的方式,确保数据的实时性和完整性;对于一些非关键业务数据,可以采用定期备份的方式,节省存储和带宽资源。
最后,建立完善的备份管理和监控机制。
通过自动化工具和人工监控相结合的方式,确保备份任务的顺利执行,及时发现和处理备份过程中的问题。
同时,定期进行备份数据的恢复测试,验证备份数据的完整性和可用性。
通过以上几个方面的实践,可以有效保障大数据的安全,确保大数据的价值得到充分发挥。
如何利用大数据技术提高防汛预警效率
如何利用大数据技术提高防汛预警效率在当今数字化时代,大数据技术正以惊人的速度改变着各个领域,防汛工作也不例外。
随着气候变化的影响日益显著,极端天气事件频繁发生,提高防汛预警效率变得至关重要。
大数据技术为我们提供了更强大的工具和手段,能够更精准、更及时地预测和应对洪涝灾害,保障人民生命财产安全。
大数据技术在防汛预警中的应用,首先体现在数据的收集和整合方面。
过去,防汛数据往往来自有限的几个渠道,如气象站、水文站等,数据量相对较少且不够全面。
而如今,通过物联网技术,我们可以从各种传感器、监测设备中获取海量的数据,包括降雨量、河流水位、土壤湿度、风速风向等。
此外,还可以整合地理信息系统(GIS)数据、卫星遥感数据、社交媒体数据等多源数据,从而形成一个更全面、更立体的防汛数据资源库。
有了丰富的数据,接下来就是数据的处理和分析。
传统的数据分析方法在面对如此庞大的数据量时往往力不从心,而大数据技术中的数据挖掘、机器学习等算法则能够发挥巨大的作用。
通过这些技术,可以从海量的数据中快速提取出有价值的信息和规律,例如发现降雨量与河流水位之间的复杂关系,预测洪水的发生时间和规模。
同时,还可以利用实时数据进行动态分析,及时调整预警模型,提高预警的准确性。
在数据处理和分析的基础上,建立精准的预警模型是提高防汛预警效率的关键。
利用大数据技术,可以构建基于深度学习的预警模型,这些模型能够自动学习数据中的特征和模式,从而更准确地预测洪水的发展趋势。
例如,卷积神经网络(CNN)可以用于处理图像数据,如卫星遥感图像,识别出可能发生洪涝的区域;循环神经网络(RNN)则适用于处理时间序列数据,如河流水位的变化,预测未来的水位情况。
为了将预警信息及时传递给相关人员,高效的信息发布系统也是必不可少的。
大数据技术可以实现对预警信息的个性化推送,根据不同地区、不同人群的需求,提供定制化的预警服务。
例如,对于居住在易受灾地区的居民,可以通过手机短信、APP 推送等方式发送紧急预警信息;对于防汛指挥部门,可以提供详细的数据分析报告和决策支持。
数据双活解决方案
数据双活解决方案
《数据双活解决方案:实现高可用性和容灾备份》
数据双活是指在两个地理位置的数据中心之间实时同步数据,实现高可用性和容灾备份的解决方案。
在当今信息化时代,数据是企业最重要的资产之一,因此如何保障数据的安全和稳定运行成为了企业亟需解决的问题。
数据双活解决方案应运而生,为企业提供了一种可靠的数据保障机制。
数据双活解决方案采用了多种技术手段来确保数据的高可用性和容灾备份。
首先,通过实时数据同步技术,可以确保在两个地理位置的数据中心之间进行数据备份和同步,实现了数据的实时同步和共享。
其次,采用了负载均衡和故障转移技术,可以在一个数据中心发生故障时,自动切换至另一个数据中心,确保系统的稳定运行。
另外,数据双活解决方案还提供了数据的自动备份和恢复功能,确保了数据的安全性和可靠性。
数据双活解决方案在保障数据安全和稳定运行方面具有明显的优势。
首先,它可以实现数据的实时同步和共享,保证了数据的实时性和一致性。
其次,采用了负载均衡和故障转移技术,可以自动切换至备用数据中心,确保了系统的稳定运行。
此外,数据双活解决方案还提供了数据的自动备份和恢复功能,确保了数据的安全性和可靠性。
综上所述,数据双活解决方案在实现高可用性和容灾备份方面具有明显的优势,是企业保障数据安全和稳定运行的重要手段。
随着信息化程度的不断提高,数据双活解决方案将会得到更广泛的应用,为企业的发展提供可靠的数据保障。
双活容灾方案
双活容灾方案引言随着互联网和信息技术的发展,对于系统的高可用性要求也越来越高。
在企业应用中,任何停机或数据丢失都可能导致巨大的损失。
为了确保系统的持续运行和数据的安全性,企业需要采取容灾方案来应对各种突发情况。
双活容灾方案作为一种常用的容灾模式,在保证系统高可用性的同时,还能提高系统的整体性能和数据一致性。
本文将对双活容灾方案进行详细介绍。
双活容灾方案概述双活容灾方案是指在不同的地理位置建立两个相同的数据中心,通过实时数据同步和流量分发,使两个数据中心能够同时提供服务。
在双活容灾方案中,主数据中心和备份数据中心之间的数据同步需要实时进行,以保证两个数据中心的数据保持一致。
同时,通过智能的流量分发机制,可以将用户请求分发到最近的数据中心,从而提高系统的响应速度。
双活容灾方案的优势与传统的单活容灾方案相比,双活容灾方案具有以下优势:1.高可用性:双活容灾方案可以将系统的配置、应用和数据分散在不同的数据中心,当一个数据中心发生故障时,另一个数据中心可以立即接管服务,从而保证系统的持续运行。
2.性能增强:通过将用户请求分发到最近的数据中心,可以减少网络延迟和带宽消耗,提高系统的响应速度和并发能力。
3.数据一致性:双活容灾方案使用实时数据同步机制,可以保证主数据中心和备份数据中心的数据保持一致,避免因数据丢失或不一致而导致的问题。
4.灵活性:双活容灾方案可以根据实际需求进行灵活配置,可以选择同城或异地部署数据中心,也可以选择主备或多活模式。
双活容灾方案的实施实施双活容灾方案需要以下关键步骤:1. 设计数据同步机制数据同步是双活容灾方案的核心内容,主要包括数据同步方式和同步频率的设计。
常用的数据同步方式有异步复制和同步复制两种,异步复制可以提高系统的性能,但存在一定的数据丢失风险;同步复制可以保证数据的一致性,但会增加网络延迟和带宽消耗。
根据实际需求和系统的特点,选择合适的数据同步方式和同步频率。
2. 部署数据中心根据双活容灾方案的要求,在不同的地理位置建立两个相同的数据中心。
医疗行业:基于‘双活’的容灾解决方案
医疗行业:基于‘双活’的容灾解决方案一、我国医疗行业数据存储趋势和容灾的需求随着医疗行业信息化的进程的加深,对医疗数据进行高效地存储和管理,以便提供安全有效地数据与信息的快速访问和利用成为医疗行业数据存储的主要发展趋势。
目前医疗行业信息系统主要有HIS(医院信息治理系统,Hospital Information System)、LIS(实验室信息管理系统,Laboratory Information Management System)、PACS( 医学影像治理与通讯系统,Picture Archiving and Communication System)、EMR(电子病历,EMR,Electronic Medical Record),财务核算为中心的系统(MIS)、以医生工作站为核心的临床信息系统(CIS)等关键应用。
如何对上述应用系统的关键数据进行集中存储管理和容灾规划,成为医疗行业信息系统灾难恢复建设的核心任务。
根据医院信息系统信息量大、结构复杂、数据在线、可靠性要求高的特点,在数据容灾方面的需求具体归纳如下:1) 强调持续化服务能力,业务运行不允许中断;医疗行业的信息化程度越来越高,导致了医疗服务业务的开展对信息系统的依赖程度的加深。
病人的诊治需求要求医疗信息系统必须提供7*24小时的高可用性服务。
2) 强调数据的准确性,不允许丢失数据或出错;病人的病情、诊治数据等信息,是对病人进行治疗决策的依据和记录,事关病人的人身健康和生命安全,容不得半点疏漏和丢失。
国外的医疗行业相关法案已经对医疗数据的存储从法律上提出了要求,比如美国的HIPAA 法案要求医疗数据不仅要实施防盗窃的安全策略,还要防止其丢失和损毁。
3) 需要可靠的灾难恢复方案,保证数据的安全及提供快速的恢复和应急能力;对于医疗行业而言,时间就是生命,在信息系统灾难发生时,信息系统的灾难恢复体系应该可以提供快速的系统切换。
为此需建立一套实时的、可用的备用系统,减少主系统的单个故障点,从而保障业务系统的持续服务能力。
浪擎“双活”容灾,满足灾难恢复等级要求
浪擎“双活”容灾,满足灾难恢复等级要求在单位信息化系统建设与运行管理过程中,数据安全及应用安全作为建设中的重要环节应当放到首要位置,立足长远,优先考虑,未雨绸缪,容灾系统就是在这种情况下应运而生的,它能保证关键数据不丢失、关键业务不中断,最大限度地保障数据及应用的高可靠性。
但是不是所有的容灾都能够达到数据不丢失的,根据灾难发生的时候恢复等级的不同,国标颁布了《信息系统灾难恢复规范》(GB/T20988-2007),第一级是基本支持,应至少每周一次,要求备份介质能够提供场外存放;第二级是备用场地支持,也是每周至少一次,要求配备部分通信线路和相应的网络设备,或灾难发生后能在预定时间内调配所需的通信线路和网络设备到备用场地;第三级是电子传输+ 部分设备支持,每天一次,要求配备灾难恢复所需的部分数据处理设备、通信线路和相应的网络设备;第四级是电子传输+ 完全设备支持,要求配置灾难恢复所需的所有数据处理设备、通信线路和相应的网络设备,并且处于就绪或运行状态;第五级是数据实时复制+ 完全设备支持(实时),要求采用远程数据复制技术,利用通信网络将关键数据实时复制到备用场地;第六级是零数据丢失+ 远程集群支持(实时),要求实现远程实时备份,数据零丢失;备用数据处理系统具备与生产系统一致的处理能力,应用软件是“集群的”,可实时切换。
从低至高,浪擎可以实现第五四三级别的数据备份和容灾,为什么第六级要求不能实现呢,这是因为第六级的要求是零数据丢失,加上远程集群支持,国标的第六级其实是理论级别,没有一家厂商可以保障数据零丢失的,只能说是趋于零。
根据这一要求,浪擎科技再结合用户的不同需求,推出高、中、低三个档次的产品,相互组合,形成梯度,组合一起满足用户多层次、全方位的需求。
同时,产品理念遵循“同质价更低”、中高端产品遵循“同价质更高”的市场要求,形成性价比较高的解决方案。
上海浪擎科技是国内最大的备份容灾软件厂商,在备份容灾领域具备一流品牌影响力。
双活容灾简介
浪擎AgileMirror镜像系统——应用级双活容灾1.双活容灾──在线式应用级容灾浪擎AgileMirror镜像系统(简称镜像系统)采用基于应用系统的复制技术,将主服务器上的数据实时复制到备用(目标)服务器上,保持两端数据实时相同,以实现容错。
此外,镜像系统还可恢复数据到某一历史状态,以实现容错。
镜像系统无需主备端硬件规格、配置相同,且占用资源少、应用灵活。
镜像系统实现备端在线的、双活的应用级容灾,践行在线式应用级容灾理念。
在线式是指备用服务器上的数据库是在线的,处于可读可查询的状态,确保容灾是可靠的、稳定的;应用级是指镜像系统复制的数据是数据库事务,是属于应用层的。
镜像系统支持SQLServer数据库、Oracle数据库、文件系统等应用系统的容灾。
2.双活容灾原理概述镜像系统不依赖DataGaurd、LogMinor、DBCC LOG等数据库自带的日志工具来实现数据复制,完全依靠自身研发的数据库实时捕获引擎ACA和数据组装两大核心技术来实现全量复制和实时增量复制。
其实时增量复制过程为:生产端代理进程实时捕捉数据库在线或归档日志的变化数据,然后传输到容灾数据库端;容灾端的装载进程按照数据库标准格式组装这些变化数据块,然后提交给数据库的存储引擎保存到容灾数据库。
容灾端数据库处于在线运行状态,具备最高的可靠性,且用户可以随时查询业务数据来检验容灾结果。
这是双活容灾最大的优势。
3.主要功能1)追逐式全量复制在第一次部署时,且在不停止生产业务的要求下,自动的将生产端业务系统的存量数据和活动数据全部复制到备用端的数据库。
无需停止生产数据库和无需停止业务系统;无需改变生产数据库的现有配置。
2)实时增量复制在生产系统正常工作期间,实时的将业务数据复制到容灾端的备用系统。
复制数据库的一切变化,自适应业务调整;容灾数据库处于可读可查询状态;用户随时校验容灾数据库数据的可靠性。
3)CDP数据容错功能将数据库恢复到符合要求的某一历史状态。
双活数据中心容灾解决方案
双活数据中心容灾解决方案为什么要讲双活数据中心?从应用系统和系统保护来说,分这么几个角度:首先做容灾,第一个要考虑的是主备,上图左侧是最早出现的主备模式,一般是在两个中心建互备系统,比如我在B中心,容灾系统在另外一个地方,这种模式比较容易切换。
假如A中心出问题了,就绑定在B中心,或者是把数据复制到B中心,容灾资源是闲置着,承担着容灾的任务。
另外真的出问题了,我得需要一个定位,因为并不能确认它是否确实不能用了,所以,要确保这个业务完整,数据也不丢,定的时间加上切换流程,至少得0.5小时,甚至更长,甚至一两天,这样导致弊端很多。
后来为了节约资源,发展到现在双中心互备,A中心一部分做生产,B中心也一部分做生产,在原来的储备方式上做了一个改进,优点是因为这两个中心都有生产业务运行,可通过资源共享技术节省资源。
但仅仅是计算源,对于存储来说,由于这个存储空间必须要保证完整来做,所以没有办法充分利用起来,还是闲置状态。
针对这种问题,我们现在又有了双活并行模式,同一个系统,两个中心都可以承担业务,同时对外服务,坏掉任何一方不影响。
这是非常理想的一种状态,今天主要讲的是要实现这种架构或部分实现,需要哪些技术,需要做哪些工作,只是简单的讲,不一定很深入,也希望能够和大家一起沟通交流,看有没有更好更优的方案。
我主要从应用到基础设施的角度来讲。
因为从整个应用架构来看,咱们有一些业务可能是有接入层,下面是应用逻辑,后面包括还有一些接口,再下面是数据层,再下面是基础架构,有可能有存储和网络,这么几层,每一层都会有相应的双活实现技术。
例如应用层可能有各种集群,数据层可能有一边同时可读写,或一边只能读等。
再如基础架构层,在网络上对稳定性和带宽吞吐性能要求更高,甚至需要打通跨中心的大二层网络,存储方面则需改变一主一备的读写机制,实现同时可读写。
下面从这五个方面展开谈,一个是数据层,二是存储层,三是接入/应用层,四是虚拟化/云平台;五是技术关键点。
浪擎-为什么浪擎能提供最可靠的容灾
浪擎-为什么浪擎能提供“最可靠”的容灾灾难备份中心并不是一个新的话题,但今年灾难备份中心却再次成为大家关注的热点。
“以前对容灾是谈的多,观望的较多,真正多项目的较少;以前对容灾的关注主要是金融、电信等行业客户,如今政府、甚至一些中小企业客户也开始讨论容灾;以前容灾项目主要是对灾难的预防,而现在则主要是出于对业务连续性的考虑。
”曾为国内实施众多容灾项目的以为存储专家表示,“今年是灾难备份中心市场快速起步的一年,从金融、电信到政府、社保、税务等都在规划和讨论容灾项目,灾备市场进入了快速发展的阶段。
”从探索到实践。
南方冻雨、汶川地震造成的系统瘫痪、数据丢失、业务中断增强了政府、企业对灾备的重视程度;金融危机、“三鹿”事件、矿难事件提高了政府、企业领导对风险和内控的认识水平;北京奥运应急保障、“神七”升空检验了政府、企业的灾备能力。
可以说,这些大规模自然灾害和重大社会事件对政府、企业以及个人进行了一次全面、系统的风险教育、灾备知识普及和能力检测。
而从我国灾备整体情况看,我国在灾备法律保障、指挥协调机制、信息发布和收集技术平台、社会力量动员等方面有了长足的进步,初步形成了有效的监督、保障和执行体系;但也存在很多不足,比如管理架构有待整合,缺乏统一协调机制,信息、资源需进一步共享等。
在总结经验、反思教训的同时,中国政府、企业以及个人的灾备意识将全面觉醒,中国灾备领域将迎来一场彻底变革:政府、企业将在关注短期利益的同时,更关注长远发展、永续运营;个人将具备必要的灾难预防、自救、他救能力。
在全社会灾备意识日渐觉醒的今天,我们不禁要问一个问题,我们做容灾,最注重的是什么?或者说,当灾难来临时,你最需要什么?当政府或者企业问过自身这两个问题之后,在灾难来临时,我们对容灾的需要,毋庸置疑是“可靠”二字。
比如在南方冻雨发生之初,如果政府能拥有可靠的容灾系统,提早将堵塞状况、影响通报媒体,制定紧急疏导预案,就不会造成更严重的拥堵、踩踏状况;如果在地震之初,有可靠的容灾系统,就可能挽救更多人的生命,企业业务也可尽早恢复。
浪擎科技“双活”容灾技术为用户创造价值
浪擎科技“双活”容灾技术为用户创造价值容灾能创造什么价值?我们首先来看看,在IT建设什么阶段需要容灾,当IT建设系统能创造价值的时候,容灾的价值就会相应的凸显出来。
万事万物都有其基本发展规律,IT信息化建设也不例外,从最初的基础建设阶段,包括PC、服务器、网络等部署,到随后的应用建设阶段,包括OA、网站、CRM、ERP、专用的业务系统等应用,已经成功的跨入了运维有效性建设阶段,包括安全类、加速类、增强类系统、数据保护类等应用,在这个阶段,需要大量的安全防护类产品和解决方案来保证复杂应用系统的运维有效性,同时也因为各类不可抗拒力意外事件的频发,侧面印证了IT运维有效性建设的多维度必要性,对于这个阶段的用户来说,容灾系统的建设已经成为了一个必选项,而不是可选项。
在信息落后的区域,对于没有进入IT运维有效性建设阶段的用户来说,就没有考虑容灾系统建设对业务价值的必要,但是在信息比较发达的区域,这个已经不是主要问题了,他们更多的需要考虑容灾系统建设对于公司组织机构的价值在哪里。
容灾系统建设对组织机构的价值体现在哪里呢?在信息化比较发达的区域,IT建设项目审批时会遇到什么问题呢?答案就是申请预算。
对于信息主管来说,要想部署容灾方案,就得说服管理决策团队、财务部门,我们为什么要上容灾?我们上了容灾,对整个组织机构有什么帮助?在这个说服过程中,需要有数据支撑,有管理支撑。
那首先我们要知道,部署了容灾系统后,在业务上对企业而言有什么帮助,很明显,正如容灾的目标:保证数据不丢失和应用不间断。
那么对于企业的管理而言,我们有什么帮助呢?如果我们能够将这个阐述清楚,那么决策者是立即能够考虑是否采纳这个容灾方案,因为他可以帮助企业去建立管理职责,可以防范风险和事故等。
防范风险,对企业来说就需要思考一点——如何保证这个事情是可以防范的,我们的容灾系统又是如何来支撑的。
如果我们现有的容灾只是提供一个RTO、RPO值的保证,而没有提供事先控制、事中跟踪和事后分析的机制,这样就没办法跟企业的管理目标结合起来。
大数据分析在环境保护中的作用和应对自然灾害
大数据分析在环境保护中的作用和应对自然灾害大数据分析是指对大数据进行收集、整理、存储、分析和应用的过程,通过对大规模数据的处理和挖掘,可以获取有关环境、资源和自然灾害等方面的信息,从而提供决策依据和支持。
在环境保护和自然灾害应对方面,大数据分析发挥着重要的作用。
本文将对大数据分析在环境保护和应对自然灾害中的应用进行探讨。
一、大数据分析在环境保护中的作用1. 环境监测与预警大数据分析可以对环境监测数据进行处理和分析,从而实现对环境状况的实时监测和预警。
通过收集大量的环境数据,包括大气质量、水质状况、土壤污染等方面的数据,利用大数据分析技术可以对环境问题进行识别和评估,并提前做好预防和应对措施。
2. 资源管理和优化大数据分析可以对资源利用和管理进行评估和优化。
通过采集环境资源相关的数据,如水资源、能源利用情况等,结合大数据挖掘和分析技术,可以实现对资源利用的精细化管理,减少资源浪费,提高利用效率,进而推动可持续发展。
3. 环境政策与决策支持大数据分析可以为环境政策的制定和决策提供支持。
通过对大数据的分析和挖掘,可以获取环境相关的信息和趋势,为决策者提供科学的参考和依据,帮助其作出更加合理和有效的环境政策和决策,从而推动环境的改善和保护。
二、大数据分析在应对自然灾害中的应用1. 灾情评估与预测大数据分析可以对自然灾害的发生和发展进行评估和预测。
通过对历史灾害数据的分析和挖掘,可以获取灾害发生的规律和趋势,从而预测未来的灾害风险。
结合实时数据的监测和分析,可以更准确地评估灾情,及时采取应对措施,减轻灾害带来的损失。
2. 灾后救援和重建大数据分析可以为灾后的救援和重建提供支持。
通过对灾害发生地区的数据进行分析,包括人口、道路、建筑等方面的数据,可以对救援和重建工作进行规划和布局。
利用大数据分析的结果,可以更加科学地组织救援力量,合理分配资源,提高救援和重建的效率和效果。
3. 风险管理与应急预案大数据分析可以帮助建立风险管理系统和应急预案。
大数据应对自然灾害的挑战
大数据应对自然灾害的挑战自然灾害是人类社会面临的一大挑战,它给人们的生命财产安全带来了巨大的威胁。
然而,随着科技的不断发展,大数据技术的应用为我们应对自然灾害提供了新的解决方案。
本文将探讨大数据在应对自然灾害中的挑战,并介绍大数据技术在减灾、救灾和恢复重建方面的应用。
一、大数据应对自然灾害的挑战1. 数据获取和处理的挑战自然灾害发生时,大量的数据会被产生,包括气象数据、地质数据、人口数据等。
然而,这些数据的获取和处理是一项巨大的挑战。
首先,数据的获取需要大量的传感器和监测设备,而这些设备的建设和维护成本很高。
其次,数据的处理需要强大的计算能力和高效的算法,以从海量数据中提取有用的信息。
因此,如何高效地获取和处理数据是大数据应对自然灾害的首要挑战。
2. 数据共享和合作的挑战自然灾害是跨区域、跨部门的问题,需要各方共同合作才能有效应对。
然而,由于数据的隐私和安全问题,数据共享和合作面临着很大的挑战。
不同部门和地区的数据格式和标准不一致,数据的共享和整合困难重重。
此外,数据的安全性也是一个重要的问题,如何保护数据的安全性和隐私性是大数据应对自然灾害的另一个挑战。
二、大数据在减灾方面的应用1. 预测和预警大数据技术可以通过分析历史数据和实时数据,预测自然灾害的发生概率和影响范围,提前做好准备工作。
例如,通过分析气象数据和地质数据,可以预测地震、台风等自然灾害的发生概率和强度,从而提前采取相应的防范措施。
此外,大数据技术还可以通过分析社交媒体数据和移动电话数据,提前发现人群聚集和交通拥堵等情况,为灾害应对提供及时的预警信息。
2. 空间规划和资源配置大数据技术可以通过分析人口数据、地理数据和交通数据,优化城市的空间规划和资源配置,减少自然灾害的风险。
例如,通过分析人口密度和地质条件,可以合理规划城市的建设布局,避免人口过度集中和易受灾区域的开发。
此外,大数据技术还可以通过分析交通数据和物流数据,优化物资的调配和救援的响应时间,提高救灾效率。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
大数据环境下浪擎双活容灾保安全在数年前,开始讨论虚拟化时,就注定了云的解决方案的诞生,而当云的解决方案逐渐成熟时,企业或是用户开始将资料往云端存放时,也慢慢的导致大数据时代的来临。
目前存取资料的装置,慢慢的从电脑,开始往移动装置,搭捷运时,我们看到越来越多人习惯拿出手机,或是平版电脑,开始阅读,或是浏览相关的资讯,这意味着资料的存取从以往的定时定点到目前的随时随地,这是一个演变。
而当我们开始使用gmail、facebook、google 的时候,似乎我们可以无止境的将各种资料上传,随时可以调阅,浏览等等,这也表示在云端后端的数据,已经大量的成长。
在这状况下的安全呢?这些大数据下的服务,不论公开服务也好,或是企业的各种资料也好,一旦开放存取,就开始存在安全的议题,简单来说,从使用者的认证问题来保护使用者,一直思考如何保护这些包括敏感或是不敏感的个人资料等等,这个议题也开始逐渐发酵。
大数据下的安全所面临的挑战有:
1.后台系统的复杂性
在数据之上,往往有多种复杂的应用程式支撑,因此在於安全的考量上更为复杂。
用户可能采用单存的3 tier 架构,或是采取更复杂的Web Service 的服务架构等等。
无论何种架构,主要的目的均在於对大量数据进行演算加值,并且提供各种介面或是结果给与使用者。
2.多方的网路存取
尽管后台的应用程式较为复杂,对於使用者或而言,最简洁的存取方式便是透过网路存取相关的服务,相对於前端存取网路的设备而言,通常会尽量包含允许各种不同的装置存取服务。
然而对於入侵者而言,这产生了一个极为便利的攻击方式,也就攻击者亦能透过各种路径尝试攻击整体服务,进而探索系统漏洞而进行深入攻击。
3.即时监控与回应
一旦大数据开始藉由服务提供给各种使用者,系统就开始产生各种的变化,包括数据的变化,以及各种应用的变化。
在这种状况下,安全的场景也会跟随着变化,如是否有人对应用进行字典攻击,阻断是攻击等等。
当大量的资料开始移动时,以及随着使用的量增加时,即时的监控将会更加艰辛,主要是攻击者更容易夹杂在正常使用者之间,对系统发动攻击。
这会让系统管理人员疲於奔命,并且增加侦测的困难度,更遑论采取及时的对策。
在这些状况下,当我们思索着大数据下的安全时,就可以回归到最基础面,对于整体系统进行检测并且加强防御措施。
浪擎科技始终致力于各种数据实时备份、数据库实时复制技术研发,具备完整的技术架构和多系列的产品。
既有高端的基于应用层的、备端在线的镜像系统,以及基于私有云架构的大型灾备中心方案,又有基于逻辑卷层的实时数据复制产品。
基于已有的结构化数据和非结构化数据的复制传输技术来探讨大数据传输的实现,现有的核心关键技术有:分布式并行传输、重复数据删除、结构化数据的实时感知与捕捉、活动的、结构化数据的追逐式复制,通过使用分布式并行传输控制、镜像复制技术、重复数据删除等技术,可以显著缩短了迁移大量数据所需的时间。
文件传输通信协议(OFTP),是浪擎科技为满足大规模的数据传输历经四年自主研发的一种高效传输协议,简称OFTP,可应用在长距离、低可靠性的窄带网络上进行数据传输复制。
浪擎的文件传输通信协议(OFTBP协议具备以下技术特性:并行优化增量传输、数据压缩、传输一致性校验。
并行优化增量传输技术是文件传输采用复杂的并行优化增量传输算法实现大规模的文件系统复制。
该算法对传输任务智能分解成更小的任务,然后并行控制传输,最大限度的利用可利用的网络带宽;其次,对于已经镜像过的文件在以后镜像时,将采用优
化增量传输,仅复制不同的数据块,尽量降低网络流量,极大的提升传输速度。
目前,一般的数据传输协议,如传统的FTP协议或RCP协议,在进行网络传输的过程中存在着很多弊端。
如传输的数据量、性能、准确性等都不能达到TB设置PB级要求。
与这些传统的传输协议相比较,在安全性、可靠性、承载能力、扩展性上具有明显的优势。
能够支持功能并行传输,增量传输,重复数据删除,断点续传功能,当传输某文件失败,下一次重新传输时,在优化增量传输控制下,将从上一次的传输点开始传输后续的文件块。
浪擎科技支持各种文件格式,支持大文件备份,系统采用64位表达文件长度尺寸,支持超过2GB的大文件传输备份,例如500GB大小的文件。
支持异构操作系统平台之间的传输备份,系统支持在不同操作系统之间的传输备份和存储。
例如,将Windows的Office文档传输备份至AIX;或将Solaris的二进制数据文件传输备份至AIX。
我们知道,证券交易的数据、社交网络的聊天数据、电信的计费数据、医疗的HIS数据、电子商务的交易数据,都是处于动态变化状态的,是在线业务系统的存储数据。
这些业务系统都非常关键,支撑国民经济的正常运行,因此要保障其自身的安全与稳定。
但是,这些业务系统的要求非常苛刻,必需要有适合这些用户群体的技术才能满足其需求。
浪擎科技的双活数据复制技术正是满足这样的需求。
一般而言,这些关键业务系统都把数据放到后台的关系数据库中,因此可以称这些数据为结构化数据。
浪擎科技的双活数据复制技术其实质就是动态的、实时的从一个关系数据库复制或迁移到另外一个关系数据库。
当然,目标关系数据库可以放置到异地。
ACA引擎工作原理,是浪擎科技的核心技术,能够复制引擎架构包括代理、复制服务器软件两大部件。
代理包含操作系统驱动程序、事务日志实时捕获器、事务日志分析器、传输控制器和任务队列等,复制服务器包含接收队列、SQL应用机构等。
复制流程,事务日志实时捕获器通过操作系统内核驱动驱动程序实时监控源数据库事务日志文件和捕获其变化数据;事务日志分析器通过数据字典将日志数据解析还原成数据库记录,并过滤不需要复
制的表或其他数据库对象,传输控制器从任务队列中取出记录数据传输至复制服务器。
复制服务器接收队列将记录数据保存至事务队列和Snapshot文件中,SQL应用机构扫描事务队列,将提交事务应用到目标实例。
追逐式全量复制也是浪擎核心技术,在实时增量复制之前,需要保障主、备数据库之间的数据同步,才能进行后续实时增量复制。
有以下技术特性:(1)复制速度快(2)源数据库无需停顿(3)保证源服务器数据与目标服务器数据完全一致,全量复制技术结合增量复制技术可实现在做全量复制的同时也可把新增的数据内容复制到目标端,确保源服务器和目标服务器数据完全一致。
主要实现功能是实时单向数据复制,单向复制以主服务器系统作为复制的数据源,复制到备用数据库用于查询。
定时全量复制计划,系统还提供便捷的定时全量复制计划。
复制计划作业可配置信息字段:开始时间、结束时间和日期以及在这段时间之内的复制频率、需要复制数据库。
数据一致性校验,系统提供对复制的表进行数据一致性校验,并修改目标表的数据。
这种补偿性能力解决当复制系统停止时,源和目标产生的不一致性。
浪擎科技创造性的融合上述两类数据传输技术的优点,研发出基于大数据的数据传输复制和容灾备份产品,在金融、电信、医疗、交通等行业已有大量的应用,为之做出了杰出的贡献,并正在开拓性的研发分布式海量数据并行传输系统,采用基于缓冲池的数据同步传输和日志传输技术,若干台传输处理机以并行分工方式处理传输任务,以期实现局域网/城域网/广域网等各种不同规模的网络系统间的数据传输,解决海量数据传输处理上的瓶颈。