CommVault数据管理七巧板--V2 20110916
CommVault一体化数据管理-邮件系统归档方案
CommVault一体化数据管理Domino邮件系统归档方案(XXXX)2013年5月CommVault一体化数据管理– Domino邮件系统归档方案在本文件中包含的所有信息均属于CommVault公司和客户的商务机密。
本着为客户信息系统安全负责的态度,我们要求在未经CommVault公司和客户允许的情况下,任何个人和集体都不能披露本文件中的任何内容给第三方,瑾请谅解.文档控制修改记录第1页目录1.前言41。
1项目概述41。
2邮件系统重要性41.3邮件系统管理规划51。
3.1恢复层51。
3.2保护层71。
3。
3归档层71.4CV对邮件系统一体化管理82.目标分析102.1邮件系统现状102。
2邮件系统需求分析103.一体化数据管理方案113。
1打好基础—构建一个整合的数据管理系统平台11 3。
1.1数据管理涉及的方面113。
1.2CommVault通用技术引擎CTE113.1。
3索引机制-数据管理软件的灵魂123.1。
4CommVault为什么主张一体化信息管理13 3。
2C OMM V AULT软件体系结构143.3邮件系统归档系统方案设计143.3。
1邮件系统归档拓扑结构143.3。
2归档服务器高可用设计153.3.3邮件归档数据安全性设计153。
3.4Domino邮件系统合规本地保护163.3.5Domino邮件系统合规邮件查找审查163。
3.6Domino邮件系统个人邮箱归档163.3。
7Domino邮件系统个人归档邮件查找及使用17MV AULT系统自身的管理184.1系统安全性管理184。
1.1用户管理184.1.2权限定义184。
1.3权限分配194。
1.4备份数据加密204.2系统可用性214.2.1系统健康检查214。
2.2路径冗余与切换策略214.2。
3备用数据管理服务器224。
3备份数据可恢复性管理224。
3。
1预判磁带等备份设备使用寿命-—-保证介质的可靠性224。
3.2恢复演练、自动恢复策略设定(支持异机)—-—保证数据可恢复23 4。
CommVault一体化信息管理系统安装配置操作手册
CommVault一体化信息管理系统安装配置操作手册CommVault是一款企业级的数据管理软件,可以帮助企业管理和备份各种类型的数据,包括文件、电子邮件、应用程序、数据库以及虚拟机等,同时提供了灵活的恢复选项。
本文将介绍CommVault一体化信息管理系统的安装、配置和操作方法。
1. 安装1.1 系统要求在安装CommVault之前,您需要确保目标系统符合以下要求:•操作系统:Windows Server 2008 R2或更高版本•处理器:2GHz或更高性能的双核或多核处理器•内存:8GB或更多•存储:200GB以上的硬盘空间•端口:8500, 8600, 9400, 10000, 180801.2 下载安装程序CommVault官网提供了免费的试用版下载,您可以从官网下载适合您系统的最新版本。
下载完成后,解压缩文件,运行安装程序。
1.3 安装向导安装CommVault的过程中,系统会提供一些提示和选项供您选择。
按照以下步骤进行操作:1.运行安装程序,选择“安装”选项。
2.选择安装模式,可以选择“典型”或“自定义”模式。
3.输入序列号。
4.按照安装向导的指示完成安装。
2. 配置2.1 基本配置安装完成后,需要进行基本配置,以下是一些重要的配置选项:•配置管理节点:CommVault管理节点是整个系统的核心,必须先启动它才能对客户端进行管理。
默认情况下,管理节点会自动开启。
•配置存储库:存储库是CommVault中存储数据的地方,您需要为每个存储库分配足够的硬盘空间。
存储库的配置受限于系统的硬件和存储分配,需要事先规划好。
•配置客户端:为了备份和恢复数据,必须为客户端进行配置。
客户端配置是CommVault的核心部分,您需要确定哪些数据将被备份以及备份何时执行。
可以通过CommVault管理控制台实现客户端配置。
2.2 备份和恢复CommVault提供了灵活的备份和恢复选项。
您可以根据实际情况选择以下几种备份方式:•完整备份:备份整个文件系统,此备份需要花费时间,并可能占用大量存储空间。
Commvault快照管理解决方案
19
竞争优势主要功能源自存储支持类型COMMVAULT
业界主流20+存储设备, 包括国产华为存储
Veritas NBU
只支持EMC、Netapp等 少数厂家存储设备
EMC BRM
只支持EMC、Netapp 等少数厂家存储设备
优势
可以统一管理客户异构环境下 的多种存储设备的快照
7
快照管理的现状和问题?
Commvault如何应对?
主要功能和特点 如何销售? 竞争优势和总结
8
Server free 备份模型
生产系统
生产卷
代理主机
• • •
数据量大,通常达到5-20TB左右 系统实时性强,RTO/RPO要求高 系统性能要求高,要求备份满足备份窗口并 尽量减少备份对生产主机的影响
生产服务器 1
生产服务器 2
介质服务器
代理服务器
Tape Library
Clone P-VOL snap
必备组件 • 备份管理服务器 • 介质服务器 选配组件 • 代理服务器(oracle、 Vmware…. • Clone主机 • 备份存储 License 要求 • DPS:仅快照管理 • DPSR:快照+复制 • DPA:快照+复制+备份 • ISE:agent base license
自动发现帐务、CRM系统下的数据库 数据文件所在的卷。 便捷地从任何层中进行恢复 静默应用、触发硬件快照,创建应用 一致性的快照副本,确保恢复。 对快照进行后台索引,确保应用恢复 或小颗粒恢复。 对快照进行脱机备份,备份对生产服 务器零影响。 把重要数据拷贝到磁带或云存储,进 行长期保存,满足审计、法规要求。
CommVault一体化信息管理系统安装配置操作手册
目录一、CommVault安装说明 (1)1。
1 CommServe备份服务器安装 (1)1.2 Windows平台补丁包安装 (14)1。
3 Windows平台文件模块安装 (17)1。
4 Windows平台SQL模块安装 (26)1.5 Windows平台oracle模块安装 (35)1.6 Windows平台CDR模块安装 (56)二、CommVault管理说明 (65)2。
1 CommVault管理 (65)2.1.1 登入CommCell管理界面 (65)2。
1.2 CommCell基本布局 (66)2。
1。
3 查看服务运行状态 (67)2。
2 许可证导入 (68)3. 磁盘库配置 (70)4. 存储策略配置 (75)5. 计划策略设置 (81)6。
Windows平台文件系统备份 (88)7。
Windows平台文件系统还原 (93)8. Windows平台SQL模块备份 (95)9. Windows平台SQL模块还原 (103)10。
Windows平台oracle模块备份 (107)11。
Windows平台oracle模块还原 (117)12. Windows平台CDR模块备份 (125)13. Windows平台CDR模块还原 (135)一、CommVault安装说明1.1CommServe备份服务器安装1.将CommVault第一张安装介质插入光驱(Windows平台介质),弹出如下安装向导界面;2.请选择系统架构,以64位平台安装为例,如下图;3.请接受许可协议中的条款,如下图;4.请根据企业内部环境选择相应的模块,如下图。
默认请选择;CommServe、CommCellConsole、MediaAgent,并点击下一步;备份服务器管理控制台介质服务器5.视系统情况,安装过程中可能会提示安装MicroSoft 。
Net Framwork,请点击“是"确定安装,安装过程中会提示重启系统时请重启系统;6.在安装CommServe的过程中,安装向导默认会安装一个SQL2008数据库,该数据库用于保存CommServe的配置信息,请输入SQL数据库的用户“sa"密并牢记。
CommVault数据备份-技术
备份数据的存储和管理
确定备份数据存储位置
选择合适的备份数据存储位置,如本地存储、远程存储或云存储。
数据恢复计划
制定详细的数据恢复计划,包括恢复流程、恢复人员和恢复测试等。
备份数据管理
建立备份数据管理策略,包括数据保留时间、数据迁移和数据销毁 等。
04 数据恢复和灾难恢复
数据恢复的方法和流程
01
数据备份和复制
确保关键数据得到定期备份和复制,以减少 数据丢失的风险。
测试和验证
定期测试灾难恢复计划以确保其有效性和可 行性。
远程站点
建立远程站点以应对灾难事件,确保业务连 续性和数据安全。
数据备份和恢复的测试和验证
测试场景
模拟不同类型的数据丢失场景以测试数据恢 复的流程。
验证备份数据
确保备份数据的完整性和可用性,以及可成 功恢复到原始位置。
选择合适的备份软件和技术
兼容性
选择能够与现有硬件和软件兼容的备份软件,避 免出现不兼容问题。
可扩展性
考虑备份软件的可扩展性和未来发展潜力,以满 足企业不断增长的数据备份需求。
ABCD
功能全面
选择具备数据备份、恢复、复制、归档等功能的 备份软件,以满足企业多方面的需求。
可靠性
选择具有高可靠性和稳定性的备份软件,确保备 份数据的完整性和可用性。
案例三:某金融机构的数据备份和恢复
总结词
高可用、高并发、高恢复
详细描述
某金融机构对数据备份和恢复的要求非常高,需要满足高可用、高并发和高恢复的需求。 通过采用CommVault数据备份技术,该机构实现了高性能的备份和恢复操作,确保了 业务的连续性和稳定性。同时,CommVault的智能优化功能减少了备份和恢复的时间,
Commvault V11索引功能介绍
V2 重新设计的索引
为什么重设索引?
• 消除现有索引子系统带来的一些限制: o 创建索引失败而导致整个作业失败 o 慢速的索引写操作导致作业暂停或备份超时 o 索引缓存目录增长导致的性能问题
o 索引数据库只能使用ctree,且为单用户模式
3
V2 索引的变化
• 在V11中索引子系统完全重新设计 • 索引与备份操作分离 • 累积索引 (Cumulative Index) • 数据库和日志
• 3)数据库备份 检查点和压缩完成后,索引数据库备份到存储策略的主拷贝上。
保留3个全备份,忽略存储策略上的保留规则。 索引数据库备份期间,数据库冻结不能作恢复/查找/浏览,但不影响备份。
17
索引数据库恢复
• 一旦索引数据库不可用, 自动触发索引恢复,恢复过程如下: 1) 索引数据库从备份介质中恢复
Full
Inc
Inc
Index DB
8
索引操作流程- 单介质服务器
1.
2. 3. 4.
Index/Backup MediaAgent Data
数据和元数据从客户端发送给备份 介质服务器
备份介质服务器询问CS,谁是备份 集的索引介质服务器 CS将结果回复给备份介质服务器 如果备份介质服务器同时也是索引 介质服务器, 则索引日志更新到该 介质服务器的索引数据库
1 3
15 Logs Index MediaAgent
2.
介质服务器回传日志。
2
3. 一旦日志收集和验证完毕,介质 服务器将日志传给索引介质服务 器。
25 Logs
12
索引文件目录
• •
索引数据库和日志均存放在介质服务器indexcache目录 日志文件最大包含10000个对象或1个完整chunk文件
CommVault简单介绍
目录1.概述 (1)MVAULT产品是2002年后,同类产品获奖最多的 (2)MVAULT客户和合作伙伴的评价 (3)MVAULT在GARTNER 2005年评比中,继续技术领先 (4)MVAULT的技术亮点 (5)5.1.可伸缩性的两段式索引 (5)5.2.重起功能/检测点(R ESUME/C HECKPOINT) (5)5.3.智能恢复(I NTELLGENT R ESTORE) (5)5.4.一次性恢复(O NE P ASS I R ESTOR) (6)5.5.小颗粒精确恢复(G RANULAR R ESTORES) (7)5.6.单一实例备份和恢复(S INGLE-I NSTANCE) (7)5.7.合成全备份(S YNTHETIC F ULL B ACKUPS) (7)5.8.网格存储(G RID S TOR) (8)MVAULT和传统备份软件比较 (9)6.1.断点续传 (9)6.2.O RACLE备份恢复管理 (12)6.3.对带库和磁带的自动维护 (13)6.4.用户权限控制 (14)6.5.对容错的支持 (15)MVAULT典型客户 (16)国外案例 (16)国内案例 (18)1.概述CommVault Systems是1996年从AT&T贝尔实验室分立出来发展成独立的软件公司,致力于备份和恢复性能的创新。
2000年,公司发表了旗舰产品:CommVault Galaxy™备份和恢复软件,该软件4次荣获存储业界的嘉奖。
自2000年,CommVault Systems与全球顶级的软件和硬件厂商建立了稳固的联盟来增强软件的功能并创造了杰出的数据管理方案组件,这些厂商包括:DELL、EMC、HP、HDS、Microsoft和Network Appliance。
在2002年,CommVault发表了QiNetix平台来提供统一的数据管理。
QiNetix对Galaxy稳健的数据保护和通用技术平台作了新的扩展,创造性地实现了交互和集成的解决方案。
CommVault 企业数据管理的领头羊
CommVault是一家被Gartner列为企业级数据和存储管理软件领导者的独立软件公司,目标专注于创造并实现全面、快速、可靠并易于使用的数据保护方案。
CommVault 为什么能成为企业数据保护的领头羊呢?下面我们介绍一些CommVault独有的重要特征。
z体系架构上的整体优势z统一的、人性化的管理界面z强大的存储策略z高效可靠的数据传输z与应用的高度集成z全面的报表系统z对存储环境的智能诊断和维护1.体系架构上的整体优势CommVault在QiNetix平台上提供:数据备份和恢复、数据迁移(分级存储)、数据高可用性(快照管理、快速恢复)、连续数据复制、数据归档和存储资源管理。
这是全球唯一的在一套源代码下完成的数据管理平台,而其他厂家要么没有类似功能,要么是通过收购6、7个软件拼凑在一起。
虽然目前大部分用户采用CommVault备份和恢复模块,但随着IT的快速发展,数据的全面管理势在必行,由于QiNetix体系架构统一并且只要一个软件堆栈,所以CommVault统一数据管理平台具有整体的优势,如:降低整体费用,便捷的管理,能快速实施。
在整体的体系架构上,具有统一索引管理功能:z分布式的两级索引,升级更灵活方便,能支持的服务器数量是同类产品的10倍。
z能对大容量数据进行快速查询,精确定位每个文件/邮件,具有DAR直接恢复单个目标的功能;z索引具有自动归档、自动裁剪和自动恢复功能,不仅管理维护方便,还能确保整个系统的高效可靠,即使在系统都破坏情况下也能迅速回复;z具有内容索引,能通过内容查找所需的文件/邮件;2.统一的、人性化的管理界面管理界面对数据管理软件是致关重要的,因为它是管理员的重要帮手。
CommVault具有全中文的用户管理界面,该界面基于Java, 有专门的控制台也可以通过WEB进行管理,是业界最为人性化的管理界面。
重要优势在于:能够管理、浏览、恢复、再调用和快速恢复所以类型的数据拷贝,如:跨越在多个系统上的SQL、Exchange、Oracle或在单个主机上的文件系统、数据库或应用软件。
CommVault配置操作手册范本
点击确定计划策略配置完成
6.
任务
截图和注解
在CommCell控制台中右键SQL实例,依次选择所有任务浏览备份数据
在浏览选项中可按照需求选择时间点,这里我们可直接点击确定
在数据浏览中,选择要恢复的库,点击恢复全部所选
在弹出的SQL恢复选项中,选择目标机。恢复类型中选择最新备份数据。恢复选项中选择无条件改写现有数据库或文件。设置完成后点击高级。
在所需恢复的实例上点击右键选择所有任务恢复
在Oracle恢复选项中,选择目标客户端,也就是选择所需异机恢复的目标主机。
选择恢复控制文件、无目册。
点击高级选项
在高级选项的选项中点击选择切换数据库模式以恢复、设置DBID。
注:某些特殊情况下可能出现恢复时无法自动切换数据模式,这时可手动将数据切换至mount状态,再进行控制文件恢复。
点击OK完成子客户端配置。
在弹出的备份计划设置中选择不计划,点击OK。
4.
任务
截图和注解
在已备份的客户端中右键点击default子客户端,选择备份历史
在弹出的备份历史过滤器中,使用默认设置
备份作业历史会显示出所有该子客户端的备份历史,选择最新的备份右键点击浏览
在浏览的详细信息中选上System State,本次测试需要演示完全系统恢复,因此C驱动器都选择上,点击恢复全部所选
复选项中将目标计算机选择webback,且勾选上“恢复到相同路径”
恢复状态
5.
任务
截图和注解
依次选择客户端SQL Server下的SQL实例名(因在安装时选择了自动探寻此处实例也已自动配置完成),在右侧右键default子客户端,选择属性
CommVaultq企业数据管理方案
系统管理
开发管理 基本资料
会计总帐
最佳管理实践
ERP/CRM系统数据管理最佳实践
管理对象 生产数据存放策略 数据访问方式 数据保护策略
今天
在线数据 经常 访问
4年
10年
N年
每周全备份, 每天增量备份, 保留3 个月 每季度末全备份, 保留1年,每年末 全备份, 保留4年 备份数据要进行异地保存,防止灾难
数据保留期为8年 每6个月进行磁带定期校验 归档数据要进行异地保存,防止灾难
离线归档
偶尔访问
内容检索找出 磁带,入库后通 过存根透明访问
磁带出库保存,保留至第N年 每6个月进行磁带定期校验
ERP/CRM系统
企业管理的基础 尽量减少系统停顿时间
– ERP系统停顿,意味着生产也要停顿
仓库管理 出货管理 生产管理 采购管理 生管物控
数据量大、结构复杂
– 数据增长很快,而且数据存放 在数据库中,很难进行拆分。 – 保留时间长
数据存储的挑战:
应收应付
业务管理
– ERP要记录生产过程中的数据,数据增长过 快,使系统性能下降,影响生产效率 人事管理 – ERP的历史数据会占用大量存储,每年都需 要高昂的费用来扩展在线存储 员工薪金 – 历史记录和当前记录混杂在一起进行备份, 导致备份窗口过长,影响生产, 还占用大 量的备份介质 – 备份数据量过大,导致恢复时间很长,难 以保证业务连续性
– – – 将备份、归档磁带搬运到异地保存。 最传统、有效的方式,管理和恢复比较麻烦,但 适合大容量数据传送。 需要磁带出库管理功能。 把备份、归档数据副本通过网络传送到异地的存 储设备上。 操作及管理很方便,但对带宽要求较高。 需要数据副本复制功能。 把备份、归档数据副本进行“去重”处理后,通 过网络传输到异地。 操作及管理方便,对带宽要求较低。 需要复制“除重”数据功能。 把生产系统的变化数据直接复制异地。 采用永久增量方式,对带宽要求较低,但需要占 用生产系统的资源。 需要连续数据复制/定时数据复制功能。
数据管理七巧板
不断增长的备份/恢复时间难以满足SLA
数据快速增长导致在规定的窗口内无法完成 数据备份。 快速增长的备份数据导致恢复时间不断加长, 难以保证业务连续性。
管理压力不断考验IT人员的应变能力:
数据的快速增长导致IT环境越来越复杂,需 要投入更多存储设备和管理工具。 基于竞争和预算的压力,IT投入每年都在不 断地被压缩。 IT人员需要不断采用更好的方法,在有效控 制预算的前提下,妥善解决数据快速增长所 带来的各种难题。
13
CommVault虚拟化解决方案
生产存储 SAN/NAS 备份服务器
虚拟机环境
静默虚拟机,并确保应用静默,触发硬 件存储快照,实现分秒之内保护虚机
8 Hr
16 Hr
8 Hr
16 Hr
8 Hr
16 Hr
创建份任务,直接备份硬件快 照到备份存储,备份对ESX零影响 或者,调用VADP直接备份虚机到备份 存储,支持全备、CBT增备及合成全备 利用DASH(去重复制)创建DR副本 直接恢复虚拟机或虚拟机内部的文件 实现即刻使用, 可改善RTO Live Sync实现虚机容灾 虚拟机归档,实现虚拟机生命周期管理
政府
• 大型连锁集团 • 大型物流系统 • 电子商务
制造业
18
教育医疗
其他
成功案例
19
目录
1 2 3
现代化数据保护方法 -- 快照备份 虚拟化环境下的数据保护 海量小文件数据管理 邮件系统数据管理 跨防火墙数据保护 多数据中心统一数据管理 边缘数据集中保护
4 5 6 7
海量小文件管理面临的挑战
恢 复 时 间 对 比
把数据库恢 复到最新或 某个时间点 把数据库恢 复到快照时 间点 核对或修改 恢复脚本 恢复备份LOG 从快照/克隆 中恢复数据
CommVault统一数据管理解决方案
数据索引/目录(Index/Catalog)
• 集中式索引,由Master Server集中存放,管理
随着数据量及保留时间的增加,数据索引/目录会越来越大 对数据索引/目录的保护非常重要
• 每次数据备份完以后, 对索引/目录进行备份 • 索引重建往往需要几天, 甚至几周的时间
替代VERITAS
♦ Strategic investor ♦ Technology Partner ♦ Marketing Partner
♦ OEM agreement ♦ DPS Agreement
主要 合作 伙伴
♦ Developer program ♦ Recommended Windows Partner ♦ Developer program ♦ ILM program ♦ Solution offered by HPS ♦ OEM and supports software through WW sales channels
二级索引由CommServe的数据库管理, 便于检索, 备份/恢复 极大提升系统的灵活性及扩充能力
传统备份软件结构示意图
备份服务器
目录/索引 管理
备份目录/索引
备份发起 备份管理
目录/索引信息
备份客户端
Agent
磁带管理
备份数据
备份源数据
Galaxy分布式索引
• 一个逻辑目录,分布式构成 –整个管理域只有一个视图 • 优化的索引引擎具有极大的灵活 性、数据完整性和性能 • 索引缓存大小由策略自动管理 • 自动归档和恢复索引 • 与数据保留时间相结合 • 消除了索引损坏的风险
CommVault产品介绍
CommVaultSIMPANA介绍一体化信息管理概述Galaxy®数据保护系统Quick Recovery™快速恢复软件CDR连续数据复制用户级WEB搜索CommVault® 高级功能Simpana™Singular Information Management™一体化信息管理概述SIMPANA是CommV ault一体化信息管理(Singular Information Management)软件套件的品牌名称,该软件套件提供了数据保护、归档、复制、资源管理和搜索模块,这些模块是利用一套源代码被无缝地结合在一起,并能共享相同的服务功能。
SIMPANA是业界唯一利用一套源代码把多种功能无缝结合在一起的数据管理软件。
共享的服务功能被称为通用技术引擎(CTE),是业界唯一的、可升级的统一数据管理技术优化集合,CTE具有节省成本和时间的独特优势,能广泛地用于企业的数据中心、远程办公室和工作组部门。
SIMPANA一体化信息管理的方法能提供空前的软件效率、性能和可靠性,从而有效地控制数据增长、费用和风险。
利用SIMPANA,将在下面几个方面发挥效益:IT的基础架构–包括驱动器、介质库、服务器、网络、虚拟带库和磁盘。
能利用较少的资源并能调用现有的功能来进行数据管理。
磁带–获取、运送和存放提高磁带利用率、把备份和归档集合数据迁出、利用磁盘到磁盘和快照功能来淘汰只用磁带备份的方式。
人工–培训、排错、维护和可用性改进可靠性、报告功能、应用集成、小颗粒恢复以及单一管理控制台。
一体化信息管理的价值在于,当用户购买一个模块后,花费很少的成本就能很容易把其他模块加进去。
比喻用户购买了备份/恢复数据保护模块后,能很方便地把复制、归档、资源管理和搜索模块加进去。
即便用户不需要其他模块,一体化信息管理的单个模块也能为用户提供优秀的数据管理功能。
一个真正的一体化软件要满足:基于一套源程序、共享一个服务集合、一套许可证管理。
CommVault一体化数据管理解决方案-管理资料
也正因为如此,在数据中心投入使用时,渤海保险便购买了备份软件。“当时买的是某厂商的专业化备份软件。在业务开展之处,数据量比较小没有太多的问题,但随着业务的开展,问题就暴露出来了。一来磁带的容量比较小,需要技术人员把数据库数据导出来,进行数据压缩,然后再转储到磁带上。二来,该备份软件对专业性要求比较高,操作过于复杂,耗费大量管理员精力,而且界面又不是非常友好,使用难度比较高,更要命的是,有时候磁带机出了故障,备份失败,技术人员却难以及时发现,给数据保护留下了隐患。”王总经理说。
“我们非常认同CommVault一体化的信息管理理念。CommVault一体化的数据管理架构让原本独立的备份与恢复、复制、归档、资源管理、搜索模块迁移和归档等软件,统一构建在一个统一的平台上,不仅实现了原本需要多个分立软件才能实现的功能,更为重要的是借助底层的CTE平台,系统的效率得到了极大的提升,特别体现在恢复的效率上。如果采用其他管理软件,不仅需要独立安装,并且需要分开维护。CommVault一体化数据管理解决方案简单易用,非常省心。”渤海财险信息技术部王辉说。
“我们的文件系统有几百个GB,但都是小文件,每个文件不过80K, 所以总文件数量有几百万个。在这样的海量数据中,要恢复一个小文件,在过去是很难想象的,但Simpana做到了,而且效果非常好。采用Simpana后,数据备份只用4个多小时就完成;而原来的软件,需要用40多小时,快了整整10倍。”王辉补充说。
王辉对CommVault Simpana的简单易用、便于监管的强大的报表功能以及快速搜索功能也印象深刻。
Commvault海量文件数据管理解决方案
海量文件数据管理现状和问题?
Commvault如何应对?
主要功能和特点 如何销售? 竞争优势和总结
海量文件类型和数据管理现状
• 种类多:运营商话单, 影像文件,客服录音, 物探地震资料,设计 图纸… • 数据量:平均几十-几百KB, 数据总量几十TB—PB级别 • 数量大: 千万级或亿级数量 • 存储方式分散: 本地,SAN, NAS, Hadoop HDFS…
快照
3
生产网 快照 SnapMirror
•
存储的资源
IP/FC
• 优点及建议
•
管理网
2 4
挂载 / 索引/ 备份 OnCommand服 务器
利用NetApp SnapMirror技术,数据复制 效率高
•
• •
不占用生产系统NetApp存储的资源
相当于有2份快照备份和1份物理备份 快照备份可以反向同步,缩短数据恢复时间 23
磁带库
9
海量文件使用场景匹配 SAN或本地存储
块级保护 + 在线挂载
NAS存储Hadoop分布式 存储
动态NAS 保护
NAS快照 保护
HDFS保护 + MPP保护
10
独有的块级别备份恢复 – 基于软件或存储快照技术
– 针对本地或SAN存储
块级别备份方式:
影像,后督等影 像文件 电销等录音文件 话单文件
HDFS Read
Content Grid
Block Level Move
Name Node
Data Node Data Node
Node 1
Node 2
Node 3
Node 4
CommVault产品及方案
CommVault产品及方案1. 产品概述CommVault是一家领先的数据管理解决方案提供商,提供全面的数据备份、恢复和管理产品及解决方案。
该公司的产品和方案可以帮助企业实现高效的数据保护、灾难恢复和数据管理。
CommVault的产品被广泛应用于各个行业,包括金融、医疗、制造等。
2. 产品特点2.1 数据备份和恢复CommVault的产品具有强大的数据备份和恢复功能,可以确保企业的数据平安。
它支持多种备份策略,可以根据需求定制备份方案。
同时,CommVault的产品可以实现快速的数据恢复,帮助企业迅速恢复因意外事件导致的数据丧失。
2.2 数据备份和恢复CommVault的产品具有强大的数据备份和恢复功能,可以确保企业的数据平安。
它支持多种备份策略,可以根据需求定制备份方案。
同时,CommVault的产品可以实现快速的数据恢复,帮助企业迅速恢复因意外事件导致的数据丧失。
2.3 数据管理CommVault的产品不仅支持数据备份和恢复,还提供丰富的数据管理功能。
它可以帮助企业实现数据的集中管理,并提供强大的搜索和分析功能。
CommVault的产品还支持数据归档,可以帮助企业有效管理数据的生命周期。
3. 解决方案3.1 数据备份和恢复解决方案CommVault提供全面的数据备份和恢复解决方案,可以根据企业的需求定制解决方案。
该解决方案可以帮助企业实现高效的数据备份和恢复,提高数据的平安性和可靠性。
同时,CommVault的解决方案还可以节省存储空间,提高备份和恢复的效率。
无论企业的规模大小,CommVault都可以提供适合的备份和恢复解决方案。
3.2 数据管理解决方案CommVault的数据管理解决方案可以帮助企业实现数据的集中管理和高效利用。
该解决方案可以帮助企业建立统一的数据管理平台,并提供强大的搜索和分析功能。
CommVault的解决方案还支持数据归档,可以帮助企业管理数据的生命周期,并降低存储本钱。
CommVault 虚拟化数据管理方案
虚拟机生命周期(Virtual Machine Lifecycle)
Provisioning 开通
Operation 操作
Protection 保护
DR/Recovery DR/恢and Deploy VMs
17
配置2: 虚拟VSA和物理MA
需要一台物理服务器做MA
VSA
VSA安装在虚
VSA
WIN
拟机上,可对50 个VM进行备份
WIN
MA
备份副本
磁盘
云存储
磁带
虚拟层 物理层
配置
VSA安装在虚拟机上,MA安装在物理机上 采用Hot-add或NBD模式 备份数据通过网络传输到MA
注意事项
MA的个数: MA的个数根据虚拟机个数和备份数据量来决定。 适用的场合:
适用的场合: – 在虚拟环境中,没有或很少有物理服务器,首选该配置 – 备份数据存储在后端NAS/CFS共享磁盘上 – 或者,每个MA可直接写入到VM的装载点上 – 能在网络上隔离备份和生产数据传输
不适用的场合: – 直接备份到磁带 – 不能把生产和备份的流量隔离
其他注意事项: – 使用单独的物理服务器运行DDB来进行去重,效率更高 – 利用一个VSA管理窗口就可以配置好所有备份子客户端
备份数据 备份服务器访问虚拟磁盘和快照文件,并将数据传输到 备份介质中,并获取虚拟磁盘数据和虚拟机配置信息。
删除快照 通知ESX主机删除备份快照。
15
VMware数据备份三种模式
SAN
Hot-Add
VSA
SAN
VSA
TCP/IP
NDB
TCP/IP VSA
CommVault配置管理手册
CommVault操作维护手册二〇一二年五月目录第 1 章基本使用说明 (4)1.1登录C OMM C ELL和启动服务进程 (4)1.1.1通过Windows上的Console来登录 (4)1.1.2通过WEB方式来登录 (4)1.1.3WINDOWS启动和关闭CommVault服务进程 (5)1.1.4Linux/Unix上启动和关闭CommVault服务进程 (5)1.2界面说明 (5)1.3常用操作 (6)1.4常用菜单项目说明 (8)1.5配置用户和计算机组 (10)1.5.1配置用户和用户组 (10)1.5.2配置计算机组 (13)1.5.3配置SSO (16)1.6注意事项 (16)第 2 章基本配置说明 (17)2.1配置备份归档设备 (17)2.1.1配置磁盘库设备 (17)2.1.2配置磁带库设备 (20)2.2配置存储策略 (26)2.2.1创建新存储策略 (26)2.2.2创建辅助拷贝 (30)2.3配置子客户端 (32)2.3.1配置文件备份子客户端 (32)2.3.2配置SQL备份子客户端 (35)第 3 章恢复数据说明 (38)3.1恢复文件备份数据 (38)3.2恢复SQL备份数据 (39)第 4 章管理所有任务 (41)4.1管理当前运行任务 (41)4.1.1查看当前运行任务 (41)4.2管理历史运行任务 (43)4.2.1查看历史运行任务 (43)4.3管理复制任务 (46)4.3.1查看复制运行任务 (46)第 5 章管理数据存储和介质 (49)5.1存储设备中的介质管理 (49)5.2存储设备中的数据管理 (49)5.3管理存储策略中的数据 (49)第 6 章监控和维护说明 (50)6.1查看所有计划 (50)6.1.1在计划窗口中查看计划 (50)6.1.2查看某一个目标的计划 (51)6.1.3在日历中查看计划 (52)6.2使用报表工具 (54)6.2.1产生单一报表 (54)6.2.2产生计划报表 (55)6.2.3生成报表模板 (58)6.3使用报警工具 (58)6.3.1设置报警 (58)6.4使用事件工具 (62)第7 章其他常用配置 (63)7.1时间窗口设置 (63)7.1.1全局时间窗口设置 (63)7.1.2单个目标时间窗口设置 (65)7.1.3备份流量设置 (67)7.2权限控制 (68)7.3客户端属性说明 (68)7.4介质服务器端属性说明 (71)7.5补丁管理说明 (73)7.5.1复制补丁 (73)7.5.2分发补丁 (75)7.6配置邮件服务器 (76)7.7网络接口对配置 (77)第8 章排错说明 (80)8.1日志管理 (80)8.1.1常用日志收集 (80)8.1.2出错任务日志收集 (82)8.1.3查看客户端日志 (84)8.2常见错误说明 (84)第 1 章基本使用说明1.1登录CommCell和启动服务进程1.1.1通过Windows上的Console来登录1.1.2通过WEB方式来登录1.1.3WINDOWS启动和关闭CommVault服务进程1.1.4Linux/Unix上启动和关闭CommVault服务进程显示CommVault进程simpana list停止CommVault进程simpana stop启动CommVault进程simpana start1.2界面说明1.3常用操作CommCell浏览器CommCell详细情况窗口CommCell菜单可以单击树状节点,展开子项目可以单击上面的菜单,执行菜单操作单击左面项目,可以在右面窗口,显示详细信息对任意项目按右键,都有弹出菜单对任意项目按右键,都有弹出菜单可以将多个窗口拖动形成1个标签1.4常用菜单项目说明1.5配置用户和计算机组1.5.1配置用户和用户组1.5.2配置计算机组创建计算机组1.5.3配置SSO1.6注意事项⏹如果作完配置或者监控任务运行,请多按F5,让CommVault强行刷新状态,以得到最新的结果。
CommVault解决方案
MA-AIX-S 1 Media Agent for a AIX server. Basic disk /tape library connector plus 1 direct drive support included.(AIX介质服务器模块,包含1个基本的磁盘和磁带库驱动直接连接服务支持)1MM-VTL- SLMS Shared Virtual Tape Library Management Connector(共享虚拟带库链接管理模块)1MM-DSK-5T Disk Option for up to 5 TB(磁盘备份容量许可-5TB) 1MM-TAPE- SLMS Shared Tape Library Management Connector(共享磁带库连接管理模块)1MM-DDS Shared Storage Option with Intelligent Dynamic DriveSharing (priced per tape drive)(共享存储中的智能动态驱动器共享模块,按驱动器个数报价)2DA-W-LTDT 1 iDataAgent for Windows Laptop(Windows笔记本电脑备份模块)50DA-W-WS-1 1 iDataAgent for Windows Server(Windows操作系统及文件备份模块)6DA-W-SQL-1 1 iDataAgent for SQL Server - 1 CPU.(SQL数据备份模块 - 1CPU)3DA-LIN-FS-1 1 iDataAgent for Linux Server(Linux操作系统及文件备份模块)3DA-LIN-ORA-1 1 iDataAgent for Oracle on Linux - 1 CPU.(Linux平台Oracle数据库备份模块- 1 CPU)3DA-I-AIX-1 1 iDataAgent for IBM AIX Server(IBM AIX操作系统及文件备份模块)2DA-AIX-VIRT-1 1 iDataAgent for AIX Virtual Host in ClusteredEnvironments(IBM AIX集群环境虚拟主机备份模块)1DA-S-ORA-1 1 iDataAgent for Oracle on Unix - 1 CPU.(Unix平台Oracle数据库备份模块 - 1 CPU)1QNT-W-BAS-1 1 CommNet Server (Includes 1 CommServe Server Agent) 1 QNT-W-MMA-1 Managed Media Agent (Any O/S) 6方案优势:通过降低备份和恢复负担,提高管理员和操作员的效率利用向导式的恢复简化操作,显著提高恢复的性能快速而轻松地查找并恢复单个文件、电子邮件和数据库对象在为备份和恢复分配的时间内完成更多的作业迅速而轻松地将数据恢复至另一个系统和位置,确保测试,和灾难恢复显著减少磁盘和磁带的使用迅速发现并修复数据保护过程的中断轻松报告数据管理的价值利用内嵌磁带追踪和轮换功能来改善介质管理利用一体化解决方案保护所有关键系统,应用程序和数据库系统从CommVault®数据保护的核心竞争力中获益方案2:文件分级存储及保护应用场景:某企业有一个大型文件系统,容量为2TB,用于存放设计图纸,由于设计过程中经常访问的文件只占30%,1年以上不被访问的文件占70%,由于每年还要增长40%的文件,文件系统的压力越来越大,备份的时间也越来越长,大量不常用的文件占用了大量的备份介质。
Commvault新一代数据管理平台-数据可靠性和安全性
原格式访问 时间点
快照
BLB备份
Content Store
11
COMMVAULT功能介绍
块级别备份
Block Level Backup
与现有的Commvault备份Agent完整的结合 支持文件系统及应用
• 已经支持:Linux、Unix、Windows, • 已经支持:PostgreSQL、MySQL • 即将支持:Oracle、MS SQL、MS Exchange、SAP
Merge MemDB1
On-Disk DB (Transaction Enabled)
23
Commvault具有检测及防止勒索病毒的功能
• 检测客户端是否感染勒索病毒(Ransomware)
• 当启动Ransomware检测功能后 • Commvault客户端软件定时检查蜜罐文件
( honeypot file ),默认4小时检查一次 • 当发现蜜罐文件被篡改,立刻发出Ransomware
iDA
文件服务器 iDA APP 数据库服务器
MA 介质服务器
磁带库 或VTL
磁盘设备
磁带
7
客户端数据抽取
客户端代理
iDA
数据库等应用 数据
文件系统数据
客户端代理是Commvault软件模块,用来 进行数据保护、恢复和管理。
代理模块(Agent)分类:
备份代理:iDataAgent(文件、数据库应用) 归档管理:迁移归档、合规归档 复制:CDR
不影响对比的效率前提下、极大缩短了重建DDB的时间 支持多节点并行去重计算
MemDB Levels
DDB Calls
Add, Update, Delete Records
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
生产卷
1.快照
Windows, Linux, Unix VMware and MS HyperV Exchange, SQL, Oracle, DB2, SAP
恢复层 (与存储设备紧密集成)
8 AM 12 PM 4 PM - 应用一致性副本确保快速恢复 - 内容感知/编目 (后台处理) - 能搜索数据并进行小颗粒恢复
—
5.辅助拷贝
快照 保护
—
创建 索引
云
17分钟对500 个虚拟机进行快照保护 VMworld 2010 Showcase
方案对比分析
传统方案
备份
CommVault方案
一体化方案:
发现-快照-保护-恢复
优势
最先进的虚拟机数据 保护方法。管理自动 化,减少对人工的依 赖,极大提高效率, 规避风险。 持续满足虚拟机快速 增长对SLA的要求。 数据保护过程对虚拟 机零影响。 有效降低管理压力和 成本。
关键业务数据持续不断地快速增长
– 应用系统越来越多,数据迅猛增长,生产 及管理对应用系统的依赖越来越高。 – 对关键业务数据的保护要做到万无一失。
不断增长的备份/恢复时间难以满足SLA
– 数据快速增长导致在规定的窗口内无法完 成数据备份。 – 快速增长的备份数据导致恢复时间不断加 长,难以保证业务连续性。
一套软件,一个控制台,全方位实 现对海量数据的管理。
对文件系统数据进行分析统计,为制 定管理策略提供依据。 归档历史文件至分层存储,节省存储, 提高性能,满足长期存放需求。 管理并调用存储设备的快照功能,迅 速创建能快速恢复的快照副本。 对快照进行脱机备份方式,备份对文 件服务器零影响。 对备份、归档数据创建内容索引,快 速检索历史数据。 对涉及纠纷的重要文件进行法规封存, 满足法规及诉讼的要求。
• 电力 调度系统 • 电力 SCADA监控系统 • 电力 研发中心 开发测 试平台
• 营销市场信息管理系统 • 测试系统 • 其他OA管理系统
金融
• 上市公司、大型国有企 业、外资、合资企业的 虚拟化环境 • 大型连锁店、大型物流 公司的虚拟化环境
电信
• 高校、私立学校的虚拟 化环境
电力
• 三甲医院内部的虚拟化 环境
CommVault虚拟化解决方案
一套软件,一个控制台,全方 位保护虚拟机环境。
存储 SAN/NAS
1.自动发现
8 Hr
16 Hr
VMFS (VMDK)
8 Hr
16 Hr
2.8HR进行一次 快照 – 保留3天 可用于快速恢复 虚拟机、应用数 据挖掘。
自动 发现 快照 保护 创建 索引 备份
按照预先制定规则,自动发现新增虚 拟机,并按预定的策略自动进行保护 静默虚拟机,确保应用静默,触发硬 件存储快照执行 (分钟级别) 在代理服务器上挂接快照映像,并对 需要恢复内容进行索引 创建备份D2D2T任务,运行VADP 虚 拟机备份,备份对ESX零影响 能从快照副本或备份副本中恢复完整 的虚拟机映像或单个文件。
克隆 快照
数据快速保护 加快恢复速度
备份 快照
方案3: 同时采用硬件快照技 术和传统备份软件
数t快照备份解决方案
生产系统
单一控制策略(一个控制面板进行管理)
- 保护作业、静默应用、触发快照、内容编目、报告和报警 - 提供应用和文件级别的一致性 - 调节跨越所有存储层的保留周期,使存储费用更经济
未来的数据中心
Virtualized / Storage Grids / Clouds
Virtual Machines
Clouds
Storage Grids
传统解决方案及存在的问题
传统方案
备份
能解决的问题
能对应用进行感知,实 现基本的数据保护。
存在的问题
性能差,消耗资源多; 许可证数量庞大,成本高; 不同应用管理方式不一样, 需要大量人工干预。 当数据量大时,占用资源 多,难以完成备份,恢复 时间长,不能满足SLA要 求; 不能进行应用感知,难以 确保数据一致性。 相互独立的软件/硬件解决 方案,需要脚本、人工干 预,管理复杂; 占用资源多,备份/恢复时 间长,不能满足SLA要求; 管理总成本很高
克隆 快照
备份 快照
方案3: 同时采用硬件快照技 术和传统备份软件
适应的主要行业及应用
• 银行 核心业务系统 • 证券 交易系统 • 保险 核心数据库系统
• 移动BOSS系统/CRM 系统 • 电信 BSS系统 • 联通 BSS 系统
• 电力公司ERP系统 • 电力公司CRM系统 • 电力公司 EMS系统
方案2: 使用Image镜像方式备份 整个文件系统卷,同时保 留文件系统属性
自动 发现
8 Hr
16 Hr
24Hr
24Hr
24Hr
3.索引 4.备份
磁盘备份副本(任何磁盘存储)
去重
ESXi 代理服务器
- 每天装载快照,提取相关内容创 建备份副本 - 去重、加密、校验 - 内容索引,小颗粒恢复
恢复
磁带/云存储备份副本
- 定期选择内容存入到费用更低的 存储,进行长期保留,提供去重、 加密,内容索引,小颗粒恢复。 - 提供云存储接口
传统方案
备份
能解决的问题
数据备份 备份数据长期保留
存在的问题
随着数据量的持续不断 的快速增长,越来越难 以满足SLA的要求。 无法满足备份数据长期 保留的要求 过多依赖人工干预 缺乏应用感知,影响恢 复成功率。 分离的技术方案,管理 各自为政; 无法满足SLA; 依赖人工,管理成本高。
方案1: 单纯采用传统备份软 件 方案2: 单纯采用硬件快照/克 隆技术
• 一号工程 • 专卖营销系统 • 物流中心
金融
• 上市公司、大型国有企 业、外资、合资企业的 ERP系统 • 大型连锁店、大型物流 公司的核心业务系统
电信
• 一卡通 • 图书馆图书管理系统 • 邮件系统
电力
• 市民健康档案 • HIS 系统 • EMR 系统
烟草
• 公安综合警务平台 • 社保信息系统 • 财税登记管理系统
CommVault数据管理 数据管理
七巧板
Presenter Name
目录
现代化数据保护方法 -- 快照备份 虚拟化环境下的数据保护 海量小文件数据管理 Exchange系统数据管理 跨防火墙数据保护 多数据中心统一数据管理 全方位数据管理报告
现代化数据保护方法 -- 快照备份
传统备份方式面临的挑战
自动 发现 快照
自动发现各种操作系统下的文件系统、 数据库、邮件系统所在的卷。 静默应用、触发硬件快照,创建应用 便捷地从任何层中进行恢复 一致性的快照副本,确保恢复。 对快照进行后台编目,确保应用恢复 或小颗粒恢复。 对快照进行脱机备份,备份对生产服 务器零影响。 把重要数据拷贝到磁带或云存储,进 行长期保存,满足审计、法规要求。 能从恢复层、保护层和法规遵从层恢 复数据,并能确保小颗粒恢复。
– 常用和非常用文件不加区分的都存放在生产存储 上,占用大量存储资源,严重影响系统性能。 – 常用和非常用文件一起备份,占用大量不必要的 备份空间、备份时间以及恢复时间。 – 传统管理手段很难把非常用文件从生产存储中剥 离出来。
传统方法保护海量小文件性能很低
– 用传统文件备份方法去备份/恢复海量小文件,速 度非常慢(通常以天计)
方案1: 利用传统备份软件,将虚 机当物理机进行备份
VADP
方案2: 采用虚拟化厂商自带的备 份接口(VCB/VADP等)
能实现对虚拟机环境和 数据保护 能恢复整个虚拟机和单 文件。
去重 备份
方案3: 采用硬件 + 软件方案:硬 件源端去重,软件备份到 磁带
能提升备份性能 去重技术能缩减存储容 量,降低成本。
传统解决方案及存在的问题
传统方案
方案1: 使用传统文件备份,或 NDMP协议备份NAS。 方案2: 使用Image映像方式备份 整个文件系统卷,同时保 留文件系统属性
能解决的问题
只能备份少量小文件(通 常 20~30GB /小时)
存在的问题
由于性能太差,每做一次 全备需要几天或几周时间。 传统文件备份完全不适合 海量小文件备份。 当文件不断增加时,仍然 面临备份窗口的问题。 没从根本上解决海量小文 件保护问题, 归档和备份软件是完全独 立的,管理非常困难。 归档数据持续增长,保护 是个挥之不去的难题。 从归档文件的备份副本中 恢复文件相当麻烦,并且 恢复时间非常慢长。
方案1: 利用传统备份软件,将 虚机当物理机进行备份 方案2: 采用虚拟化厂商自带的 备份接口(VCB/VADP等)
VADP
去重 备份
方案3: 采用硬件 + 软件方案: 硬件源端去重,软件备 份到磁带
适应的主要行业及应用
• 银行开发/测试系统 • 保险开发/测试系统 • 证券 OA管理系统
• 电信增值业务云计算平 台 • 联通 NOC 中心 • 电信 IDC中心
管理压力不断考验IT人员的应变能力:
– 数据的快速增长导致IT环境越来越复杂, 需要投入更多存储设备和管理工具。 – 基于竞争和预算的压力,IT投入每年都在 不断地被压缩。 – IT人员需要不断采用更好的方法,在有效 控制预算的前提下,妥善解决数据快速增 长所带来的各种难题。
传统解决方案及存在的问题
比传统文件备份速度快 更快速的增量备份 也可以恢复全部或单个 文件。
备份 归档 备份
方案3: 使用单独的归档软件,将 历史文件先归档到二级磁 盘,再使用单独的备份软 件对归档数据进行备份
将非常用的文件从生产存 储中剥离出来,减少了生 产存储的备份/恢复时间
CommVault一体化解决方案
(海量文件系统)
4HR SnapCopy – 保留3天