1+X证书 智能计算平台应用开发【中级】第7章 数据备份与恢复(7.2 备份技术)V1.0
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
以通过网络进行查找。 • 如果数据已经存在，那么在所选择的分区中更新DDB，在MA访问的装载路径上更新元数据；
如果数据是新的，那么在所选择的分区DDB中插入签名，数据写入MA能存取的装载路径。 • 在其他客户端重复类似过程，利用重删网格。 • 选择不同的MA。 • 数据总是写到选定的MA，而签名查找则可能在任意的分区上执行。
快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。
第8页
高级备份技术——快照技术
快照的主要作用是能够进行在线数据的备份与恢复，当存储设备发生应用故障或文件损 坏时，可以快速进行数据恢复，将数据恢复到某个可用的时间点的状态。
快照的另一个作用是为存储用户提供了另外一个数据访问通道，当原数据进行在线应用 处理时，用户可以访问快照数据，还可以利用快照进行测试等工作。
6
Partition 1
全局重删存储策略
Data transfer DDB Lookups
Partition 2
并行重删流程图
高级备份技术——重删技术
并行重删的具体流程 • 客户端根据存储策略选择MA，发送数据到MA。 • MA使用内部算法来选择哪个分区来执行签名查找。如果所选的分区在其他MA上，那么可
第7章 数据备份和恢复
第0页
目录
1. 数据备份概述 2. 备份技术 3. 备份解决方案 4. 备份与恢复
第1页
备份技术
备份技术（Redundancy Technique）是指利用备份系统实现数据备份和恢复的技术。 通常各种操作系统都附带了备份程序，但随着数据的不断增加和系统要求的不断提高，
附带的备份程序已经无法满足日益增长的需要。
①通过索引快速创建整合全备 ②将磁盘读降到最低，无须数据重组和再次去重 ③更新DDB索引信息，在磁盘上只写元数据 ④大大加快合成全备的生成时间，从几个小时缩短 到几分钟
第28页
华为OceanStor应用实例
以华为OceanStor应用实例，通过某大学图书馆备份和某工作单位备份两个实例解释华为 的OceanStor备份。
第2页
备份分类
备份类型主要包括完全备份、累积增量式备份、差异增量式备份。
完全备份
Sun. Mon. Tue. Wed. Thu. Fri. Sat. Sun.
累积增量式备份
Sun. Mon. Tue. Wed. Thu. Fri. Sat. Sun.
差异增量式备份
Sun. Mon. Tue. Wed. Thu. Fri. Sat. Sun.
• 通过快照备份副本进行数据备份，消除数据备份时间窗口，完全不用中断生产系统业 务，并且做到了数据的异地保存，提高了数据的可靠性。在恢复时，可以通过本地快 照副本快速恢复数据库或应用，或者恢复一个文件、Oracle数据库的表空间以及某一张 表。
• 可以在本地利用快照挂载直接读取或恢复快照点的数据或应用。如果本地快照损坏， 可以通过远端的备份副本恢复数据。实现多重备份和多重恢复。
源端重删流程图
目目标标端端
高级备份技术——重删技术
当数据从“源端”传输到“目标端”的过程中，在源端先对被传输的数据块进行哈希比 对，如果该数据块先前已经被传输过，那么只需要传输哈希索引值；如果该数据块先前 没有被传输过，那么传输的是该数据块，并记录该数据块的哈希值。
源端重删的优点是可节约传输带宽，缺点是要占用源端资源进行去重处理。
高级备份技术主要以OceanStor备份技术为例，OceanStor备份技术能够有效缩短备份时间， 达到业务零影响，秒级恢复快照数据，还能进一步减少存储空间，节省带宽占用，降低 整体成本投入。
OceanStor备份技术主要包括快照技术和重删技术。
第7页
高级备份技术——快照技术
存储网络行业协会SNIA（Storage Networking Industry Association）对快照（Snapshot）的 定义是：关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点 （拷贝开始的时间点）的映像。
在线内容感知、
重删和加密
全SP拷贝
依靠APP IDA 跨服务器、BMR、颗粒度恢复
第14页
高级备份技术——快照技术
快照副本备份的特点
• 在快照之前对应用发起自动屏蔽模式，再去触发硬件存储快照，创建具有应用一致性 的快照副本。快照完成后，在本地对快照数据进行编目索引，或者对快照进行离线备 份，然后将快照备份副本拷贝到远端的磁盘、磁带或云存储，进行远端保护或做长期 归档保留，作为后续数据查询和恢复的参考点。
照副本。 • 快照完成后，在本地对快照数据进行编目索引，或者对快照进行离线备份。 • 在恢复时，可以通过利用快照副本快速恢复数据库和应用，或恢复一个文件、Oracle数据
库的表空间以及某一张表，也可以通过快照挂载直接读取或恢复快照点的数据和应用。
第12页
高级备份技术——快照技术
快照副本保护
生产系统
Vcenter
SAN
华为存储
FC 10GE
Asynchronous Remote Replication GE
解决方案的流程图
华为存储
华为OceanStor应用实例——某大学图书馆备份
某大学图书馆备份主要解决方案如下：
使用LAN-Base组网方式部署，采用Enterprise集中备份解决方案。 采用Simpana作为备份软件，华为存储作为本地备份介质及异地灾备中心备份介质。
积增量式备份。 • 默认情况下，若文件创建与完全备份或差异增量式备份间的时间间隔少于5分钟，则备份将成
功，但也会备份其他文件，且差异增量式备份或累积增量式备份可能会产生意外结果。 • 通常，应用环境对备份存储空间和备份窗口的要求较高，因此更多的使用完全备份和差异增
量式备份的结合。
第6页
高级备份技术
据却很少。
第17页
高级备份技术——重删技术
重删主要分为源端重删、目标 端重删、全局删除、并行重删 和基于重删的合成全备5种。
基于重删 的合成全
备
源端重删
重删的 分类
目标端重 删
并行重删
全局删除
第18页
高级备份技术——重删技术
源端重删
第19页
源源端端
传传送送的的是是新新数数据据块块 和和老老数数据据块块的的索索引引
将重删目标从多个客户端（单个MA（Media Agent））扩大到多个MA之间，进一步降低 备份存储空间需求。多个不同存储策略的去重拷贝使用相同的去重池作为备份目标，其 使用相同的DDB、磁盘库和去重属性，但保留周期可以不一样。同一个全局重删存储策略 可以关联独立存储策略的主拷贝和次级拷贝。
第24页
第15页
高级备份技术——重删技术
第16页
重删过程
高级备份技术——重删技术
重复数据删除过程 • 对需要存储的数据，以块为单位进行哈希比对，对已经存储的数据
块不再进行存储，只是用索引来记录该数据块。 • 对没有存储的新数据块，进行物理存储，再用索引记录，这样相同
的数据块在物理上只存储一次。 • 通过索引，可以看到完整的数据逻辑视图，而实际上物理存储的数
高级备份技术——重删技术
并行重删
第25页
1
2
2
MA.1(Primaery) DDB and Data Mover Role
DDB-G2
50 Mount Paths 2.8
3
4
5
5
MA.2(Primaery) DDB and Data Mover Role
DDB-G2
50 Mount Paths 2.8
现网应用以虚拟机平台为 主，备份性能低；
图书馆书籍分类数目多， 缺乏统一的备份平台；
需要建立一个异地灾备中 心，保证备份数据安全。
第30页
某大学图书馆备份业务的主要难点
华为OceanStor应用实例——某大学图书馆备份
解决方案
生产中心
灾备中心
第31页
ESX
ESX
Media Server
CS Backup server MA MediaAgent VSA Virtual Server Agent
生产存储
1.快照
8AM 12PM 4PM
2.索引 3.备份
4.辅助拷贝 备份副本
第13页
磁盘阵列 云存储 磁带
高级备份技术——快照技术
快照副本保护机制表。
挂载路径的操作 备份作业 Containerized/Chunks
存储和位置是无关的
保护
索引的拷贝
恢复
通过CV恢复操作
仅相关联的文件被提取和
索引/保护
第20页
高级备份技术——重删技术
目标端重删
• 数据从“源端”传输到“目标端”的过程中，把数据块传送到目标端，在目标端进行去重操作。
第21页
高级备份技术——重删技术
目标端的两种处理方式 • 在线处理方式（ln-Line）：在数据块存储之前进行去重处理，优点是占用存储
空间较少，缺点是要影响数据传输性能。 • 后处理方式（Post-Processing）：先把数据块存储在缓存中，等系统空闲时再进
第26页
高级备份技术——重删技术
基于重删的合成全备
第27页
基于重删的合成全备流程图
高级备份技术——重删技术
传统合成全备与华为基于重删的合成全备特点对比表：
传统合成全备特点
①读取，重组数据和再次去重 ②耗时长、MA资源消耗大 ③只有新的数据才写到磁盘上 ④合成全备会比常规的全备慢50%左右
华为基于重删的合成全备特点
第32页
华为OceanStor应用实例——某大学图书馆备份
行去重处理。优点是不影响数据传输性能，缺点是需要额外的存储空间。
第22页
高级备份技术——重删技术
全局删除
• 全局删除流程图
第23页
高级备份技术——重删技术
在全局删除流程图中，DDB（Deduplication DataBase）表示重删数据库；GDP（Global Deduplication Policy）表示全局重删存储策略。
可检索的快照
DB Mount＞Snap Mining（Obj）
卷恢复
ຫໍສະໝຸດ Baidu
DB恢复（RPO）
Log恢复 通过Clone/Mount形式进行 内容回写（copy back） DB Mount＞Obj
Recovery Tool
第11页
高级备份技术——快照技术
本地快照备份的特点 • 在快照之前对应用发起自动屏蔽模式，再触发硬件存储快照，创建具有应用一致性的快
所有存储系统，不论高中低端，只要应用于在线系统，快照就成为一个不可或缺的功能。
第9页
高级备份技术——快照技术
本地快照备份
第10页
高级备份技术——快照技术
本地快照备份机制表：
本地阵列
保护
索引的拷贝
应用一致性
本地阵列
恢复
基于应用的恢复
基于阵列本地格 式
文件信息在索引 缓存进行索引
Log管理
在阵列上创建
第3页
• 每天完全备份。 • 易于管理。
• 每周一天完全备份。 • 本周其余每天备份和完全
备份的差异部分。
• 每周一天完全备份。 • 本周其余每天备份和上次
备份的差异部分。
备份分类
完全备份 • 又称为全量备份，是在某一个时间点上对所有数据进行完全拷贝，在备份发起后到备份结束的
这个阶段中，若一个文件发生了改变，则改变的部分将在下次备份时进行备份。 累积增量式备份 • 以上一次的完全备份为基准进行备份的。 • 若之前未进行任何备份，则备份所有文件。 差异增量式备份 • 以上一次的备份为基准进行备份，与累积增量式备份的基准不同的是，差异增量式备份不限制
个完全备份的存储空间，备份窗口较小，累积增量式备份才能完整恢复数据，恢复
恢复窗口较小
时间较差异增量式备份较短
差异增量式备份
数据恢复时必须依赖上一次完全备份和每
能够最大限度地节省存储空间，备份窗 一次的差异增量式备份才能对数据进行完
口小
整恢复，恢复时数据重构较慢，恢复时间
较长
第5页
备份分类
备份类型分析需要注意的3点 • 要求在同一策略中结合完全备份使用，但不要在同一个策略中结合使用差异增量式备份和累
上一次的备份级别。 • 若之前未进行任何备份，则备份所有文件。
第4页
备份分类
3种备份方式的优缺点对比表。
备份方式 完全备份
累积增量式备份
优点
缺点
能够基于上一次的完全备份快速恢复数 所占用的存储空间大，每次备份耗时长，
据，恢复窗口小
备份窗口大
相对完全备份来说每次备份可以节约一 恢复时必须依赖上一次完全备份和本次的
两个案例都是主要从业务挑战、解决方案和客户收益3个方面内容展开。
客户收 益
业务挑 战
案例内 容
解决方 案和
第29页
华为OceanStor应用实例——某大学图书馆备份
业务挑战
• 某大学图书馆备份业务上面对的主要难点有：现 网应用以虚拟机平台为主，备份性能低；图书馆 书籍分类数目多，缺乏统一的备份平台；需要建 立一个异地灾备中心，保证备份数据安全。
如果数据是新的，那么在所选择的分区DDB中插入签名，数据写入MA能存取的装载路径。 • 在其他客户端重复类似过程，利用重删网格。 • 选择不同的MA。 • 数据总是写到选定的MA，而签名查找则可能在任意的分区上执行。
快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。
第8页
高级备份技术——快照技术
快照的主要作用是能够进行在线数据的备份与恢复，当存储设备发生应用故障或文件损 坏时，可以快速进行数据恢复，将数据恢复到某个可用的时间点的状态。
快照的另一个作用是为存储用户提供了另外一个数据访问通道，当原数据进行在线应用 处理时，用户可以访问快照数据，还可以利用快照进行测试等工作。
6
Partition 1
全局重删存储策略
Data transfer DDB Lookups
Partition 2
并行重删流程图
高级备份技术——重删技术
并行重删的具体流程 • 客户端根据存储策略选择MA，发送数据到MA。 • MA使用内部算法来选择哪个分区来执行签名查找。如果所选的分区在其他MA上，那么可
第7章 数据备份和恢复
第0页
目录
1. 数据备份概述 2. 备份技术 3. 备份解决方案 4. 备份与恢复
第1页
备份技术
备份技术（Redundancy Technique）是指利用备份系统实现数据备份和恢复的技术。 通常各种操作系统都附带了备份程序，但随着数据的不断增加和系统要求的不断提高，
附带的备份程序已经无法满足日益增长的需要。
①通过索引快速创建整合全备 ②将磁盘读降到最低，无须数据重组和再次去重 ③更新DDB索引信息，在磁盘上只写元数据 ④大大加快合成全备的生成时间，从几个小时缩短 到几分钟
第28页
华为OceanStor应用实例
以华为OceanStor应用实例，通过某大学图书馆备份和某工作单位备份两个实例解释华为 的OceanStor备份。
第2页
备份分类
备份类型主要包括完全备份、累积增量式备份、差异增量式备份。
完全备份
Sun. Mon. Tue. Wed. Thu. Fri. Sat. Sun.
累积增量式备份
Sun. Mon. Tue. Wed. Thu. Fri. Sat. Sun.
差异增量式备份
Sun. Mon. Tue. Wed. Thu. Fri. Sat. Sun.
• 通过快照备份副本进行数据备份，消除数据备份时间窗口，完全不用中断生产系统业 务，并且做到了数据的异地保存，提高了数据的可靠性。在恢复时，可以通过本地快 照副本快速恢复数据库或应用，或者恢复一个文件、Oracle数据库的表空间以及某一张 表。
• 可以在本地利用快照挂载直接读取或恢复快照点的数据或应用。如果本地快照损坏， 可以通过远端的备份副本恢复数据。实现多重备份和多重恢复。
源端重删流程图
目目标标端端
高级备份技术——重删技术
当数据从“源端”传输到“目标端”的过程中，在源端先对被传输的数据块进行哈希比 对，如果该数据块先前已经被传输过，那么只需要传输哈希索引值；如果该数据块先前 没有被传输过，那么传输的是该数据块，并记录该数据块的哈希值。
源端重删的优点是可节约传输带宽，缺点是要占用源端资源进行去重处理。
高级备份技术主要以OceanStor备份技术为例，OceanStor备份技术能够有效缩短备份时间， 达到业务零影响，秒级恢复快照数据，还能进一步减少存储空间，节省带宽占用，降低 整体成本投入。
OceanStor备份技术主要包括快照技术和重删技术。
第7页
高级备份技术——快照技术
存储网络行业协会SNIA（Storage Networking Industry Association）对快照（Snapshot）的 定义是：关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点 （拷贝开始的时间点）的映像。
在线内容感知、
重删和加密
全SP拷贝
依靠APP IDA 跨服务器、BMR、颗粒度恢复
第14页
高级备份技术——快照技术
快照副本备份的特点
• 在快照之前对应用发起自动屏蔽模式，再去触发硬件存储快照，创建具有应用一致性 的快照副本。快照完成后，在本地对快照数据进行编目索引，或者对快照进行离线备 份，然后将快照备份副本拷贝到远端的磁盘、磁带或云存储，进行远端保护或做长期 归档保留，作为后续数据查询和恢复的参考点。
照副本。 • 快照完成后，在本地对快照数据进行编目索引，或者对快照进行离线备份。 • 在恢复时，可以通过利用快照副本快速恢复数据库和应用，或恢复一个文件、Oracle数据
库的表空间以及某一张表，也可以通过快照挂载直接读取或恢复快照点的数据和应用。
第12页
高级备份技术——快照技术
快照副本保护
生产系统
Vcenter
SAN
华为存储
FC 10GE
Asynchronous Remote Replication GE
解决方案的流程图
华为存储
华为OceanStor应用实例——某大学图书馆备份
某大学图书馆备份主要解决方案如下：
使用LAN-Base组网方式部署，采用Enterprise集中备份解决方案。 采用Simpana作为备份软件，华为存储作为本地备份介质及异地灾备中心备份介质。
积增量式备份。 • 默认情况下，若文件创建与完全备份或差异增量式备份间的时间间隔少于5分钟，则备份将成
功，但也会备份其他文件，且差异增量式备份或累积增量式备份可能会产生意外结果。 • 通常，应用环境对备份存储空间和备份窗口的要求较高，因此更多的使用完全备份和差异增
量式备份的结合。
第6页
高级备份技术
据却很少。
第17页
高级备份技术——重删技术
重删主要分为源端重删、目标 端重删、全局删除、并行重删 和基于重删的合成全备5种。
基于重删 的合成全
备
源端重删
重删的 分类
目标端重 删
并行重删
全局删除
第18页
高级备份技术——重删技术
源端重删
第19页
源源端端
传传送送的的是是新新数数据据块块 和和老老数数据据块块的的索索引引
将重删目标从多个客户端（单个MA（Media Agent））扩大到多个MA之间，进一步降低 备份存储空间需求。多个不同存储策略的去重拷贝使用相同的去重池作为备份目标，其 使用相同的DDB、磁盘库和去重属性，但保留周期可以不一样。同一个全局重删存储策略 可以关联独立存储策略的主拷贝和次级拷贝。
第24页
第15页
高级备份技术——重删技术
第16页
重删过程
高级备份技术——重删技术
重复数据删除过程 • 对需要存储的数据，以块为单位进行哈希比对，对已经存储的数据
块不再进行存储，只是用索引来记录该数据块。 • 对没有存储的新数据块，进行物理存储，再用索引记录，这样相同
的数据块在物理上只存储一次。 • 通过索引，可以看到完整的数据逻辑视图，而实际上物理存储的数
高级备份技术——重删技术
并行重删
第25页
1
2
2
MA.1(Primaery) DDB and Data Mover Role
DDB-G2
50 Mount Paths 2.8
3
4
5
5
MA.2(Primaery) DDB and Data Mover Role
DDB-G2
50 Mount Paths 2.8
现网应用以虚拟机平台为 主，备份性能低；
图书馆书籍分类数目多， 缺乏统一的备份平台；
需要建立一个异地灾备中 心，保证备份数据安全。
第30页
某大学图书馆备份业务的主要难点
华为OceanStor应用实例——某大学图书馆备份
解决方案
生产中心
灾备中心
第31页
ESX
ESX
Media Server
CS Backup server MA MediaAgent VSA Virtual Server Agent
生产存储
1.快照
8AM 12PM 4PM
2.索引 3.备份
4.辅助拷贝 备份副本
第13页
磁盘阵列 云存储 磁带
高级备份技术——快照技术
快照副本保护机制表。
挂载路径的操作 备份作业 Containerized/Chunks
存储和位置是无关的
保护
索引的拷贝
恢复
通过CV恢复操作
仅相关联的文件被提取和
索引/保护
第20页
高级备份技术——重删技术
目标端重删
• 数据从“源端”传输到“目标端”的过程中，把数据块传送到目标端，在目标端进行去重操作。
第21页
高级备份技术——重删技术
目标端的两种处理方式 • 在线处理方式（ln-Line）：在数据块存储之前进行去重处理，优点是占用存储
空间较少，缺点是要影响数据传输性能。 • 后处理方式（Post-Processing）：先把数据块存储在缓存中，等系统空闲时再进
第26页
高级备份技术——重删技术
基于重删的合成全备
第27页
基于重删的合成全备流程图
高级备份技术——重删技术
传统合成全备与华为基于重删的合成全备特点对比表：
传统合成全备特点
①读取，重组数据和再次去重 ②耗时长、MA资源消耗大 ③只有新的数据才写到磁盘上 ④合成全备会比常规的全备慢50%左右
华为基于重删的合成全备特点
第32页
华为OceanStor应用实例——某大学图书馆备份
行去重处理。优点是不影响数据传输性能，缺点是需要额外的存储空间。
第22页
高级备份技术——重删技术
全局删除
• 全局删除流程图
第23页
高级备份技术——重删技术
在全局删除流程图中，DDB（Deduplication DataBase）表示重删数据库；GDP（Global Deduplication Policy）表示全局重删存储策略。
可检索的快照
DB Mount＞Snap Mining（Obj）
卷恢复
ຫໍສະໝຸດ Baidu
DB恢复（RPO）
Log恢复 通过Clone/Mount形式进行 内容回写（copy back） DB Mount＞Obj
Recovery Tool
第11页
高级备份技术——快照技术
本地快照备份的特点 • 在快照之前对应用发起自动屏蔽模式，再触发硬件存储快照，创建具有应用一致性的快
所有存储系统，不论高中低端，只要应用于在线系统，快照就成为一个不可或缺的功能。
第9页
高级备份技术——快照技术
本地快照备份
第10页
高级备份技术——快照技术
本地快照备份机制表：
本地阵列
保护
索引的拷贝
应用一致性
本地阵列
恢复
基于应用的恢复
基于阵列本地格 式
文件信息在索引 缓存进行索引
Log管理
在阵列上创建
第3页
• 每天完全备份。 • 易于管理。
• 每周一天完全备份。 • 本周其余每天备份和完全
备份的差异部分。
• 每周一天完全备份。 • 本周其余每天备份和上次
备份的差异部分。
备份分类
完全备份 • 又称为全量备份，是在某一个时间点上对所有数据进行完全拷贝，在备份发起后到备份结束的
这个阶段中，若一个文件发生了改变，则改变的部分将在下次备份时进行备份。 累积增量式备份 • 以上一次的完全备份为基准进行备份的。 • 若之前未进行任何备份，则备份所有文件。 差异增量式备份 • 以上一次的备份为基准进行备份，与累积增量式备份的基准不同的是，差异增量式备份不限制
个完全备份的存储空间，备份窗口较小，累积增量式备份才能完整恢复数据，恢复
恢复窗口较小
时间较差异增量式备份较短
差异增量式备份
数据恢复时必须依赖上一次完全备份和每
能够最大限度地节省存储空间，备份窗 一次的差异增量式备份才能对数据进行完
口小
整恢复，恢复时数据重构较慢，恢复时间
较长
第5页
备份分类
备份类型分析需要注意的3点 • 要求在同一策略中结合完全备份使用，但不要在同一个策略中结合使用差异增量式备份和累
上一次的备份级别。 • 若之前未进行任何备份，则备份所有文件。
第4页
备份分类
3种备份方式的优缺点对比表。
备份方式 完全备份
累积增量式备份
优点
缺点
能够基于上一次的完全备份快速恢复数 所占用的存储空间大，每次备份耗时长，
据，恢复窗口小
备份窗口大
相对完全备份来说每次备份可以节约一 恢复时必须依赖上一次完全备份和本次的
两个案例都是主要从业务挑战、解决方案和客户收益3个方面内容展开。
客户收 益
业务挑 战
案例内 容
解决方 案和
第29页
华为OceanStor应用实例——某大学图书馆备份
业务挑战
• 某大学图书馆备份业务上面对的主要难点有：现 网应用以虚拟机平台为主，备份性能低；图书馆 书籍分类数目多，缺乏统一的备份平台；需要建 立一个异地灾备中心，保证备份数据安全。