Commvault重复数据删除功能介绍

3
内存数据库如何工作?
• 以事务处理模式运行DDB
•
在内存中创建3个DDB表实例
• MemDB 2 – 活动（Active） – 从备份流中接受连接 • MemDB 1 – 关闭（Closed）– 空闲, 不再接受连接 • MemDB 0 – 合并（In Merge） – 提交完成的hash签名到DDB DiskDB 每个MemDB实例包含20秒的DDB活动 查询时使用所有的MemDB和DiskDB，但写操作只涉及活动MemDB 第四个DDB表实例存在于DDB磁盘 • DiskDB – 从MemDB 0 （合并）接受完成的交易
Primary Table Secondary Table Files
Each file contains 16 archive file references
Holds signature when primary table counter reaches zero
7
内存数据库附加说明
• V11SP2时内存数据库是可配置的选项
4分区重删池可支持多达200个并发数据流
没有官方的最大记录数定义，DDB查询和插入时间决定最大容量。
V10中DDB可用性选项会导致重删池中50%的块重定基线。 4分区DDB，如果1个分区离线， 重定基线降低为25%。 15
4分区DDB
• 数据如何在DDB分区中分布? • Mod（）函数处理每个重删块hash值 • • • • 模函数由hash值做除法后得到余数 余数决定数据块发送给哪个DDB分区 相同的hash值总是发送给相同的DDB分区
DDB DIP
1
2
3
4
Deduplication Database Partitions
Shared Disk Library
14
4分区DDB
• 为什么使用4分区? • 性能 • • 重删处理负载到更多的介质服务器，提高重删处理能力
容量 • 每个DDB分区可以以最优的速度支撑50个并发数据流
•
• • 弹性 • •
其他的内存数据库优势包括在某些场景下可缩短DDB重构时间
9
增量重构
重构类型
• 不同场景（使用内存数据库) • DDB不正常关闭（由于MA重启，人工干预或进程崩溃） • • 增量重构 – 新特性
DDB卷损坏或丢失
•
•
传统重构
DDB卷损坏或丢失， 且DDB备份不可用 • 完全重构
11
增量重构
• 使用内存数据库后新的重构模式
重复数据删除功能介绍
内存数据库
为什么使用内存数据库?
• 提高重删性能
•
•
直接将重复数据删除记录写入到磁盘导致很多性能问题.
降低DDB重建时间 • • • • • V10中内存中的DDB采用非日志模式,仅仅当重删引擎停止时才写入磁盘. 重删引擎只有在备份和数据老化作业完成后才停止,或者DDB备份时才停止. SIDB2 进程非正常停止会导致磁盘库和DDB的状态不一致. 磁盘库和DDB hash签名记录如有大的差异,会导致长时间的DDB重构. 内存数据库是在不影响DDB性能的情况下避免长时间重构的有效方法.
d0c77c4b4d9e6ceb333b527db332b6343c6ae9c39c321daf7764e65c71b2b026 93f17a711c22a108b559d316f975e26260b6a8616cf905e4d9ddcd8201161e60 93f17a711c22a108b559d316f975e26260b6a8616cf905e4d9ddcd8201161e61
• • •
4
MemDB架构- 插入
MemDB Levels Clean Up Process DDB Calls Add / Update Records Merge MemDB Mem Mem DB1 DB0 DB2 Active Closed - Waiting For Merge In Merge
8
内存数据库摘要
• 内存数据库是提升DDB性能的可配置选项
•
除了DiskDB外,内存数据库允许3个DDB实例在内存中运行
• DiskDB以事务处理模式运行，提交变化到磁盘
•
插入操作， 20秒的活动保存在每个MemDB实例中
• •
• MemDB每20秒提交到DiskDB中 • 已经提交的MemDB实例内容被清除用作新的插入操作 查询操作， 所有3个MemDBs和DiskDB都会被查询到
•
• • • • •
可在DDB创建或封存后时启用，因为新的DDB是空的
使用独立工具将已经存在的DDB转换为内存数据库（即将实现） 介质服务器需要至少32GB内存 DDB必须放在固态硬盘
传统的DDB仍旧是默认的配置 内存数据库个数目前不能配置（默认3个） • 研发认为3个内存数据库实例从性能和健壮性来讲是最优配置
• • • •
恢复阶段不需要从备份中恢复DDB 增加记录阶段 跳过清除记录阶段，因为数据老化只使用DiskDB,内存数据库中不存在老化记录 预计执行时间- 2分钟- 比传统重建节约大量时间
12
V11 重复数据删除变化
4分区DDB
CLDB
Signature Lookups
DDB DIP
DDB DIP
On-Disk DB (Transaction Enabled)
5
MemDB 架构 – 查询
DDB Calls Query Records
On-Disk DB (Transaction Enabled) Mem DB2 Active Mem DB1 Closed - Waiting For Merge MemDB Levels
如果1个分区离线，备份作业在任何其他分区上都不能继续 • • 除非“DDB可用性选项”被设定 4分区DDB如启用可用性选项允许最多3个分区离线 • 由于影响磁盘库用法，不推荐此种配置
16
分区中分布数据
128 KB Blocks SHA-512 HASH (Hex)
Client File System
6
Mem DB0 In Merge
MemDB架构
MemDB Instances DiskDB Instance Table Structure
Unique signature, location on disk, and block counter
Active
Closed
In Merge
Leabharlann Baidu
Primary Table Secondary Table Files Zero Reference Table