海量数据分级存储解决方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
存储设备投资
花费
主存储 高性能磁盘阵列
访问频率
二级存储 第二级、第三极
数据 分层 存储
主存储（磁盘） CAPEX OPEX
二级存储（磁盘） CAPEX OPEX
磁带 CAPEX OPEX
8
分级存储与”自动”分级存储
根据数据的重要性、访问频率、保留时间、容量、性能等指标将数据采 取不同的存储方式个分别存储在不同性能的存储设备上 把不经常访问的数据移到存储层次中较低的层次，高成本的存储空间留 给更频繁访问的数据，获得更好的性价比 传统存储
5,765 3,961 1,924 2,675
录像保存时间的增加(法令)
视频分析技术愈发成熟
5
视频监控存储面临的挑战
6Βιβλιοθήκη Baidu
视频监控存储面临的挑战
大量的监控视频数据从未被查看 视频录像大量增长，现有系统架构如何能支持扩展 管理,预算与任务怎么平衡
7
数据保存生命周期 – 越新的数据价值越高，旧的呢？
数据价值
15
分级存储应用案例分享 – 齐齐哈尔市公安局
为降低办案成本，要求延长安防监控视频、 交通卡口拍照的保存时间由原有的1个月增加至1年 每个月产生约330TB的视频监控录像 使用磁带归档系统提供额外的4PB容量 采用每个月手工归档一次,每次离线备份大约330TB Quantum配置
– StorNext AEL500 133槽激活 – 2000盘LTO-6 磁带
大量节省设备采购与运行维护的花费 档案管理更加方便直觉
16
分级存储应用案例分享 – 卡尔加里警察局
客户需求
加拿大卡尔加里警察局，出勤时警车及随身佩戴的摄像头拍摄的办案视频
最长保留1年，7年，20年不等，需要大容量可扩展的绿色节能存储
解决方案
240TB Quantum 视频存储磁盘阵列与视频归档物理磁带库750TB Online Tape
Source: iHS “World Market for Enterprise & IP Storage for Video Surveillance 2014”, December 2013 Source: iHS “Enterprise & IP Storage Used for Video Surveillance 2015”, November 2015
– 在线 – 离线
分级存储系统
– 在线 – 近线 – 离线
9
智能存储优势: “实时”自动分层
22 24 2
SSD Continuous 数据移动 Data Movement 高性能磁盘 SAS Performance HDD
20 4 18 6 16 SECONDS 8 14 10 12
5
Incoming Data
如何解决大数据时代视频监控数据的快速增长？
海量数据分级存储解决方案
1
2
背景介绍
交通领域的迅猛发展带来视频监控存储的急速增长 视频存储容量的增长表现在： - 分辨率的增加： 1080P -10M - 存储时间的增长: 60天甚至更多 - 前端多种监控摄像机数量的增多级性能提高 带来的问题： - 盘阵增加带来成本的增大 - 机房空间的不足 - 电力的耗损 大数据时代的首要问题是如何将数据妥善保存下来。 英照科技携手昆腾国际提供大数据时代下的分级存储解决方案
Artico智能NAS归档存储设备 Scalar磁带库设备
– 近线：
Scalar i500磁带库设备 Scalar i6000磁带库设备
– 容量性能按需扩充 – 磁带可从磁带库取出 – 异地保存
14
磁带相对于磁盘阵列保存数据的优势为？ 用电量大幅降低
高密度，可以腾出2-4倍的空间来
价格适合大容量长时间保存 保存期限:20年以上
12
大型视频监控存储系统(磁盘阵列)最常发生的问题？
超过一定年限后,磁盘出现大面积故障 修复数据时,整个磁盘阵列的I/O性能大幅下降，导致更多视频数据丢失 全面更新磁盘后，旧有数据的保存,调阅，迁移都发生问题 几个PB的盘阵，维护的成本高，电费高，环境的要求也高
13
智能存储设备 Tape Library
3
Quantum-智能存储解决方案国内外行业应用客户
国内机构
– – – – – –
其他国际知名机构
– 各大跨国研究机构：国际核子研究组织 (CERN) – 各国航空航天局：NASA, JAXA – 各大石油天然气公司: Shell – 各大卫星及地理信息系统: Google Earth – 全球各大电视台、电影公司
选择原因
Quantum 能够提供完整的分级存储解决方案 Quantum分级存储平台使得只有 ¼ 的数据存储在昂贵的磁盘上，其余均归
档当在物理磁带上，应用可透明浏览访问处于任何介质上的视频
TCO相比横向扩展NAS存储案低20%
17
18
19
每五秒钟 执行一次迁移
高价值磁盘 NL-SAS Capacity HDD Hot Data Warm Data Cold Data
10
新一代的分级存储系统架构
11
为什么需要新的分级存储架构？
高性能 Performance 低成本大容量 Low Cost Capacity 容易访问 Access
数据保存
100多家电视台、影视制作单位 中科院、各类科学工程单位 中石油、中石化、中海油 环境卫星、气象、国土资源 生命科学 政府部门
4
IHS报告 – 明确显示监控视频的数据增长超乎预期
视频监控存储的急速增长来自
Petabytes
12000 10000
前端摄像机的性能提升
8000 6000 4000 2000 0 923 2013 2014 2015 2016 2017 2018 2019
花费
主存储 高性能磁盘阵列
访问频率
二级存储 第二级、第三极
数据 分层 存储
主存储（磁盘） CAPEX OPEX
二级存储（磁盘） CAPEX OPEX
磁带 CAPEX OPEX
8
分级存储与”自动”分级存储
根据数据的重要性、访问频率、保留时间、容量、性能等指标将数据采 取不同的存储方式个分别存储在不同性能的存储设备上 把不经常访问的数据移到存储层次中较低的层次，高成本的存储空间留 给更频繁访问的数据，获得更好的性价比 传统存储
5,765 3,961 1,924 2,675
录像保存时间的增加(法令)
视频分析技术愈发成熟
5
视频监控存储面临的挑战
6Βιβλιοθήκη Baidu
视频监控存储面临的挑战
大量的监控视频数据从未被查看 视频录像大量增长，现有系统架构如何能支持扩展 管理,预算与任务怎么平衡
7
数据保存生命周期 – 越新的数据价值越高，旧的呢？
数据价值
15
分级存储应用案例分享 – 齐齐哈尔市公安局
为降低办案成本，要求延长安防监控视频、 交通卡口拍照的保存时间由原有的1个月增加至1年 每个月产生约330TB的视频监控录像 使用磁带归档系统提供额外的4PB容量 采用每个月手工归档一次,每次离线备份大约330TB Quantum配置
– StorNext AEL500 133槽激活 – 2000盘LTO-6 磁带
大量节省设备采购与运行维护的花费 档案管理更加方便直觉
16
分级存储应用案例分享 – 卡尔加里警察局
客户需求
加拿大卡尔加里警察局，出勤时警车及随身佩戴的摄像头拍摄的办案视频
最长保留1年，7年，20年不等，需要大容量可扩展的绿色节能存储
解决方案
240TB Quantum 视频存储磁盘阵列与视频归档物理磁带库750TB Online Tape
Source: iHS “World Market for Enterprise & IP Storage for Video Surveillance 2014”, December 2013 Source: iHS “Enterprise & IP Storage Used for Video Surveillance 2015”, November 2015
– 在线 – 离线
分级存储系统
– 在线 – 近线 – 离线
9
智能存储优势: “实时”自动分层
22 24 2
SSD Continuous 数据移动 Data Movement 高性能磁盘 SAS Performance HDD
20 4 18 6 16 SECONDS 8 14 10 12
5
Incoming Data
如何解决大数据时代视频监控数据的快速增长？
海量数据分级存储解决方案
1
2
背景介绍
交通领域的迅猛发展带来视频监控存储的急速增长 视频存储容量的增长表现在： - 分辨率的增加： 1080P -10M - 存储时间的增长: 60天甚至更多 - 前端多种监控摄像机数量的增多级性能提高 带来的问题： - 盘阵增加带来成本的增大 - 机房空间的不足 - 电力的耗损 大数据时代的首要问题是如何将数据妥善保存下来。 英照科技携手昆腾国际提供大数据时代下的分级存储解决方案
Artico智能NAS归档存储设备 Scalar磁带库设备
– 近线：
Scalar i500磁带库设备 Scalar i6000磁带库设备
– 容量性能按需扩充 – 磁带可从磁带库取出 – 异地保存
14
磁带相对于磁盘阵列保存数据的优势为？ 用电量大幅降低
高密度，可以腾出2-4倍的空间来
价格适合大容量长时间保存 保存期限:20年以上
12
大型视频监控存储系统(磁盘阵列)最常发生的问题？
超过一定年限后,磁盘出现大面积故障 修复数据时,整个磁盘阵列的I/O性能大幅下降，导致更多视频数据丢失 全面更新磁盘后，旧有数据的保存,调阅，迁移都发生问题 几个PB的盘阵，维护的成本高，电费高，环境的要求也高
13
智能存储设备 Tape Library
3
Quantum-智能存储解决方案国内外行业应用客户
国内机构
– – – – – –
其他国际知名机构
– 各大跨国研究机构：国际核子研究组织 (CERN) – 各国航空航天局：NASA, JAXA – 各大石油天然气公司: Shell – 各大卫星及地理信息系统: Google Earth – 全球各大电视台、电影公司
选择原因
Quantum 能够提供完整的分级存储解决方案 Quantum分级存储平台使得只有 ¼ 的数据存储在昂贵的磁盘上，其余均归
档当在物理磁带上，应用可透明浏览访问处于任何介质上的视频
TCO相比横向扩展NAS存储案低20%
17
18
19
每五秒钟 执行一次迁移
高价值磁盘 NL-SAS Capacity HDD Hot Data Warm Data Cold Data
10
新一代的分级存储系统架构
11
为什么需要新的分级存储架构？
高性能 Performance 低成本大容量 Low Cost Capacity 容易访问 Access
数据保存
100多家电视台、影视制作单位 中科院、各类科学工程单位 中石油、中石化、中海油 环境卫星、气象、国土资源 生命科学 政府部门
4
IHS报告 – 明确显示监控视频的数据增长超乎预期
视频监控存储的急速增长来自
Petabytes
12000 10000
前端摄像机的性能提升
8000 6000 4000 2000 0 923 2013 2014 2015 2016 2017 2018 2019