基于光盘的新一代归档数据存储100429
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
新一代光盘归档数据存储技术
•
数字化归档管理是现代企业的大脑•
光盘是数字化档案唯一理想的数据最终载体•
光盘库是未来安全归档存储的关键设备•
磁光混合存储可实现大幅度的节能减排•数据长期安全存储的3-2-1策略
数字档案管理系统(数字档案管理系统(DMS DMS DMS)
)传统的纸质档案管理方法有诸多的缺点,已经不能适应现代化企业与政府的高效能管理需求,这主要体现在:
1.可查找性:查找时间长;
2.可提供性:要找的文件数据不一定马上能提供;
3.流通效率:资料流通的管理效率低;
4.保管费用:大量资料的管理费用很高;
5.可共享性:资料无法同时供多人使用;
6.版本更新:无法确保资料的实效性;
7.资料完整性:文档资源可能与登记不符;
8.专题检索:查找分散在各处的文档非常耗时;
9.多媒体数据:无法即时剪辑和处理。
数字化档案管理(DMS)系统的基本构成如下图所示。
数字化档案管理系统根据其行业应用需求和规模已有许多成熟的解决方案,新的、功能更加强大的软件也在不断被投放市场。
在文件格式和行业应用规范上的标准化工作也在进步。
数字化的档案管理系统可以从整体上提高企业的记忆力。
基于光盘的归档存储具有下列优点:
1.数据安全性:DVD光盘可保存数据50年以上,异地存放可防止自然或人为
破坏;
2.法规遵从性:DVD光盘从物理介质上保证所存储的内容不可被修改;
3.经济性:低运行成本,低管理费用,耗电省,极大节省办公室面积,配置更
新容易,设备寿命长。
总体上具有最优的TCO(Total Cost of
Ownership),它客观地描述了用户在一定时间内拥有一个产品或服务要付
出的代价;
4.提高效率:全方位拥有数据,检索快,信息提取能力强。
在数字化档案管理系统中,归档存储占有关键的地位。
在现代磁介质存储技术单位存储价格不断下降的今天,人们往往会忽略一个重要的因素,即存储和备份不等于归档。
因此,国际先进工业国家都纷纷专门立法(见下图),以保证归档数据的规范性。
归档数据的法规遵从性主要体现在数据应存储在一次可写(WORM,Write
Once Read Many)的记录媒介上,并能长期保持。
如下图所示,现代信息系统的数据存储主要由磁盘,磁带和光盘来完成。
目前磁记录媒介,即磁盘和磁带占有主流地位。
随着新一代的BD蓝光光盘的市场引入,光盘存储在数字档案管理系统中将得到越来越多的应用。
光盘库磁带库磁盘阵列
服务器
根据存储技术要求的不同,各种不同的存储媒介根据其存取速度和容量被应用在不同的地方,构成了如下图所示的存储金字塔。
新一代蓝光光盘存储媒介
DVD光盘是数字化档案唯一理想的数据最终载体,它有以下显著的优点:
1.适合长期保存。
妥善的保管,如放在光盘片匣中,数据的保存期将大于
50年。
磁盘和磁带都远达不到这样的数据保存寿命;
2.尺寸的标准化。
尽管单张光盘的存储容量成倍地逐年向上增长,其120mm直径
的物理尺寸将永远保持不变。
这样利用永久保存;
3.设备的兼容性。
新一代光驱总是保留之向下的兼容性,不会出现像磁带那样,
过若干年,带子尚完好,但能读它的磁带机早已不生产了;
4.随机存储的速度快。
由于光盘的读写是2维的,所以找到任何历史数据的时间
都几乎相同;
5.不怕电磁干扰。
由于是塑料,所以对任何电磁干扰都不敏感。
由于放在片匣
内,所以也没有光照射和机械损伤;
6.无须保养。
放入片匣就一劳永逸,无须任何更新和维护;
7.便于复制和发放。
可方便地复制所需的数据并即时按需发放;
8.媒体便于交换。
DVD播放设备到处都能找到。
9.成本极低。
随着产量的增加,DVD盘片价格总是迅速下降;
10.充满发展的活力。
单片蓝光BD光盘的单层容量为25GB,双层为50GB。
根据
BD光盘联盟的发展路线图,BD光盘每两年速度提高一倍,容量翻一倍,最终
将达到8层200GB。
这意味着,一个35张的可交换片匣,可以存放7TB数据,这在长期性价比方面是无以匹敌的。
蓝光光存储技术是新一代数据存储的核心。
由于市场巨大,跨国公司分为两个阵营,在技术标准和产业化方面展开了数年的激烈争夺。
这种争夺一方面刺激着技术的竞争性发展,另一方面也开始严重影响着蓝光光盘存储的产业进程。
由于零售业巨头沃尔玛和好莱坞电影发行商的倒戈,以东芝为首的HD-DVD阵营宣布停止这方面的业务,以索尼为首的Blu-Ray(BD)阵营胜出。
标准的统一将大力推动蓝光光盘的普及应用。
BD蓝光光盘主具有以下特点:
1.BD光盘格式用于高密度数据存储和高清视频
2.物理尺寸和操作方式与CD/DVD光盘一致
3.超硬涂层保护由潮湿、刮碰、指印和灰尘引起的损伤
4.Blu-Ray使用PC光驱
5.读/写兼容CD/DVD技术
6.高读写速度
7.格式:BD-R(一次可写),BD-RE(多次可擦写),BD-ROM(只读)
8.标准化的,与操作系统平台无关的UDF文件系统
9.损伤管理和先进的纠错技术
10.通过主流硬件厂商的长期技术支持
BD与普通红光DVD的技术参数比较见下表
参数Blu-ray(BD)DVD
存储容量25GB(single-layer)
50GB(dual-layer)4.7GB(single-layer) 8.5GB(dual-layer)
激光波长405nm(blue laser)650nm(red laser)数值孔径(NA)0.850.60
光盘直径光盘厚度120mm
1.2mm
120mm
1.2mm
保护层0.1mm0.6mm
发展前景BD 蓝光光盘将成为今后若干年数据长期归档存储的主流媒介。
BD 的容量可逐步发展到8层200GB。
速度最终达到288Mbit/s。
蓝光光盘的产业化推动力来自于PC 工业和高清节目源的普及。
价格走向
根据Blu-ray Disc Association 给出的预测,BD 光盘最终的生产费用不会明显高于现在DVD 光盘。
随着生产数量的增加,BD 的生产成本会逐渐接近DVD。
根据大型光盘生产上给出的非正式预测,2008年4月份第一轮的市场推介行动后,光驱的价格将下来50%,盘片也有类似的价格走向。
一张光盘能存多少纸质文件?
这里有一个计算例子:
一个扫描文件=50KB (通常为10到50KB);
1个文件夹(8cm)=500页A4纸;
1个标准文件柜(80cm x 5层)=50个文件夹;
1张普通4.7GB 的DVD-R =
188个文件夹=94.000A4纸=约4个标准文件柜;超硬涂层
Yes No 光轨
0.32µm 0.74µm 数据传输率(data)
数据传输率(video/audio)
36.0Mbps (1x)54.0Mbps (1.5x)11.08Mbps (1x)10.08Mbps (<1x)视频分辨率(max)
视频码流(max)
1920×1080(1080p)40.0Mbps 720×480/720×576(480i/576i)
9.8Mbps 视频编码MPEG-2MPEG-4AVC SMPTE VC-1MPEG-2--音频编码
Linear PCM Dolby Digital Dolby Digital Plus Dolby TrueHD DTS Digital Surround DTS-HD Linear PCM Dolby Digital DTS Digital Surround ---交互性
BD-J DVD-Video
1个35张的片匣=6300个文件夹=约126个标准文件柜;
1台NETZON GMS3630光盘库(18个片匣)=113,400个文件夹=2268个标准文件柜;
采用蓝光BD光盘,数字档案的存放容量将在上述计算例子的基础上扩大5到10倍(分别采用25和50GB的BD光盘)。
如此,一台容量为630张光盘的光盘库将可存放2万多个标准文件柜的文件!
蓝光光盘库
光盘库通常由机械手、片匣、光驱组、弹出屉和伺服部分组成。
数据和控制信号通过高速SCSI或局网接口与计算机系统相连接。
通过光盘库管理软件,光盘库可对光盘进行读写,复制等操作,并且是多个进程同时进行的。
通过光盘库可对大量光盘数据资源进行高效率、高可靠性的管理和操作。
为了便于专业化的光盘复制与发表,有些光盘库还配有内置的盘片打印机,可以打出各种高质量的盘标。
专业的盘片打印机采用热传递或热再传递工作原理,前者可以大量低成本地打印单一色调的盘标,而后者可
以在盘片上打出逼真的照片。
现代化的DVD光盘库早已不是一种简单的盘
片自动切换装置了。
通过高智能的光电一体化设
备和现代化的管理软件,光盘库系统已成为高度
虚拟化的海量存储子系统。
它与半导体和磁盘存
储器相互弥补,构成了高效率,高可靠性的现代
数据存储体系。
市场上现有的光盘库产品,通常容量为几十
到数百片光盘。
国内常见的提供商有PLASMON,
JVC和NETZON的GMS系列。
NETZON光盘库已经发表了支持BD光驱的产品,使得产品的容量增加到原来的5到10倍。
同时其可靠性和数据安全性得到大幅度的提高。
现在单位TB的价格已经明显低于原DVD系统。
NETZON光盘库可广泛应用于:
电子票据的保存与管理
金融保险行业的票据管理
商税务部门的票据管理
石油、电力等大型企业数据资源的存储
通讯行业的数据存储
政府机关、公共机构以及科研院校的信息化管理数字图书馆
公、检、法机关档案及音、视频资料管理
历史资料的数字化存储与管理
数字化资料的远程查询与浏览
医疗信息化管理
医疗记录存储与管理
诊断报告存储与管理
医疗影像数据的存储、归档及共享
媒体资源管理
音、视频节目的数字化管理
重要历史资料的备份与管理
节目资源的查询及交流
其他
VOD视频点播系统
中、小批量CD生产和加工
即时信息发布与出版
NETZON光盘库的35张光盘标准片匣。
磁光混合存储可以大幅度地节能减排
除了上述关于BD蓝光光盘作为数据存储媒介的诸多优点外,也对日渐突出的全球性能源和二氧化碳排放问题提供一个有效的途径。
目前通行的数据存储方法是将数据存在磁盘阵列上,然后用磁带或另一套磁盘阵列通过复杂的备份软件对存储的数据不断地实施备份。
这意味着所有的数据都将永久性地被置于高速转动的磁盘上。
为这些磁盘阵列提供驱动和冷却每年要耗费大量的电力。
这种趋势还在继续。
由于大量的存储数据随着时间的推移已经很少被用到,所以这样做很不经济。
光盘库对使用频度低的数据提供了理想的居所。
平常数据光盘处于静止状态,只有在用到时才通过光盘库的机械手自动加载到读取设备中。
与磁盘阵列的能耗相比,光盘库的耗电量极低,可以忽略不计。
最近日本总务省提出鼓励使用BD蓝光光盘与磁盘混合使用的方法,用以达到节能减排40%的目标。
欧美工业国家也把所谓绿色IT提高的很重要的位置。
数据长期安全存储的3-2-1策略
在社会信息化的发展进程中,人们一直在寻找对数据长期保存和防护的更好办法。
许多专家已经意识到传统的备份和复制方法并不能够提供有效的数据保护策略。
把需要长期保存的数据存在永远高速旋转的磁盘上并不断对它实施备份的做法只能增加不必要的复杂性、费用和风险。
为此,Gartner Group的存储资深副总裁Carolyn DiCenzo提出了一种所谓“3-2-
1”的数据存储策略。
3-2-1存储策略可以简单归纳为:“对于要长期存储的数据,至少要有3份拷贝,它们被存在两种不同的物理介质上,其中一份必须是可移动的,离线的永久拷贝”。
标准化的光盘,如目前的BD光盘和磁盘相结合,可以实现符合上述3-2-1策略的数据永久性安全存储。
NETZON系列光盘库产品的特点
(1)光驱的更换与升级
由于NETZON光盘库在设计特点采用未经改装的标准光驱,所以更换光驱的成本很低。
老的NETZON光盘库可以在需要时方便地升级成最新的系统。
(2)独特的机械手
简洁的设计和独特的驱动方式使得整个设备具有高可靠性和第生产成本,适合大规模推广使用。
(3)片匣
NETZON光盘库采用模块化设计。
所有大小光盘库都通用一种35片容量的可互换片匣。
这使得光盘库在扩容或离线保存方面有了很大的灵活性,从而减少了新添置设备的需求。
数据安全性高、离线和在线管理方便。
所有光盘可以保存在密封式的光盘匣里,便于离线和在线管理。
优良的TCO
总的说来,NETZON光盘库的最大特点是以其优越的TCO,最大程度地实现了对用户长期投资保护。
TCO(Total Cost of Ownership)--整体拥有成本,客观地描述了用户在一定时间内拥有一个产品或服务要付出的代价。
在日常生活中,人们往往注重于商品的采购成本,而忽略了拥有它要付出的额外代价。
汽车就是一个例子。
存储系统的TCO通常要考虑下列因素:
硬件采购价格
软件采购价格
硬件维护和升级成本
软件维护和升级成本
培训费用
室内空间需求
耗电量(电费)
系统管理开销
这里是一个有关耗电量的计算实例:EMC Centera磁盘阵列,每套耗电量4.8kWh,
双机每年电费(按每度电0.61元算):5万元,尚须外加空调冷却费5万元共10万元!
一台GMS3560光盘库的电费约:500元。
如果用它们保存同样的数据20年,费用的差别是1,990,000元。
光盘库是对数据生命周期管理(ILM)的长期投资
世界上现有的光盘库厂家,都能生产出性能优良的光盘库产品,其价格也都差不多。
作为用户,在采购光盘库产品之前,首先要了解这类产品的特点:光盘库应该是所有IT产品中使用寿命最长的设备,因为它存的信息都是要保存至少几十年的。
由于120mm光盘的工业标准,光盘库本身的基本机电结构是成熟的,不会改变。
由于光存储技术日新月异的发展,光盘库中的光驱将被不断更新。
更快,容量更大和更便宜的光驱不断被推向市场。
加之光驱本身的使用寿命有限,所以光盘库中的多个光驱都有被更换的可能。
可以说,光驱是光盘库中的“耗材”。
由于数据存储的飞速增长,一个好的存储设计方案必须考虑到几年以后的扩容问题。
另一方面,光存储本身在今后几年内将以每两年单片容量翻一倍的速度发展。
所以单位光盘库的容量和性能价格比会越来越好。
当系统存储容量的需求超出当前光盘库的存储容量时,可以考虑以下一种扩容方案:
逐步引入蓝光光盘,第一代的蓝光光盘单片容量为15到25GB,第二代50GB。
NETZON光盘库和Point支持蓝光光驱。
NETZON光盘库的特点是升级容易且成本低。
只需加入蓝光光驱即可.NETZON光盘库支持各种DVD混装运行。
所以可以用低成本平滑过渡到新媒介。
这样不仅可以保护投资,而且还能提高数据安全性。
另外,蓝光驱动器的存取速度也会有很到提高。
在数据使用频度低时,采用近线和离线综合管理也是一个好方法。
即当数据存满后,将一部分片匣抽出,加入新片匣。
抽出的片匣放入文件柜保存。
需要时再将相应片匣插入光盘库。
在一些情况下,如系统数据量大规模增加,也可考虑增加光盘库。
光盘库可以并行运行。
这种情况往往发生在信息系统本身发生结构大变化时。
与世界上其他光盘库产品相比较,NETZON光盘库可为客户提供更好的数据安全性和更经济的可扩容性。
并在设备长期拥有总成本(TCO)方面有着明显的优势。
NETZON光盘库的机械手
NETZON光盘库主要性能指标
存储技术比较
磁带库与光盘库的存储性能比较
磁带是传统的数据存储媒质,具有存储容量大的特点,目前广泛应用于数据备份。
但是随着对数据管理的即时性要求和数据安全性的要求,磁带已经不能再适应对海量信息数据的存储和管理。
磁带系统目前仍是合适的日常备份设备。
磁带系统不适合长期存储数据,因为:
•磁存储媒介易受电磁辐射而损怀;
•磁带上的数据信号会随时间推移变弱,需要定期检查和刷新;
•磁带会磨损,受潮发霉,寿命有限;
•磁带规格众多,互不兼容,如果老的磁带机坏了,磁带上的数据将无法读取。
•随着新一代蓝光DVD技术的成熟,磁带在价格和速度方面的优势正在迅速消失,被光存储取代只是时间的问题。
例子:VHS录像带/DVD。
光盘库与磁带库性能比较表
比较项目光盘库磁带库
单个介质存储容量 4.7∼50GB/片5∼200GB盘
设备存储容量可达TB级可达TB级
存储容量的扩展性成本低,易扩展不易扩展
数据查询速度较高低
存储设备的价格低高
存储介质的寿命50∼100年3∼8年
数据长期存储的安全
高低
性
介质的通用性和互换
好差
性
信息管理的复杂程度低高
设备故障造成数据损
低高
失
数据恢复所需时间短长
系统管理成本低高
存储介质成本较低低
磁盘与光盘库的存储性能比较
磁盘阵列非常适合于在线数据,即日常要调用和编辑的数据。
虽然硬盘在过去的几年里存储容量增加很快同时成本也降低了很多,但把所有数据都存硬盘上是不合理而且不现实的。
在使用硬盘时要考虑下列因素:
数据在线存储在硬盘上不等于存档,数据不符合法规遵从性;
硬盘总有一天会坏,不适合长期储存数据;
极少用到的数据也在硬盘上始终跟着高速旋转,使用效率很低;
硬盘需要定时备份;
硬盘上的数据是磁存储,易受干扰,易损坏;
磁盘阵列上的数据一旦损坏,需要很长的时间从磁带上恢复;
购置费用:磁盘阵列容量的冗余,存储系统软硬件,备份设备,机房,
管理费用:Gartner的报告指出:硬盘系统每年的管理费用是初始购置费用的5倍;
高耗电。
Google公司最新发表的,在大数据量应用环境下的统计研究表明,磁盘阵列中的硬盘损坏率是相当高的:如6块硬盘同时工作两年的存活率为54%,3年存活率30%。
12块硬盘5年的存活率只有1%!这势必影响到数据安全和运营维护成本。
另一个不可忽视的成本因素是耗电量,一套磁盘阵列柜每年要消耗10多万元电费,而光盘库每年的电费只有几百元。
光盘库的市场前景
根据IDC最新的市场分析报告,全国世界2006年的数据存储量为161Exabyte(1个Exabyte等于10亿GB)。
平均到全世界每人为24GB。
这其中图像和视频数据占了很大比例:2006年数码相机产生了1500亿张照片。
IDC预测到2010年将在产生5000亿照片。
该机构预测,数字信息量将每年增长57%,到2010年翻6倍,达到988Exabyte。
虽然这其中70%的数据由个人产生,企业、政府和各类协会将对总体85%的数据的安全
性,私密性,可靠性和法规遵从性负责。
由此正产生着巨大的专业存储需求。
这种爆炸性的增长,外电将之称为数据海啸,它将对现有计算机系统结构产生巨大的革新压力并推动其向以信息为中心的体系结构发展。
在过去的20多年中,磁盘和磁带在技术上一直高速发展。
特别是磁盘,容量在不断增大,价格也在降低。
这使得人们可以用较低的成本来搭建具有一定容错功能的磁盘阵列(RAID)。
在专业存储中,以磁盘阵列为主体,磁带做备份的存储结构是通用的做法,占主导地位。
尽管上面列举了光盘作为存储媒介的种种优点,光存储在专业应用中一直处于边缘地位,还没有得到推广。
这主要可以归结到下列几类原因:
DVD光盘的存储容量没有磁盘发展快。
一方面是由于光盘的纪录格式是先做标准然后产业化,初期发展的时间较长;另一方面由于市场前景巨大,各国际财团为了自身利益在标准上无法统一,因此产生了DVD-R,DVD+R,DVD-RAM等多种格式。
蓝光BD光盘今年开始走向市场,使得单片光盘的存储容量增加了5到10倍。
在此之前,市场基本处于等待状态。
数据存储发展的初期是以存为主,尚较少考虑数据的长期安全性。
国外的归档数据大多存放在MO(磁光盘)上,MO在我国没有普及,因此大量归挡的重要数据存在普通磁盘上。
这不符合法规遵从性,也极不安全。
国际(美国)大公司在磁带备份方面投资巨大,无法一下子转向光盘。
事实上,这是一个历史性的发展机会。
首先,由于光盘库市场前几年一直不好,各光盘库厂家的日子都很难过,在苦苦支撑中无法投入更多的人力物力研发新产品。
由于产品销售量不大,所以也无法量产,因此光盘库的价格也较高,影响竞争力。
相比之下,NETZON光盘库在行业布点和产品国产化方面走在了前面,在前几年的弱势市场中,赢得了时间,增强了相对竞争力。
更重要的是,光盘存储市场在今后几年必将开始飞速发展,这种情况好象前几年Flash存储器的发展,一旦开始启动,必呈燎原之势。
推动光盘存储大发展的重要因素有下列几方面:
蓝光技术本身的成熟:蓝光光盘从今年起走向市场普及,BD每盘容量为25到50GB。
来自消费电子的推动:高清电视和高清节目源将推动娱乐电子设备大量上篮光设备,从而加快蓝光盘片和读写设备的产业化,使其价格迅速降低。
来自专业存储市场的推动:随着我国的信息管理水平与国际逐渐接轨,由法规遵
从性和数据长期安全存储所产生的光存储需求将会急剧增长。
根据IDC的统计分析,在当今的整体数据中,有20%与法规遵从性规则和标准有关,并有约30%涉及到数据安全。
来自国际市场的推动:随着蓝光技术的成熟和MO产品的停产,必然有更多的公司开始使用光盘来存储数据。
磁带市场从去年起已经开始明显下滑,巨大的磁盘数据需要备份。
虽然有一部分备份任务由磁盘来接替,但无法满足日益增长的存储需求。
蓝光和正在研究的全息光盘将非常适用于数据备份。
1)竞争对手
世界上的光盘库厂商不多,在国内市场能见到的主要有Plasmon(英美),产品通过柯达公司代理;Disc(德国),产品通过香港公司代理;JVC(日本),产品通过一些公司代理;NETZON产品通过分销到各行业代理。
通过数年的艰苦努力,NETZON系列产品在光盘库行业具有较强的竞争力。
优势在于:1)采用未加改装的光驱:2)国产化率高:3)整体解决方案好。
2006年中国建设银行总行通过招标和竞争性软件解决方案开发,全面评估了这四家的竞标产品,NETZON GMS3560和相应软件最终被独家选中,负责提供一期120台双层DVD光盘库,用于建设银行全国38家省级分行的会计稽核系统,目前已上线运行近两年,总体情况良好,总数据量已达PB级(1PB=1000TB)。
外电对此有所报道。
目前NETZON光盘库在中国的市场份额第一,增长势头很好。
2)市场预测
据IDC预测,存储市场今后几年会要持续的高增长。
其中电子邮件的归档将由2006年的4.71亿美元增长到2010年的10亿美元;数据生命周期管理(ILM)软件到2010年将翻一番至17亿美元;有关法规遵从性的软硬件及服务到2010年将番至214亿美元。
有关信息安全的软件将从2006年的每年400亿增长到2010年的每年650亿美元。
保守的估计,专业光存储产品未来三年将会形成一个数十亿人民币的国内市场和数十亿美元的国际市场。
全球数字化的程度和发展是不均衡的。
新崛起的经济区,即不包括日本的亚太地区和不包括北美和西欧的全世界其它地区目前占有总数据量的10%,但其增长速度比发达经济区快30%到40%。