大数据 第4章 大数据存储与管理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
图4-4 U盘
5.闪存卡 闪存卡一般用于数码类的产品中,如用于手机、数码照相机、 数码摄像机、数码录音笔等。常用类型有SD卡、MiniSD卡、MicroSD (TF)卡、CF卡、记忆棒等,如图4-5所示。
图4-5 闪存卡
6.数据存储介质的选择原则 数据存储介质的选择主要考虑如下原则。 (1)耐久性 耐久性能高的存储介质不容易损坏,降低了数据损失的风险。 因而存储数据应选用对环境要求低、不容易损伤、耐久性能高的 介质。
图4-2 固态硬盘
读/写原理:与普通磁盘的数据读/写原理不同,固态硬盘的读取直 接由控制单元读取存储单元,不存在机械运动,因此读取速度非常快。 相对机械硬盘,固态硬盘的读取速度提高了两倍多。由于固态硬盘属于 无机械部件及闪存芯片,所以具有发热量小、散热快等特点,而且没有 机械马达和风扇,工作噪声值为0分贝。 稳定性:固态硬盘使用闪存颗粒(即内存、MP3、U盘等存储介质) 制作而成,所以内部不存在任何机械部件,这样即使在高速移动甚至伴 随翻转倾斜的情况下,也不会影响正常使用。而且在发生碰撞和震荡时, 能够将数据丢失的可能性降到最小。相较机械硬盘,固态硬盘更可靠。 优缺点:固态硬盘的优点是读取和写入速度快,缺点是价格较高, 有写入次数的限制,读/写有一定的寿命限制。
大数据导论
第4章 大数据存储与管理
本章主要内容如下。 (1)数据的存储模式。 (2)大数据时代的存储管理系统。
4.1 数据存储概述
4.1.1 数据的存储介质
存储介质是数据存储的载体,是数据存储的基础。存储介质 并不是越贵越好、越先进越好,我们要根据不同的应用环境,合 理选择存储介质。早期的存储介质有纸带、卡片、磁带等,目前 常见的数据存储介质有机械硬盘、固态硬盘、可记录光盘、U盘、 闪存卡等。 1.机械硬盘 组成:机械硬盘即传统普通硬盘,主要由盘片、磁头、磁头 停泊区、磁头臂等组成,如图4-1所示。
(2)容量恰当 介质的高容量不仅有利于存储空间的减少,还便于管理,但会使存 储的成本增加。对大容量数据,如果存储介质容量低,将不利于存储数 据的完整。介质的存储容量最好与所管理的数据量大小相匹配。 (3)低费用 介质的价格低,可以减少存储管理与系统运行的费用。 (4)广泛的可接受性 为减少IT业界对存储介质不支持的风险,我们应当选用具有广泛可 使用性的存储介质,特别应注意选用能满足工业标准的存储介质。
稳定性:机械硬盘都是磁碟型的,数据存储在磁碟扇区里,所 以机械硬盘不能摔,通电不能移动,否则易损坏。 优缺点:优点在于便宜,性价比高,可以用较少的花费获得较 大容量,使用寿命长;缺点是相对固态硬盘来说,读/写速度较慢; 防震性也没有固态硬盘好。
2.固态硬盘 组成:固态硬盘(Solid State Drive,SSD)是用固态电子 存储芯片阵列制成的硬盘,由控制单元和存储单元(Flash芯片、 DRAM芯片)组成,如图4-2所示。
异构化严重:企业在发展过程中采购不同厂商、不同型号的 存储设备,设备之间的异构化严重,使维护成本很高。 I/O瓶颈:SCSI接口处理能力会成为数据读/写的瓶颈。
图4-8 DAS(2)
(1)DAS的优点 配置简单:DAS购置成本低,配置简单,仅仅是一个外接的 SCSI接口。 使用简单:使用方法与使用本机硬盘并无太大差别。 使用广泛:在中小型企业中,应用十分广泛。
(2)DAS的缺点 扩展性差:在新的应用需求出现时,需要为新增的服务器单 独配置新的存储设备。 资源利用率低:不同的应用服务器存储的数据量随着业务发 展出现不同,有部分应用存储空间不够,而另一些却有大量的存 储空间。 可管理性差:数据分散在应用服务器各自的存储设备上,不 便于集中管理、分析和使用。
4 .U盘 U盘是一种Flash存储设备,是用Flash芯片(Flash RAM,电 可擦写存储器)作为存储介质制作的移动存储器,如图4-4所示。 U盘采用通用串行总线(Universal Serial Bus,USB)接口,可 反复擦写的性能大大加强了数据的安全性。U盘使用极为方便,无 须外接电源,支持即插即用和热插拔,只要用户计算机的主板上 有USB接口,就可以使用。由U盘发展起来的MP3、MP4播放机也可 当数据存储设备使用。
3.可记录光盘 常使用的可记录光盘分为CD-R、CD-RW、DVD±R/RW多种格式, 如图4-3所示。
图4-3 可记录光盘
(1)CD-R是一次刻录、可多次读取的光盘,标准容量为650MB, 现在常用的刻录容量为720MB。 (2)CD-RW是可以多次刻录、反复擦写的光盘,容量为650MB。 (3)目前主流的DVD刻录盘有两种—DVD-R/RW和DVD+R/RW。
图4-6 数据的存储模式
1.DAS DAS 将存储设备通过 SCSI 接口直接连接到一台服务器上使 用,如图 4-7所示。 DAS是通过小型计算机系统接口(Small Computer System Interface,SCSI),在计算机与外部设备之间进行连接。
图4-7 DAS(1)
DAS依赖主机的操作系统来实现数据的读/写、管理、备份等 工作,如图4-8所示。
4.百度文库.2
数据的存储模式
目前,数据有3种常见的存储模式(见图4-6),它们被广泛应 用于企业存储设备中:附加直接模式(Direct-Attached Storage, DAS);附加网络模式(Network-Attached Storage,NAS);存储 区域网络模式(Storage Area Network,SAN)。
图4-1 机械硬盘
读/写原理:机械硬盘的磁头可沿盘片的半径方向运动,加上盘 片每分钟几千转的高速旋转,磁头就可以定位在盘片的指定位置进 行数据的读/写操作。机械硬盘中所有的盘片都装在一个旋转轴上。 每张盘片之间是平行的,在每个盘片的存储面上有一个磁头,磁头 与盘片之间的距离比头发丝的直径还小,所有的磁头连在一个磁头 控制器上,磁头控制器负责各个磁头的运动。另外,机械硬盘在读 取的时候,各个部件在做机械运动,所以会产生一定的热量和噪声。