大数据导论第4章 大数据存储与管理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图4-2 固态硬盘
读/写原理：与普通磁盘的数据读/写原理不同，固态硬盘的 读取直接由控制单元读取存储单元，不存在机械运动，因此读取 速度非常快。相对机械硬盘，固态硬盘的读取速度提高了两倍多。 由于固态硬盘属于无机械部件及闪存芯片，所以具有发热量小、 散热快等特点，而且没有机械马达和风扇，工作噪声值为0分贝。
稳定性：固态硬盘使用闪存颗粒（即内存、MP3、U盘等存储 介质）制作而成，所以内部不存在任何机械部件，这样即使在高 速移动甚至伴随翻转倾斜的情况下，也不会影响正常使用。而且 在发生碰撞和震荡时，能够将数据丢失的可能性降到最小。相较 机械硬盘，固态硬盘更可靠。
优缺点：固态硬盘的优点是读取和写入速度快，缺点是价格 较高，有写入次数的限制，读/写有一定的寿命限制。
数据中国“百校工程”项目系列教材 数据科学与大数据技术专业系列规划教材
大数据导论
第4章 大数据存储与管理
本章主要内容如下。 （1）数据的存储模式。 （2）大数据时代的存储管理系统。
4.1 数据存储概述
4.1.1 数据的存储介质
存储介质是数据存储的载体，是数据存储的基础。存储介质 并不是越贵越好、越先进越好，我们要根据不同的应用环境，合 理选择存储介质。早期的存储介质有纸带、卡片、磁带等，目前 常见的数据存储介质有机械硬盘、固态硬盘、可记录光盘、U盘、 闪存卡等。
图4-6 数据的存储模式
1．DAS DAS 将存储设备通过 SCSI 接口直接连接到一台服务器上使 用，如图 4-7所示。 DAS是通过小型计算机系统接口（Small Computer System Interface，SCSI），在计算机与外部设备之间进行连接。
图4-7 DAS（1）
DAS依赖主机的操作系统来实现数据的读/写、管理、备份等 工作，如图4-8所示。
图4-8 DAS（2）
（1）DAS的优点
配置简单：DAS购置成本低，配置简单，仅仅是一个外接的 SCSI接口。
使用简单：使用方法与使用本机硬盘并无太大差别。
使用广泛：在中小型企业中，应用十分广泛。
（2）DAS的缺点
扩展性差：在新的应用需求出现时，需要为新增的服务器单 独配置新的存储设备。
资源利用率低：不同的应用服务器存储的数据量随着业务发 展出现不同，有部分应用存储空间不够，而另一些却有大量的存 储空间。
稳定性：机械硬盘都是磁碟型的，数据存储在磁碟扇区里，所 以机械硬盘不能摔，通电不能移动，否则易损坏。
优缺点：优点在于便宜，性价比高，可以用较少的花费获得较 大容量，使用寿命长；缺点是相对固态硬盘来说，读/写速度较慢； 防震性也没有固态硬盘好。
2．固态硬盘 组成：固态硬盘（Solid State Drive，SSD）是用固态电子 存储芯片阵列制成的硬盘，由控制单元和存储单元（Flash芯片、 DRAM芯片）组成，如图4-2所示。
4．U盘
U盘是一种Flash存储设备，是用Flash芯片（Flash RAM，电 可擦写存储器）作为存储介质制作的移动存储器，如图4-4所示。 U盘采用通用串行总线（Universal Serial Bus，USB）接口，可 反复擦写的性能大大加强了数据的安全性。U盘使用极为方便，无 须外接电源，支持即插即用和热插拔，只要用户计算机的主板上 有USB接口，就可以使用。由U盘发展起来的MP3、MP4播放机也可 当数据存储设备使用。
3．可记录光盘 常使用的可记录光盘分为CD-R、CD-RW、DVD±R/RW多种格式， 如图4-3所示。
图4-3 可记录光盘
（1）CD-R是一次刻录、可多次读取的光盘，标准容量为650MB， 现在常用的刻录容量为720MB。
（2）CD-RW是可以多次刻录、反复擦写的光盘，容量为650MB。
（3）目前主流的DVD刻录盘有两种—DVD-R/RW和DVD+R/RW。
图4-4 U盘
5．闪存卡 闪存卡一般用于数码类的产品中，如用于手机、数码照相机、 数码摄像机、数码录音笔等。常用类型有SD卡、MiniSD卡、MicroSD （TF）卡、CF卡、记忆棒等，如图4-5所示。
图4-5 闪存卡
6．数据存储介质的选择原则
数据存储介质的选择主要考虑如下原则。
（1）耐久性
耐久性能高的存储介质不容易损坏，降低了数据损失的风险。 因而存储数据应选用对环境要求低、不容易损伤、耐久性能高的 介质。
（2）容量恰当 介质的高容量不仅有利于存储空间的减少，还便于管理，但
会使存储的成本增加。对大容量数据，如果存储介质容量低，将 不利于存储数据的完整。介质的存储容量最好与所管理的数据量 大小相匹配。 （3）低费用
介质的价格低，可以减少存储管理与系统运行ห้องสมุดไป่ตู้费用。 （4）广泛的可接受性
为减少IT业界对存储介质不支持的风险，我们应当选用具有 广泛可使用性的存储介质，特别应注意选用能满足工业标准的存 储介质。
4.1.2 数据的存储模式
目前，数据有3种常见的存储模式（见图4-6），它们被广泛应 用于企业存储设备中：附加直接模式（Direct-Attached Storage， DAS）；附加网络模式（Network-Attached Storage，NAS）；存储 区域网络模式（Storage Area Network，SAN）。
可管理性差：数据分散在应用服务器各自的存储设备上，不 便于集中管理、分析和使用。
异构化严重：企业在发展过程中采购不同厂商、不同型号的 存储设备，设备之间的异构化严重，使维护成本很高。
1．机械硬盘 组成：机械硬盘即传统普通硬盘，主要由盘片、磁头、磁头 停泊区、磁头臂等组成，如图4-1所示。
图4-1 机械硬盘
读/写原理：机械硬盘的磁头可沿盘片的半径方向运动，加上盘 片每分钟几千转的高速旋转，磁头就可以定位在盘片的指定位置进 行数据的读/写操作。机械硬盘中所有的盘片都装在一个旋转轴上。 每张盘片之间是平行的，在每个盘片的存储面上有一个磁头，磁头 与盘片之间的距离比头发丝的直径还小，所有的磁头连在一个磁头 控制器上，磁头控制器负责各个磁头的运动。另外，机械硬盘在读 取的时候，各个部件在做机械运动，所以会产生一定的热量和噪声。
读/写原理：与普通磁盘的数据读/写原理不同，固态硬盘的 读取直接由控制单元读取存储单元，不存在机械运动，因此读取 速度非常快。相对机械硬盘，固态硬盘的读取速度提高了两倍多。 由于固态硬盘属于无机械部件及闪存芯片，所以具有发热量小、 散热快等特点，而且没有机械马达和风扇，工作噪声值为0分贝。
稳定性：固态硬盘使用闪存颗粒（即内存、MP3、U盘等存储 介质）制作而成，所以内部不存在任何机械部件，这样即使在高 速移动甚至伴随翻转倾斜的情况下，也不会影响正常使用。而且 在发生碰撞和震荡时，能够将数据丢失的可能性降到最小。相较 机械硬盘，固态硬盘更可靠。
优缺点：固态硬盘的优点是读取和写入速度快，缺点是价格 较高，有写入次数的限制，读/写有一定的寿命限制。
数据中国“百校工程”项目系列教材 数据科学与大数据技术专业系列规划教材
大数据导论
第4章 大数据存储与管理
本章主要内容如下。 （1）数据的存储模式。 （2）大数据时代的存储管理系统。
4.1 数据存储概述
4.1.1 数据的存储介质
存储介质是数据存储的载体，是数据存储的基础。存储介质 并不是越贵越好、越先进越好，我们要根据不同的应用环境，合 理选择存储介质。早期的存储介质有纸带、卡片、磁带等，目前 常见的数据存储介质有机械硬盘、固态硬盘、可记录光盘、U盘、 闪存卡等。
图4-6 数据的存储模式
1．DAS DAS 将存储设备通过 SCSI 接口直接连接到一台服务器上使 用，如图 4-7所示。 DAS是通过小型计算机系统接口（Small Computer System Interface，SCSI），在计算机与外部设备之间进行连接。
图4-7 DAS（1）
DAS依赖主机的操作系统来实现数据的读/写、管理、备份等 工作，如图4-8所示。
图4-8 DAS（2）
（1）DAS的优点
配置简单：DAS购置成本低，配置简单，仅仅是一个外接的 SCSI接口。
使用简单：使用方法与使用本机硬盘并无太大差别。
使用广泛：在中小型企业中，应用十分广泛。
（2）DAS的缺点
扩展性差：在新的应用需求出现时，需要为新增的服务器单 独配置新的存储设备。
资源利用率低：不同的应用服务器存储的数据量随着业务发 展出现不同，有部分应用存储空间不够，而另一些却有大量的存 储空间。
稳定性：机械硬盘都是磁碟型的，数据存储在磁碟扇区里，所 以机械硬盘不能摔，通电不能移动，否则易损坏。
优缺点：优点在于便宜，性价比高，可以用较少的花费获得较 大容量，使用寿命长；缺点是相对固态硬盘来说，读/写速度较慢； 防震性也没有固态硬盘好。
2．固态硬盘 组成：固态硬盘（Solid State Drive，SSD）是用固态电子 存储芯片阵列制成的硬盘，由控制单元和存储单元（Flash芯片、 DRAM芯片）组成，如图4-2所示。
4．U盘
U盘是一种Flash存储设备，是用Flash芯片（Flash RAM，电 可擦写存储器）作为存储介质制作的移动存储器，如图4-4所示。 U盘采用通用串行总线（Universal Serial Bus，USB）接口，可 反复擦写的性能大大加强了数据的安全性。U盘使用极为方便，无 须外接电源，支持即插即用和热插拔，只要用户计算机的主板上 有USB接口，就可以使用。由U盘发展起来的MP3、MP4播放机也可 当数据存储设备使用。
3．可记录光盘 常使用的可记录光盘分为CD-R、CD-RW、DVD±R/RW多种格式， 如图4-3所示。
图4-3 可记录光盘
（1）CD-R是一次刻录、可多次读取的光盘，标准容量为650MB， 现在常用的刻录容量为720MB。
（2）CD-RW是可以多次刻录、反复擦写的光盘，容量为650MB。
（3）目前主流的DVD刻录盘有两种—DVD-R/RW和DVD+R/RW。
图4-4 U盘
5．闪存卡 闪存卡一般用于数码类的产品中，如用于手机、数码照相机、 数码摄像机、数码录音笔等。常用类型有SD卡、MiniSD卡、MicroSD （TF）卡、CF卡、记忆棒等，如图4-5所示。
图4-5 闪存卡
6．数据存储介质的选择原则
数据存储介质的选择主要考虑如下原则。
（1）耐久性
耐久性能高的存储介质不容易损坏，降低了数据损失的风险。 因而存储数据应选用对环境要求低、不容易损伤、耐久性能高的 介质。
（2）容量恰当 介质的高容量不仅有利于存储空间的减少，还便于管理，但
会使存储的成本增加。对大容量数据，如果存储介质容量低，将 不利于存储数据的完整。介质的存储容量最好与所管理的数据量 大小相匹配。 （3）低费用
介质的价格低，可以减少存储管理与系统运行ห้องสมุดไป่ตู้费用。 （4）广泛的可接受性
为减少IT业界对存储介质不支持的风险，我们应当选用具有 广泛可使用性的存储介质，特别应注意选用能满足工业标准的存 储介质。
4.1.2 数据的存储模式
目前，数据有3种常见的存储模式（见图4-6），它们被广泛应 用于企业存储设备中：附加直接模式（Direct-Attached Storage， DAS）；附加网络模式（Network-Attached Storage，NAS）；存储 区域网络模式（Storage Area Network，SAN）。
可管理性差：数据分散在应用服务器各自的存储设备上，不 便于集中管理、分析和使用。
异构化严重：企业在发展过程中采购不同厂商、不同型号的 存储设备，设备之间的异构化严重，使维护成本很高。
1．机械硬盘 组成：机械硬盘即传统普通硬盘，主要由盘片、磁头、磁头 停泊区、磁头臂等组成，如图4-1所示。
图4-1 机械硬盘
读/写原理：机械硬盘的磁头可沿盘片的半径方向运动，加上盘 片每分钟几千转的高速旋转，磁头就可以定位在盘片的指定位置进 行数据的读/写操作。机械硬盘中所有的盘片都装在一个旋转轴上。 每张盘片之间是平行的，在每个盘片的存储面上有一个磁头，磁头 与盘片之间的距离比头发丝的直径还小，所有的磁头连在一个磁头 控制器上，磁头控制器负责各个磁头的运动。另外，机械硬盘在读 取的时候，各个部件在做机械运动，所以会产生一定的热量和噪声。