云存储概述

逻辑卷 LUN1
物理卷
逻辑卷 LUN2 LUN3
物理卷
单个物理卷上创建1个逻辑卷
单个物理卷上创建多个逻辑卷
RAID、逻辑卷的形成过程
LUN1
LUN2
LUN3
分割
逻辑卷
RAID
Page 45
物理磁盘
试验
Linux扩展硬盘 物理卷（PV） 卷组(VG) 逻辑卷 (LV)
https:///p/c32e6d6802fb
非结构化数据：
杂乱无章的数据,很难按照一个概念去进行抽取,无规律性。包括视频、 音频、图片、图像、文档、文本等形式
数据的三种分类
数据结构
结构化数据 非结构化数据 半结构化数据
I/O 调用模式
应用系统 操作系统 文件管理系统 RAID控制
磁盘读写
大数据特征
Value
Volume，数据体量巨大。 Variety，数据类型繁多。 Veracity,数据真实性。 Velocity，处理速度快。
优点：服务器共享存储系统，降低异构化，成本 降低，数据集中便于维护，提高存储资源利用率。
NAS（NETWORK ATTACH STORAGE）
是一种文件共享服务。拥有自己的文件 系统，通过NFS或CIFS对外提供文件访 问服务。 NAS 包括存储器件（例如硬盘驱动器阵 列、CD或DVD驱动器、磁带驱动器或 可移动的存储介质）和专用服务器。 专用服务器利用NFS或CIFS，充当远程 文件服务器，对外提供文件级的访问。
云存储的源起
大数据挑战
数据单位 Yotta 10 **24 septillion Zetta 10 ** 21 sextillion Exa 10 ** 18 quintillion Peta 10 ** 15 quadrillion Tera 10 ** 12 trillion Giga 10 ** 9 billon Mega 10 ** 6 million Kilo 10 ** 3
t ime- to- value 受限 • 成本过高，
cost- e f f i c iency 受限
85%
半/非结构化的
Log / Web page / Email
/
PDF / Image / Full-text /
MS-Office file
21
传统存储：纵向扩展
Slower………………………………………T…R…A…IN……S…TO…P…S. !!!!!!!!!!!!
统一存储
是一个可以支持基于文件的网络附加存储 （NAS）以及基于数据块的SAN的网络化的存 储架构。由于其支持不同的存储协议为主机系 统提供数据存储，因此也被称为多协议存储。 块访问通过使用类似光通道、SAS、或者以太 网承载的 iSCSI 等接口来实现。基于文件的访 问是通过以太网上的 CIFS 或者 NFS 来访问存 储系统上的文件系统。
RAID1/RAID5/RAID6/…
… 驱动器1
驱动器n
…
热备盘
预拷贝
预拷贝：系统通过监控发现RAID组中某成员盘即 将故障时，将即将故障成员盘中的数据提前拷贝 到热备盘中，有效降低数据丢失风险。
RAID1/RAID5/RAID6/…
驱动器1
驱动器2
热备盘
重构
重构：RAID阵列中发生故障的磁盘上的所有用 户数据和校验数据的重新生成，并将这些数据 写到热备盘上的过程。
BIG DATA 带来的挑战
可视：结构化资料 15% DB/DW
未视：半/ 非结构化数据 85%
主管们看的 战 情数位仪表板 ，其实是残缺的
…
18
大数据正在改变企业存储
大数据 来源
90
80
70
60
50
40
30
20
10
0
2009 2010 2011 2012 2013 2014
基于文件: 60.7% CAGR
基于网络的存储
新型存储体系结构
将网络引入存储系统，改变主机与外部存储节点间的连接 模式，产生了若干新型存储体系结构：
• 直接联网存储DAS（ Direct Attached Storage ） • 网络附加存储NAS（Network Attached Storage ） • 存储区域网SAN(Storage Area Network )。 存储系统必须要从少数的存储引擎向连在网络上的成千上
60秒的数据
文件文，件非，非结结构构化化数数据据…. …“. 大数“据大”数据”
Computer Modeling
Seismic Exploration
Music / Audio
PDFs
Medical Imaging
Genetic Sequencing
Video & Graphics
Satellite Photos
JBOD
JBOD (Just a Bunch Of Disks") is an architecture using multiple hard drives, but not in a RAID configuration, thus providing neither redundancy nor performance improvements
单一文件系
性 能
统 单一系 统管理 灵 活双向扩展
海量数据存储
容量
在过去的十多年中集群网络的重要进展之一是可 以将成千上万的节点连起来，同时保证高可扩展 性和相对较低的通讯开销。
传统存储技术
存储技术的发展
! L . 17 .05
早期存储设备：纸带
!
CO.\)" : l _ fJ t . .\ /
万的商用化存储设备进行转变。
三种典型的存储系统
直连存储DAS
附网存储NAS
存储区域网SAN
直连存储
• DAS是指将外置存储设备通过连接 电缆，直接连接到一台计算机上
• 外部数据存储设备采用SCSI技术， 或者FC技术，直接挂接在内部总线 上的方式，数据存储是整个服务 器 结构的一部分，在这种情况下 往往 是数据和操作系统都未分离
RAID 3
RAID 4
RAID 5
RAID 5
RAID 10
常用RAID级别的比较
RAID的应用场景
热备盘
热备（Hot Spare）：当冗余的RAID阵列中某个磁盘失效时，在不干扰当前RAID系统正常使用的情况 下，用RAID系统中另外一个正常的备用磁盘顶替失效磁盘。 热备通过配置热备盘实现，热备盘分为全局热备盘和局部热备盘。 热备盘要求和RAID组成员盘的容量，接口类型，速率一致，最好是采用同一厂家的同型号硬盘。
练习题
多选题 １、以下阵列类型中，具有冗余功能的有（ ）
A. RAID0 B. RAID1 C. RAID5 D. RAID10
判断题 １、在RAID10中，任意两块磁盘出故障都不影响读取数据。(T or F)
思考 题 1. RAID5和RAID1的应用场景有区别吗？有哪些？ 2. 在客户更关注可靠性和性能的情况下，给客户推荐合适的RAID方案有哪些？ 3. RAID与LUN的关系是什么？
集群存储：横向扩展
aster
F …………………………………………T…R…A…IN……KE…E…PS GOING!!
.
垂直扩展与横向存储
峰值
峰值
存储设备性能高
性
能
峰值
存储设备性能中高
峰值
存储设备性能中
存储设备性能低
容量
痛苦的系统 迁移 复杂的 系统管理 重 复的系统投资
垂直存储与横向存储
性能扩展
适合快速增长
无需配置或以自服务方式配置。
云存储与云计算的关系
云存储是云计算的一个子集 云存储是一个以数据存储和管理为核心的（特别的）
云计算系统 （通用）云计算系统可以认为是以数据处理、数据运
算为中心的系统 （通用）云计算系统不但能对数据进行处理和运算，
系统中还有大量的存储阵列设备，以实现对计算数据 的保存和管理。在云计算系统中配置相应的存储设 备 ，该计算系统即拥有了云存储系统功能。
存储角色的演变
数据的增涨导致了以“计算”为中心到以“数据 存储”为中心的的观念革新。
存储领域的两个重要转折点：
• 并行存储：比如磁盘阵列技术（RAID）。 • 网络存储：NAS,SAN
RAID的基本概念
RAID 0
RAID 0
RAID 1
RAID 1
RAID 2
RAID 3
• 1980年，索尼公司推出了3.5英寸的磁盘， 容量不足 1MB
• 到90年代初时到现在，3.5英寸、1 .44MB的 软盘一直 用于PC的标准的数据传输方式。
存储设备: 磁盘驱动器
磁盘是一种机电混合设备。 在过 去的十多年中，磁盘的区域密度、 轨密度和线密度分别获得了100%,
50% 和 30% 的增长。
基于块: 21.8% CAGR
到2012年, 80高性价比的数据计算与储存方式
数据库
数据仓库
10万 GB
计算更快 存储更省
10万 TB
20
不同的数据管理策略
15% 结构化的 DB/DW
想要扩充时，才发觉： • 架构只能 scale- up
，scale- out 不易 • 处理时间过长，
数据的估量
1B = 一个字符或一粒沙子 1KB = 一个句子或几撮沙子 1MB = 一个20页的PPT/一本小书或者一大汤勺沙子 1GB = 书架上9米长的书或者一鞋盒子沙子 1TB = 300小时优质视频、美国国会图书馆存储容量的1/10或者 一个操场的沙箱 1PB = 35万张数字照片或者一片1.6公里长的沙滩 1EB = 1999年全世界生成的信息的一半或者上海到香港之间的 沙滩 1ZB = 无法想象，或许全世界的沙滩总和
云存储与传统存储的不同
功能需求
云存储系统面向多种类型的网络在线存储服务 传统存储系统则面向如高性能计算、事务处理等应用
性能需求
SAN（STORAGE AERA NETWORK ）
存储区域网络，是一种通过网络方式连接存储设
备和应用服务器的存储构架，这个网络专用于主机 和存储设备之间的访问。当有数据的存取需求时， 数据可以通过存储区域网络在服务器和后台存储设 备之间高速传输。
SAN中，存储设备通过专用交换机到一群计算机 上。在该网络中提供了多主机连接，允许任何服 务器连接到任何存储阵列，让多主机访问存储器 和主机间互相访问一样方便，这样不管数据置放 在那里，服务器都可直接存取所需的数据。
lL of>l . . s . { )
早期存储设备：磁鼓
IBM 650计算机上的16英寸长磁鼓，有40个磁道， 容量10KB，每分钟12,500转
早期存储设备：软盘
• 第一只软式软盘是由IBM于1971年开发出 的，直径8吋
• 第一个5 .25英寸的软驱，是1976年的时候 由Shugart Associates公司为IBM的大型机 研发的。后来才用在 IBM早期的PC中。
数据的三种分类
结构化数据：
数据结构字段含义确定,清晰,典型的如数据库中的表结构.可以用二维表 结构来逻辑表达实现的数据
半结构化数据：
是介于完全结构化数据（如关系型数据库、面向对象数据库中的数据） 和完全无结构的数据（如声音、图像文件等）之间的数据，具有一定结 构,但语义不够确定，HTML文档就属于半结构化数据。它一般是自描述 的，数据的结构和内容混在一起，没有明显的区分。
D0,D1,D2,D3,D4,D5
驱动器1
D4
D2 D0
驱动器2
D5 D3 D1
校验驱动器
P3 P2 P1
热备盘驱动器
D4 D2 D0
RAID与LUN
RAID由几个硬盘组成 ，从整体上看相当于由多个硬盘组成的一个大的物理卷。 在物理卷的基础上可以按照指定容量创建一个或多个逻辑单元，这些逻辑单元称作LUN,可以 做为映射给主机的基本块设备。
几 种 存 储
方 法 的 对
比
几种存储方法的对比
试验
linux软RAID配置、测试、删除
分组讨论
用自己的话来描述三 种存储模式
最大的差别 最主要的应用场景
云存储的定义
云存储服务：
按照指定的具有可扩展性的服务水平，通过网络将虚拟的存储和数
据服务以按需使用、按量计费的方式提供的服务交付方式。该交付方式
逻辑卷 LUN1
逻辑卷 LUN2 LUN3
物理卷
物理卷
单个物理卷上创建1个逻辑卷
单个物理卷上创建多个逻辑卷
RAID、逻辑卷的形成过程
LUN1
LUN2
LUN3
分割
逻辑卷
RAID
Page 43
物理磁盘
RAID与LUN
RAID由几个硬盘组成 ，从整体上看相当于由多个硬盘组成的一个大的物理卷。 在物理卷的基础上可以按照指定容量创建一个或多个逻辑单元，这些逻辑单元称作LUN,可以做为 映射给主机的基本块设备。