第6章1 云存储

Storage Pod
Storage Pod
构建存储云的关键技术
去除多余的数据
数据压缩 重复数据删除
压缩
通过减少处理的数据量来提高吞吐量，缩短响应时间。 改进联机存储优化，显著降低成本。 透明地压缩主 存储空间，最高可达 80%。
去重
消除冗余数据，提高敏捷性，增强面对瞬息万变市场 情况的反应能力。 改善备份和恢复性能，保持每秒 1,000MB（或更高）的内联式去重速度。
作为服务的存储
Storage as a Service
第三方提供商把它们的存储空间租给缺少用于自行购买存期
的预算或资本预算的最终用户 用户不必为基础设施付费 用户为在服务提供商的服务器上传输和保存的数据量付费 节省成本 用户使用客户软件指定备份集，然后跨WAN传输数据 提供商可以把数据复制到DVD上，然后交给客户
在具有安全性保护的措施下，数据仍有收到攻击的困扰
黑客找到进入安全系统的方式并访问数据 员工使用自己的访问凭证改变或销毁数据
可靠性
如果云存储系统不可靠，就成为了一种不利条件。 没有人想在不稳定的系统上保存数据 大多数云存储提供商通过冗余性处理可靠性问题 高可靠性的云存储服务对提升云存储提供商的声
储 云
(文件 服务)
数据快照
云存储结构模型
云存储平台整体架构可划分为4个层次，自底向上依次是：
数据存储层（基础） 数据管理层（核心） 数据服务层（灵活性强） 用户访问层
云存储系统的核心由云存储控制服务器和后端 存储设备两大部分组成。
（1）云存储控制节点
云存储控制器负责整个系统元数据和实际数据的管理和索引，提供 超大容量管理，实现后端存储设备的高性能并发访问和数据冗余等功 能。云存储控制服务器是整个系统的统一管理平台，管理员可以在其 中监视系统运行情况、管理系统中用户和各项策略等。
WebDAV
数据安全 应用相关性
内容管理 数据归档
信息挖掘 数据合规
文
数据管理层
数据备份
件
存
块 存 储 云
(LUN 服务) Tier-1 Disk Tier-2 Disk Tier-3 Disk SAN Switch Tape
设备管理层 物理设备层
0
高可用性 存储资源部署
数据在线迁移
存储虚拟化
重复数据删除
按实际用量计费
块存储用户 文件存储用户 POSIX (NFS,CIFS, WebDAV),
降低存储成本 (存储共享，重复数据删除，数据压缩) 弹性扩展
LUN, iSCSI LUN Targets
块存储云
文件存储云
系统管理简单
概述
存储云与传统存储平台的区别
(1)功能需求 云存储系统面向多种类型的网络在线存储服务 传统存储系统则面向如高性能计算、事务处理等应用 (2)性能需求 数据的安全性、可靠性、效率等技术挑战； (3)数据管理 云存储系统不仅要提供传统文件访问，还要能够支持海量数据 管理并提供公共服务支撑功能，以方便云存储系统后台数据的 维护。
中国云存储的市场驱动力
（1）网络宽带
（2）WEB2.0技术
（3）应用存储
（4）集群技术、分布式文件系统和网络计算 技术的发展
（5）网络存储安全技术的发展 （6）存储管理技术的发展
中国云存储市场面临的挑战
（1）数据中心建设
（2）国内云存储的用户
（3）可靠性
（4）大型企业方面
云存储的未来发展趋势
第6章 云存储
6.1
6.2 6.3
概述
作为服务的存储 安全性
6.4
6.5 6.6
可靠性
优点 云存储适合我吗
概述
什么是存储云，及其存储服务类型
数据保护 变量恢复 在高可用性、可靠性、连 续性或增量备份很重要的 场合，为业务连续性进行 数据备份。可能会包括场 外和镜像备份。
数据保持 长期和安全
为长期的资产或信息管理建立 归档。能为诸如医疗影像或记 录、视频归档、政府记录/归 归档服务 档、保健药剂研究、气象预测 归档等垂直行业提供特定实施。 记录管理 服务
1、安全性 2、便携性 3、性能和可用性 4、数据访问
一、个人级云存储应用 1、 网络磁盘 相信很多人都使用过腾讯、MSN等很多大型网站所推出 “网络磁盘”服务。网络磁盘是个在线存储服务，使用者可通 过WEB访问方式来上传和下载文件，实现个人重要数据的存储 和网络化备份。高级的网络磁盘可以提供web页面和客户端软 件等两种访问方式，实现文件的存储和管理，使用的方式与使 用本地磁盘相同。网络磁盘的容量空间一般取决与服务商的服 务策略，或取决于使用者向服务商支付的费用多少。 2、 在线文档编辑 经过近几年的快速发展，Google所能提供的服务早已经从 当初单一的搜索引擎，扩展到了Google Calendar、Google Docs、Google Scholar、Google Picasa等多种在线应用服务。 Google一般都把这些在线的应用服务称之为云计算。
所在的组织是否是云存储友好的 在云上想做什么事情 如果使用SSL发送数据，是否信任自己的程序员能保证文件
的安全性
能够忍耐多长的等待时间
云存储的应用
云存储能提供什么样的服务取决于云存储架构的应用 接口层中内嵌了什么类型的应用软件和服务。 云存储服务可以分为： 1、个人级应用 wk.baidu.com、企业级应用
块存储云
Green Flexible Available Optimize Simplify
存储池化 高应用可用性 灵活的拷贝服务
主机拥有“虚拟”盘 容量再分配变得更加容易 可以推迟购买容量，直至SAN物理容量达到触发点 数据根据策略实现自动迁移 主机系统和应用不受影响
通用的拷贝API，SAN-wide，当存储硬件变化时不受影响 拷贝目标可以是低成本的磁盘，从而降低拷贝服务的总成本
安全性
加密
使用复杂的算法编码信息 用户需要用加密密钥解码加密文件 有可能破解加密信息，但难度很大，并且大多数黑客所拥有
的计算机处理能力并不足以破解代码
安全性
身份验证过程
要求用户创建用户名和密码
授权实践
客户列出被授权访问存储在云系统上信息的人员
许多公司具有多种级别的授权
安全性
备份服务
通用目的 性能或成本优化
存储容器 服务
STORAGE CLOUD
记录优化 合规和永恒性
在$/GB基础上的存储可 用性，通过丰富的SLAs 来提供辅助的即需即供 的存储容量。
数据存档和保持，用于法规遵 从、风险缓释，或在成本和信 息生命周期管理很重要的场合 留作参考。
概述
服务管理 用户使用界面 服务生命周期流程 计量和结算 角色和权限 SLA管理 存储管理 存储自动化：资源部署 存储优化：重删、压缩、 瘦供给 存储虚拟化 生命周期管理：数据迁移
逻辑地聚集磁盘存储产品，以便在应用程序和用户 间高效地分配容量。 现有存储利用率提升多达 30%。 移动和管理数据，以便可以为硬件提供服务，而无 需打断用户的操作。
自动精简配置
通过按需分配存储空间，显著改善可用存储空间的 利用率。 优化可用存储空间的利用率。 减少资本成 本，同时降低对新存储设备的需求。
相比较传统的文档编辑软件，Google Docs的出现将会 使我们的使用方式和使用习惯发生巨大转变，今后我们将不 再需要在个人PC上安装office等软件，只需要打开Google Docs网页，通过Google Docs就可以进行文档编辑和修改 （使用云计算系统），并将编辑完成的文档保存在Google Docs服务所提供的个人存储空间中（使用云存储系统）。无 论我们走到哪儿，都可以再次登录Google Docs，打开保存 在云存储系统中的文档。通过云存储系统的权限管理功能， 还有能轻松实现文档的共享、传送、以及版权管理。 3、 在线的网络游戏。 近年来，网络游戏越来越收到年轻人的喜爱，传奇、魔 兽、武林三国等各种不同主题和风格的游戏层出不穷，网络 游戏公司也使出浑身解数来吸引玩家。但很多玩家都会发现 一个很重要的问题：那就是由于带宽和单台服务器的性能限 制，要满足成千上万个玩家
1、个人级应用 （1） 网络磁盘 （2）在线文档编辑 （3）在线的网络游戏。
2、企业级应用
（1）企业空间租赁服务 （2） 企业级远程数据备份和容灾 （3）视频监控系统
计算机网络工程
25
计算机网络工程
26
四、云存储的隐性成本
1、向云存储上迁移数据
数据量大小
元数据的功能
操作次数
2、提前预估云存储的费用
文件存储云
为用户的各类服务器/操作系统环境
提供文件存储服务 海量的弹性扩展能力，支持TB与PB 级数据量和数十亿个文件 存储的物理结构对用户透明 全局命名空间 自动实现文件生命周期管理 高性能 可用性高
HTTP Clients
NFS Clients
CIFS Clients
概述
构建一个私有存储云要求将你的存储基础架构“云化”
CLOUD ready
共享资源 自助式服务, 按使用量付费, 多租户 自动化 配置, ILM, HA/DR, 管理 优化 高效运营 虚拟化 提高使用率 整合 物理架构
存储云的框架
存储云用户
100
服务接入层
专用API
NFS
CIFS
LUN/ iSCSI LUN
概述
存储云实现的考虑因素


数据服务的对象：公共存储云还是私有存储云？ 存储数据服务的种类：块存储还是文件存储？ 性能和吞吐量：对性能要求比较高的应用，如 OLTP，服务器与存储云应该放在一起，避免网 络延迟带来的影响。 高可用性: 99.999%的可用性需要可靠的硬件， 更需要有效的系统管理手段 数据安全：如何保障公共存储云上数据的安全 性？数据加密？ 实现途径：建设/购买，租用
完善的数据迁移计划
五、中国的云存储
1、中国云存储市场动态
2、中国云存储的市场驱动力 3、中国云存储市场面临的挑战
中国云存储市场动态
1. 中国目前企业的CIO/CTO对公有云还是存怀疑态度， 目前，大约有70%的企业不愿意将企业内的数据放 在公有云上，主要是从安全性的角度考虑，但是， 数据对于企业业务投入越来越大，会迫使企业特别 是对数据安全性非常高的金融业也逐步走向公有云。 2. 国内的企业观念更习惯于花钱购买硬件产品而非服 务，作为存储需求最大的政府、电信、金融三个行 业，在中国都建有自己的数据中心。 3. 在中小企业市场，目前90%的中小企业在存储采购 只有10%的水平，因此，采购云存储能力非常低。 4. 云存储的安全性，需要从法律上对云存储的安全性， 可靠性进行约束，需要出现第三方机构帮助企业来 对云存储进行审计。 5. 同时，中国相对落后的网络建设制约着云存储的发 展
FTP Clients
SCP Clients
IP Network
Global Namespace
Management Node
Interface Node
...
Interface Node
....
Interface Node
IP Mgmt. Network
Infiniband Data Network
（2）存储节点
云存储系统采用高性能应用存储设备，可内嵌云存储系统访问协议 包、存储节点认证许可等。设备采用高密度磁盘阵列设备，每套设备 通过网络接入到云存储系统中，进入云存储存储池后进行分配。对数 据存储可实现多副本、多物理设备分别保存，当容量或带宽需要扩展 时，通过增加存储节点来实现，根据实际需要灵活扩张，在系统运行 中进行在线的容量和性能增加。
TPC SVC CFS
预订、订价/帐单、营销
TSM SoNAS
客房管理 – House-keeping
房间规划和设施共享
存储资源和服务 存储空间：高速、大容量、 磁带 存储形式：块设备(逻辑卷)、 文件系统 数据保护：备份/恢复、灾备
概述
存储云与传统存储平台的区别
快速为用户部署存储空间
将数据转移到适当 的位置
自动层级 自动数据迁移
自动分层
更智能化地存储信息，帮助降低成本，缩短访问 时间。 有效利用固态驱动器以提升关键应用程序 的性能，最高可达 200%。 将次重要的数据迁移 至成本更低的介质，以降低成本。
虚拟化存储
利用现有资源存储 更多数据
存储资源虚拟化 精简配置
誉很重要
优点
云存储正变成一种对组织越来越有吸引力的解决方案
数据可以驻留在Web上 数据存放的位置可以跨多个存储系统 数据不用位于指定的公司托管站点上 数据在多个数据中心之间移动以平衡服务器的负载 确保信息存储的位置靠近它的使用位置 数据容易得到备份
云存储适合我吗
明确几个问题
Tape
Storage Node
Storage Node
Storage Node
Storage Node
...
Storage controller and disk Storage controller and disk Storage controller and disk Storage controller and disk