分布式NAS存储

分布式NAS 深入各行各业
广电多媒体
视频编辑 视频播出
平安城市
治安监控 数字执法
智慧城市
电子政务 民生数据
能源勘探
波谱分析 勘探数据
数字医疗
PACS影像 三维重建
测量测绘
卫星数据 GIS信息
教育仿真
高性能运算 校园云
金融影像
视频监控 电子票据
6
1 非结构化数据市场 2 分布式NAS适用性&场景 3 分布式NAS功能特性介绍 4 分布式NAS存储方案 5 竞争分析
• 分布式文件系统同时可以将原先Dell，HP，HDS的SAN或者DAS存储 资源统一资源池化
• ThinkSystem DF支持横向和纵向扩容，可以很好的满足未来上海图书 馆的存储容量增长
TCP/IP
业务2
G8272 万兆网络
MDS
OSS
联想ThinkSystem DF云存储
21
工商管理局：数据查询平台
• 可实现业务无感知升级 换代
• 存储利旧
ThinkSystem DF License（3+N）
…… 统一存储管理
11
联想分布式NAS ThinkSystem DF十 大特性
Scale-Out 横向扩展基因
一套系统支持 块+文件+对象
更强的数据 处理能力
1 集群 2 3
统一存储 管理
EB级别数据 存储支持
初次购买 3 个节点起步
• 起步可从小规模建 设开始，初期投入 较少
• 避免因扩容困难， 而一次购买很大容 量，造成设备闲置
ThinkSystem DF License（3+N）
…… 按业务需求扩容
• 需要扩展时，增加节点即可 • 一次点击，扩容无忧 • 性能和容量-线性增加
• 设备更新换代时，只需 替换服务器提升性能， 软件License可复用，充 分保护用户投资
8
联想ThinkSystem DF产品型号 介绍
MDS
MDS节点 DF MDS
1U
OSS
3.5寸 硬盘
OSS节点 DF1200 2U24块硬盘
OSS节点 DF3600 4U36块硬盘
2.5寸 硬盘
OSS节点 DF2400 2U12块硬盘
*可通过扩展方式达到 每节点36块盘
9
ThinkSystem DF 系统架构-横向扩展基因
非编/媒资 网盘
数据挖掘
HPC
高性能计算 卫星数据
视频监控
数据交 换网络
用于应用系统与存储、存储内部的数据交换。 •万兆网络交换机，Lenovo NE1032或G8272（依据连 接数） •双万兆交换设备实现冗余链路保证
MDS 管理节点
MDS与OSS 可整合
实现整个存储系统的管理功能。 •最小两个，成对扩展，最大128对 •双Active，元数据实时同步 •智能元数据负载均衡技术
客户收益
联想云存储系统搭建高可用、高可扩展的存储空间和共 享平台，实现对资料的统一管理。既节省投资、提高硬 件系统的利用率、降低管理成本、扩大资源的使用范围， 又有利于农大教学资源的聚类、共享、升级、推送，解 决教育资源分布不均，更新速度慢，共享程度低等问题， 促进了教育资源的均衡发展
VVVVV
MMMMM
网络
LeoSAN/iSCSI
Swift
LeoFS/NFS/CIFS
ThinkSystem DF GUI
Linux OS 物理机或者虚拟机
控制指令
MDS
SSD SSD
ThinkSystem DF 分布式文件系统
MDS
SSD SSD
OSS SSD HDD Linux 操作系统
OSS SSD HDD
OSS SSD HDD
直
― Raid故障恢复时间长，“脆弱期”容易造成“二次伤害”
扩
展
传统 NAS
模
存储规模更大
― Rebuild优先级最高，大大影响业务系统性能
• 扩展性
― 垂直扩展性受限，1000块已经是大型存储能力
式
…
…
― 无法性能与容量线性增长
• TCO
― 购买价格昂贵（存非结构化数据性价比差），周期长
― 扩容升级价格高，服务成本昂贵
分布式NAS 大规模非结构化数据的首选
• 运维管理
― 不同品牌、类型存储，分散管理难度高；
― 扩容风险高，像过“鬼门关”（经常性数据迁移）
4
1 非结构化数据市场 2 分布式NAS适用性&场景 3 分布式NAS功能特性介绍 4 分布式NAS存储方案 5 竞争分析
5
分布式NAS存储正在深入各行各 业
▪ 实时性要求：大数据分析，时 效性要求高（时间就是效益）
▪ TCO要求：海量数据下，存储 成本结构需要调整
NAS 非结构化数据的首选
3
传统NAS存储无法承受海量数据激增的挑 战
P770
P770
x86 pool
x86 pool
Scale Up
“脖子效应”
垂
控制器
“脖子效应” 控制器
• 性能
― 海量并发IO时，容易产生“脖子效应”
▪ 联想ThinkSystem DF作为分布式文件系统，支 持Scale Up及Scale Out升级方式，未来当容量 及性能不足时，可以灵活地进行增加。
▪ 联想ThinkSystem DF存储提供了leosync功能， 可以从原有华为存储上在线迁移数据，大大简化 实施复杂度和项目风险。
24
校园云存储
22
智慧城市云存储系统（720TB）
客户收益
• 联想云计算中心向用户提供了全面的云计算服务，满足客户 多样化的IT 基础设施需求，简化管理、提升可靠性、可扩展 性，有效降低IT 总成本。
• ThinkSystem DF分布式文件存储做为联想云计算中心的基 础架构实现了数据的集中管理和高速共享需求，同时易扩展 性为未来的扩容提供了便捷
分布式NAS存储 解决方案
1 非结构化数据市场 2 分布式NAS适用性&场景 3 分布式NAS功能特性介绍 4 分布式NAS存储方案 5 竞争分析
2
持续爆炸性增长的“数据”
新IT形态下的存储需求与挑战：
▪ 数据类型：结构化非结构化数 据并存，非结构化数据占比大
▪ 数据容量：总容量巨大，文件 个数巨大
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
System x3650 M4 System x3650 M4 System x3650 M4
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
System x3650 M4
客户痛点
• 数据查询和数据备份平台独立，客户预算有限 • 所有可公开外网查询的生产数据（主要是工商执照等图片格
式的非结构化数据）存储于该在线存储，未来增量数据不可 预知
客户收益
• 分布式存储本身提供几乎无限的扩展性和线性的性能提升， 随时满足后续爆发性访问的需求。
• 同时在异地灾备数据中心构建一套灾备近线存储，所有生产 数据定时同步到灾备存储中，已保证数据安全
访问服务器
访问客户机
NAS：CISF、NFS
FC
FCOE
SAS
ThinkS
ystem
DF
iSCSI
存储接入
集群
Lenovo/ EMC/ HP/ NetApp/Other Storage
Dell Equallogic
18
ThinkSystem DF 系 列 FAB
产品特性比较
前端切片技术
VS.
前后端组网
ESX/ESXi
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
System x3650 M4
VVVVV
MMMMM
ESX/ESXi
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
System x3650 M4
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
System x3650 M4
0
1
2
3
4
5
6
7
8
9
10
11
功能模块 •数据中心的整合 •数据的集中与共享 •基础架构的虚拟化 •智慧管理
软通&联想云柜
辽源城市云中心
Portal
政医产 … 务疗业 …
API层
PaaS
IaaS
ThinkSy stem DF
计
网
算 资
络 资
……
源
源
管理接入 业务应用 业务接口层
通云
（OpenStack）
23ห้องสมุดไป่ตู้
医院 PACS
客户痛点
13
统产一品存功储能概述一套系统支持块、文件、对象存储
接口支持
系统特性
高级功能
文件支持:LeoFS/CIFS/NFS
块存储支持:LeoSAN；iSCSI 对象存储支持：Swift/S3 OpenStack支持：Cinder Hadoop支持：HDFS
最大8000节点扩容，EB级支持
无单点故障
项目建设背景
随着数字化校园和智慧校园的完善和建设，以及高 校内部教学资源的不断增长，大量非结构化数据的 存放成为迫切需要解决的问题。全校师生及院系部 门文档、教学视频、作业等不能有效方便的统一整 理、资料传递，文件共享
项目建设目标
➢ 建立性能稳定可靠易扩展的的云存储平台 ➢ 以云存储为基础构建全校的网盘系统
20
图书馆
客户痛点
• 当前存储架构以SAN，NAS和DAS存储并存，存储资源共享率低。
• 每套业务系统没有独立的存储系统支撑，一套业务系统的数据横跨在几
业务1
个存储产品上。
• 当前的存储容量已经无法满足现有业务系统的容量要求，而且随着每年 的业务系统的容量增长，未来存储扩容存在瓶颈。
客户收益
• 外购电子书资源，以及馆内扫描的电子书对存储的容量需求巨大，所以 统一存放在ThinkSystem DF分布式存储上
统一管理/监控
业务无感知在线软硬件升级
硬件自检/报警机制
可做现有环境利旧
文件快照
克隆
原生网盘支持
容灾套件
自动精简配置
WORM（Write Once Read Many）
14
先进的数据前端切片技术-更强的数据处理能力
Servers Servers
负载 均衡 算法
Servers Servers
大数据平台 无缝对接
灵活的软件 定义配置
多种数据 保护模式
全面数据生命 周期管理
1~6级城市的 快速响应支持
服务
12
ThinkSystem DF分布式存储系统架构-横向扩展基因
IE，Chrome， Firefox
数据库
KVM
XEN
中间件
HyperV
ESXi
CRM
Linux
其他
windows
Unix
统一存储管理
VS.
无法纳管
块+NAS+对象
VS.
NAS+对象
技术优势
高性能
高可管理 （简化运维）
高生态
业务价值
公司 业务
近期 热点
个人 职务
业务加速
管理成本降低
投资保护 业务必备
19
1 非结构化数据市场 2 分布式NAS适用性&场景 3 分布式NAS功能特性介绍 4 联想分布式NAS存储方案 5 竞争分析
▪ 南方医科大学深圳医院PACS系统扩容 ▪ 原有VNX NAS做为一级存储扩容能力有限，
扩容难度大，扩容成本高。
客户收益
▪ 保留原有架构，原有存储设备利旧， ThinkSystem DF存储做为二级存储
▪ 新增联想分布式文件存储ThinkSystem DF设备， 专门存储PACS影像数据，目的是提高文件的读 写速度，增加存储空间以及为未来扩展做好准备
12
13
14
15
校园业务系统
System x3650 M4
VVVVV
MMMMM
ESX/ESXi
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
System x3650 M4
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
System x3650 M4
校园桌面云
联想云盘
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
7
联想ThinkSystem DF产品 架构
应用层
非编/媒资
网盘
接口层
LeoFS LeoSAN
系统层
Cinder LeoSync
数据挖掘 Hadoop
FTP
HPC
高性能计算
NFS CIFS
卫星数据
.....
视频监控
ISCSI HTTP
ThinkSystem DF分布式存储系统
硬件层
Lenovo server
OSS 存储节点
承载海量数据的存储功能。
• 最小三个，按需扩展，最大支持8000个
• 支持NL-SAS、SAS、SSD硬盘混插 • 可通过挂接方式实现原有服务器或IP-SAN、FC-
SAN、NAS等存储阵列加入集群，进行统一存储 管理
10
便捷的购买方式-灵活升级
ThinkSystem DF License（3）
Servers Servers
交换机
MDS元数据节点
元数据服务器通过负 载均衡算法进行负载 均衡运算
存储服务器
OSS数据节点
16
数据读取模式-更强的数据处理能力
MDS元数据节点
Servers
Servers
客户端算法计算文件 元数据信息所在位置
Servers
O S S 数 据 节 点
17
不同品牌种类存储加入ThinkSystem DF资源池-统一存储 管理
哈希 算法 定位
Servers
Servers
✓ 前端切片的技术，降低传统存储系统对磁盘造成的压力，大大提升性能； ✓ 切片之后存放在所有存储服务器中，无访问热点效应，实现读写压力完全负载均衡 ✓ 不再需要后端的高速交换机，大大简化了网络建设复杂度
15
数据写入模式-更强的数据处理能力
Servers 客户端算法计算元数据