浪潮云海大数据一体机介绍

5
大数据时代即将来临
• 大数据具有无可预估的数据价值
– – – – 体量Volume：巨大的数据量 多样性Variety：半结构化、非结构化 速度Velocity：指数级别的增长 价值密度Value：蕴含大财富 IDC：到2020年，大数据的支出将超过2000亿美元 以上 麦肯锡：未来全球范围内大数据带来的价值将达 20000亿美元
•
大数据具有无可预估的数据价值
–
–
粗放式
精细化
基于大数据的分析、挖掘，为商业决策提供依据
大数据生态链
应用
最终用户 服务技术提供商 数据分析技术提供商 数据服务提供商 数据分析者
分析 及可 视化
数据 处理 数据 存储
数据处理技术提供商 软件平台（数据库、数据仓库、分布式处理技术 等）提供商
基础硬件（服务器、存储、交换）厂商 数据采集技术提供商
半结构化/非结 构化数据 结构化数据
个人数据 物质世界 数据
社会数据
挑战2：如何提供规模和性能的同步扩展
IDC统计数据发现随着系统规模增加，延迟变得无 法忍受 需要解决规模和性能的同步拟线性增长问题
10000
5000 传统分布式处理系统 100 200 300 400 500 600 700 800 900 1000
7.9 0.8 2009 1.2 2010 1.8 2011 2.7 2012 2015 2020
全球数据存储量(ZB)
现状：传统的数据库存储模式无法应对数据量井喷式的增长
面临的重大挑战
挑战1：如何解决各种类型数据融合的问题
随着互联网的兴起，涌现出大量音频、视频等半结构化、 非结构化数据，传统数据库不能有效应对 需要新型数据处理体系结构进行高效的存储和管理数据
数据处理者
数据 收集 数据源
数据采集者
数据拥有者
目录
一、背景简介
二、产品介绍 三、成功案例
产品形态
数据节点：
• • 2U，2路存储服务器 单节点支持12块3.5寸或者24 块2.5寸数据盘
控制台：
• 本地可视化管理平台
管理节点：
• • • • • 高端4路/8路服务器 HA 千兆以太网 万兆网络 IB网络
浪潮云海大数据一体机介绍
目录
一、背景简介
二、产品介绍 三、成功案例
时代背景
40
数据规模转向TB/PB级别 2012年全球数据总量2.7ZB，现在两天的数据 量，等于人类起源~2003年所有数据的总和
暴涨50多倍
2011年全球上网用户达23亿，到2016年，预 计达到34亿，届时将产生海量的新型数据
高性能型平台配置：
管理节点：CPU2*4CORE、内存128G DDR3-1600 ECC系列 硬盘 4*2.5 480GB SSD 10000 940 ifniband 数据节点：CPU E5-2600系列、内存128G DDR3-1600 ECC系列 硬盘 24*2.5 480G SSD 7200 ifniband 单台服务器理论值：裸容量11.25T，吞吐量读2400MB/S，写2000MB/S，IOPS 960000
网络：
产品市场定位
目标应用
面向图片、视频、音频等非结构化数据的海量存储和处理 面向海量数据的在线查询 面向关系型数据的数据分析和挖掘，结合传统的数据仓库
目标行业
金融、政法、电信、交通、卫生、广电、通信
产品配置
针对不同应用，提供系列化产品，满足客户需求。
处理器核心
管理节点 64Core
平衡型平台配置：
管理节点：CPU E5-2600系列、内存128G DDR3-1600 ECC系列 硬盘 4*2.5 600GB SAS 10000 940 10GB*2 数据节点：CPU E5-2600系列、内存64G DDR3-1600 ECC系列 硬盘 12*3.5 2TB SAS 7200 940 10GB*2 单台服务器理论值：裸容量24T，吞吐量读600MB/S，写400MB/S，IOPS 1200
内存
128GB
网卡
1*单口万兆网口
RAID
512M缓存高性能 raid卡
硬盘
系统盘2*300GB SATA/SAS/SSD 数据盘4*600GB SATA/SAS/SSD 系统盘2*300GB SATA/SAS/SSD 系统盘10*2TB SATA/SAS/SSD
数据节点 软件平台 相关配件
12Core
0
4
面临的重大挑战
挑战3：如何控制数据存储和数据处理的性价比
传统数据仓库的数据存储和处理成本约为1万/GB 对于低密度价值的大数据，如何控制其存储和处理的性 价比尤为重要
挑战4：如何满足大并发、海量数据查询要求
IDC统计数据发现随着系统规模增加，延迟变得无 法忍受 需要解决规模和性能的同步拟线性增长问题
CPU
CPU
CPU
32GB
1*单口万兆网口
512M缓存高性能 raid卡
浪潮云海大数据一体机系统软件节点授权 N个万兆交换机、N个千兆交换机、N个四合一切换器、N个机柜
理论最佳配置
高容量型平台配置：
管理节点：CPU E5-2600系列、内存64G DDR3-1600 ECC系列 硬盘 4*2.5 600GB SAS 10000 千兆网卡 数据节点：CPU E5-2600系列、内存48G DDR3-1600 ECC系列 硬盘 12*3.5 3TB SATA 7200 千兆网卡 单台服务器理论值：裸容量36T，吞吐量读600MB/S，写400MB/S，IOPS 1200
软件体系结构-数据本地化
数据本地化（计
算随数据分布）是指
并行计算框架智能地 将计算任务指派到存 储着该任务所需数据 的节点，从而避免传 Job Map
CPU CPU CPU CPU
CPU CPU CPU CPU
NameNode JobTrHale Waihona Puke Baiducker
备
主
备
备
主
备
DataNode
CPU CPU CPU CPU
DataNode
CPU CPU CPU CPU
统分布式计算中严重
的数据传瓶颈。
备
主
备
备
主
备
DataNode
DataNode
软件体系结构-业务连续性保证
业务连续性保证 是传统分布式计算中最为复杂的开发目标。通常当系统规
模扩展至百节点以上时，就必须应对计算单元失效，显式地保存和恢复失败任
务。浪潮大数据一体机能够智能识别失败任务，自动将其转移到备份数据节点。