浙江移动云计算和大数据实践

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
ArchSummit全球架构师峰会 深圳站2015
行至水穷处、云起浙里时 --浙江移动云计算和大数据实践
汤人杰 2015年6月18日
目录
第一部分 云计算与团队建设成果
第二部分
背景和问题
第三部分
技术发展跟踪和思考
第四部分
浙江支撑云建设蓝图
第五部分
建议与思考
浙江公司云平台建设现状
目前浙江公司建设了三个资源池,各自独立发展,有独立的管理平台。 支撑资源池:承载业务支撑系统与管理支撑系统,上层管理平台由华胜天成负责开 发 网管资源池:承载网管支撑系统与业务平台,上层管理平台由东信北邮负责开发
云计算技术-核心特征和价值
云计算起源于亚马逊EC2产 品和谷歌-IBM分布式计算 项目 云计算是个人PC、互联网之 后的第三次IT浪潮 云计算主要核心特征
• 资源共享 • 按需自助 • 集中部署 • 弹性伸缩
云计算核心价值-降本增效、高能可靠
• 快速部署--聚焦业务,支撑业务 • 集中、共享、弹性、标准--有效降低成本 • 分布式计算和存储—提升性能和可靠性
深度参与集团公 司去IOE试点项目
争取集团内去IOE工作的绝对领先地位
目录
第一部分 云计算与团队建设成果
第二部分
背景和问题
第三部分
技术发展跟踪和思考
第四部分
浙江支撑云建设蓝图
第五部分
建议与思考
困惑与问题(一)
资源池CPU利用率为什么提不高? 小型机能云化吗?去I以后小型机如何投资保护?
应用永远云化中,开发商始终在叫云化改造工作量大,报价高。应用云化? 这概念是个什么东东? 大数据技术平台和云计算到底什么关系?大数据资源池和我们现在的资源池
阶段5:控制标准化,核心特征是实现资源管理的数据中心集中化和动态化,俗称小变大。
是我们发展的终极目标。可以真正实现大云。
中国移动云计算平台典型架构存在的明显缺失
运营管理
运营管理 BC-OP 资源池管理 BCCloudmaster 云计算安全 BC-Security
(公众服务云,企业私有云,混合云)
分布式协调技术:应用无状态、应用名字集中管理、应用部署在线化。资源管理在线
化的前提恰恰是实现应用的无状态化
身边的云-阿里云
技术服务
飞天: 核心云构件
标准硬件
身边的云-阿里云主要技术服务解构
IAAS服务-ECS、VPC、OSS
大致对应网络、I、E、虚拟机等基础设施的标准化、服务化、虚拟化
PAAS服务:ACE、MQS、RDS、DRDS、SLB、ODPS、
云计算驱动企业IT架构演进
企 业 IT 架 构 演 进
“烟囱”式IT系统架构
资源池化、云化IT架构
打破竖井、应用和平台解耦 打破供应商绑定 加强企业自身核心能力掌控 敏捷建设、聚焦支撑业务 统一管理建设运营,提升运维效率、提升资源利用率,降低TCO ……
云计算技术-服务分层
云计算包括以下三个层次的服务: • IaaS(Infrastructure-as-a- Service):基础设施即服务。消费者通过Internet可设施获得虚 拟计算、网络和存储资源,比如Amazon AWS。 • PaaS(Platform-as-a- Service):平台即服务,指将软件研发的平台作为一种服务,比如 Google的AppEngine为企业和个人提供完整的开发、运行和部署的环境和工具。 • SaaS(Software-as-a- Service):软件即服务,通过Internet提供软件的模式,用户无需购 买软件,而是向提供商租用基于Web的软件。如Google提供的Gmail、Apps、搜索等。
2015年去IOE和系统云化工作重点
去“I”
• 支撑、经分和管信三 域系统全面去“I” • 在原有商业虚拟化软 件基础上将引入开源 虚拟化软件
去“O”
• 已使用大云RDB3完成统 一用户系统去“O”工作 • 今年将在CRM核心系统 部分模块实现去“O”
去“E”
• 今年将在计费账务 系统和虚拟化资源 池中试点引入软件 定义存储,初步实 现去“E”
降低资本支出 提高敏捷性 全面优化
大云不是梦
1-3阶段往往是结合在一 起的,可视为一个大阶 段,也是我们目前所处 的大致阶段。 浙江支撑已经开始初步 实践阶段4,规划和技术 验证阶段5,这将是云的
X86化
小型机 时代
2009年以前
2009年至今
2011年至今
2015年开始
IaaS 资源池化 应用资源池化
云化只是一个过渡性的概念,必将被基于PaaS资源池化 和EPaaS化的应用上云概念取代
• 用自上而下的方式管理云的投资
• 云平台整合化程度有限:资源池越多,资源利用率越低,建设 运维效率越低,云计算的效果越不能有效发挥
新时代的新竖井
问题很明显,后果很严重
云平台能力弱,应用上云难度大:大多停留在IaaS级,PaaS和核心云构件层严 重缺失,反过来导致应用云化改造代价大,不少应用仍长期停留在传统架构上 资源利用率,TCO管理水平与互联网公司差距仍然很大:CPU平均利用率明显低 于互联网公司 ;较高虚拟化软件License成本(1-1.5w/CPU),较低的整合比 应用快速部署开通,有效支撑业务能力有限:简单的IaaS云最多做到日级基础集 成,考虑PaaS和应用集成时间动辄周级,先进互联公司可以做到平台分钟级, 应用小时级 技术架构七国八制 资源池起不到能力储备作用,竖井式集成仍属常态,应用部署速度难以提升
ADS、OTS、OCS……
大致对应中间件、数据管理软件等平台软件的标准化、服务化、虚拟化
身边的云-阿里云-飞天平台解构 阿里云是真正意义的大云!
– 阿里云深度实现了云计算核心技术并行计算
– 阿里云可以真正实现数据中心级的弹性伸缩
核心云构件-女娲、伏羲是
实现“大云”的核心技术
支柱
– 女娲:应用协调、应用命名------分布式协调 – 伏羲:资源管理、应用调度------分布式调度
PaaS资源池化 控制标准化
后续大幅度提升和进阶
的阶段。
浙江支撑云建设路线
相当程度上实现真正意义的数据中ห้องสมุดไป่ตู้级“大云”不是梦! 只要有决心有思路抓紧干,
我们的管理差距在哪里?
用反云的方式建设云
• 云平台建设和应用云化改造不分:应用视角的竖井式云化建设 多,云平台自身建设考虑少。所谓系统的云化变成了应用的竖 井化改造,能力未能沉淀和积累,事实上形成新的竖井。应用
什么关系?
技术架构竖井化,甚至以项目为单位搞技术架构。基础软硬件标准化管理失 控,七国八制,运维亚历山大,这种情况谈何核心能力掌控?
困惑与问题(二)
浙江移动的云平台在技术架构上与阿里云有什么异同? 浙江移动的云平台在业界处于什么技术水平? 浙江移动的云平台是否可以使用或融合阿里云或华为云的技术架构? ORACLE云如何建设和提供? 什么是PAAS? 公有云私有云?政企独立云?什么概念?如何实现? 云计算和大数据的关系?不使用虚拟机算不算云? HADOOP上虚机?
分布式操作系统-小变大之谜
由于纵向拓展可优化空间太小(单台服务器的性能上限很明显),分布式系统强调横向扩展、 横向优化,当分布式集群计算资源不足时,就要往集群里面添加服务器,来不停地提升分布式集 群的计算能力。分布式系统要做到统一管理集群的所有服务器,屏蔽底层管理细节,诸如容错、 调度、通信等,让开发人员觉得分布式集群在逻辑上是一台服务器。真正意义的大云必须真正实 现数据中心级的弹性伸缩,俗称小变大。 和单机Linux操作系统相比,分布式系统和单机Linux一样要解决五大类操作系统必需的功能, 即资源分配、进程管理、任务调度、进程间通信(IPC)和文件系统
云计算应用
计算
弹性计算 BC-EC
存储
对象存储 BC-oNest 弹性块存储 BC-EBS
网络
BC-vNetwork
资 源 层
2014年商用产品
2015年商用产品
2015年试点产品
技术服务层重IaaS轻PaaS 最关键的核心云构件层基本缺失 管理上的大云,技术上的小云
应用的快速部署开通受到极大制约 只能实现虚机层弹性伸缩,效果极其有限,严重影响资源的充分动态调度,降本增效
浙江公司云计算发展阶段的自我定位
传统孤岛
对数据中心内 部整体目标架 构没有统一的 规划设计
标准化
标准化的硬件和 软件体系 业务基础架构建 设以月为单位
IaaS 资源池化
应用资 源池化
PaaS 资源池化
控制标准化
通过核心云构件 实现进程级资源 共享 业务基础架构建 设以小时为单位 实现数据中心级 弹性伸缩
阶段4:PaaS资源池化。核心特征是标准化的、集中的和动态的集群级调度管理,同时实 现了PaaS服务的标准化。资源管理仍然是静态的,分散的,但调度管理实现集中化、标 准化、动态化
将标准化的技术服务能力从应用层转移到PaaS平台层,从应用云化走向应用上云。这是我们近期很现实的一 个发展方向。尽管不能大幅度提升弹性伸缩范围,但可以解决云化能力的标准化和能力沉淀,可以极大降低我们对 供应商的依赖,提升核心能力掌控。本阶段云将进化到了高级中云。
IDC资源池:承载IDC业务(公有云),上层管理平台由华为负责开发
资源池管理平台(华胜天成) 资源池管理平台(东信北邮) 资源池管理平台(华为)
支撑资源池 (业务支撑+管理支撑系统)
物理资源
网管资资源池 (网管支撑+业务平台)
物理资源
IDC资源池
物理资源
以大数据资源池管理平台为核心整合,形成企业统一资源池管理平台
阿里云的启示-云的进化论
阶段1:X86化。核心是硬件标准化,是云的原始积累 阶段2:IaaS资源池化。核心特征是虚机级资源管理、调度管理和IAAS服务标准化,俗称 大变小。 阶段3:应用云化也可以叫做应用资源池化。核心特征是集群级资源管理、调度管理。但 这种管理都是私有化的、静态的
一方面是有积极意义的可视为云的进化,从小云进化到低级中云。一方面它的局限性太大,仍然是应用级的竖 井,不能跨应用弹性伸缩,云化能力不能被标准化和共享,这一点在技术角度和管理角度(供应商依赖和甲方核心能 力掌控)有着深远的负面影响!
云平台建设的常见路径是自底向上 IaaS PaaS SaaS
云计算与大数据
云计算架构
SaaS
公共服务组件
数据挖掘分析
EPaaS
PaaS
TPaaS DPaaS
Hadoop
NoSQL
MPP
(大数据平台服务)BDPAAS 虚拟资源 物理资源
IaaS
云计算是大数据的基础,大数据是云计算的应用 大数据技术平台是云计算PaaS层的一个分支,是云平台 的重要组成部分
网管支撑系统后续将逐步迁移到支撑资源池
支撑系统云化成果概览
• 5个机房,合计面积约1.15万平方米,机房利用率为77.5%
设备
• 各类主机3290台,处理能力达到18.11亿Tpmc,其中系统X86化比例62.5%
• 各类存储设备容量达到6191TB,利用率88%;非高端(分布式)存储比例达 20%
通过虚拟化实现 共享的基础架构 业务基础架构建 设以周为单位 实现虚拟机级弹 性伸缩
通过服务化实现 共享的平台架构 业务基础架构建 设以日为单位 实现集群级弹性 伸缩
孤岛
X86化
虚拟化
服务化
智能化
简化
降低风险 降低运营支出
(IT领先的银行) (领先互联网公司) (浙江公司) 高效 灵活 统一
资源池
• 截止2015年5月,支撑系统共有服务器3XXX台,其中X86服务器2XX X台。 • 支撑资源池共计604台X86服务器,共部署843个虚拟机,采用Vmware虚拟 化技术搭建
• 截止2015年5月,共完成72个系统迁移至支撑资源池
云化系统
• 2011年已完成CRM Web和APP的云化改造 • 计划8月底前完成计费账务系统云化改造 • 目前系统云化比例为43.56%,计划至年底前系统云化比例提升至60%
关键要素:资源管理、调度管理
阿里云的启示-“大云”的技术生态圈
弹性伸缩
一个好汉:分布式调度
资源管理 调度管理
三个帮:负载均衡、轻量级虚拟化、分 布式协调
虚拟化技术
分布式调度技术
负载均衡技术 分布式协调技 术
重量级虚拟化 技术 轻量级虚拟化 技术
分布式调度和分布式协调是最难 实现的两个技术服务
负载均衡技术:前端应用引流的标准化(调度服务一般可自行实现后台任务的调度) 轻量级虚拟化技术:资源隔离轻量化,资源生成敏捷化
云计算技术-核心技术
云计算是分布式计算、并行计算、分布式存储、数据管理、虚拟化、负载均衡等 技术发展融合的产物
云计算最核心的技术是 -- 并行计算
并行计算的基本思想是:用多个处理器协调求解同一问题。即将被求解问题分为 若干部分,各部分均由一个独立的计算单元来并行处理,处理完成后,将结果进 行处理后返回用户
相关文档
最新文档