云计算平台架构设计与核心流程

热点分析 缓存服务 部署编排
资产地图 队列服务 伸缩漂移
开发平台 邮件服务 外部服务集成网关
流程服务 短信网关 …
资源层适配
配wk.baidu.com管理
环境管理
监控
...
IaaS
网络 计算 存储 … 容器 镜像
CaaS
仓库 …
做设计 --- 部署视图
APP
…
APP
APP
…
APP
…
APP
…
APP
APP
…
APP
16C/128G/500G
16C/128G/500G
16C/128G/500G
16C/128G/500G
nginx
Portal server DB
IAM DB
SPM DB
SRM DB
域名服务
2C/4G/100G
SEM
BPR GIT DB VCS DB PM DB CI DB
提供商待定
Jenkins
16C/32G/500G 4C/8G/400G
让团队有层次（上下游） 的工作
做设计 --- 呈现分工与协作
团队分组
业务平台组
软件配置 管理
领域系统和组件
项目管 理系统 持续集成 系统 统一认证 系统 …
技术栈
Autoconfig，Git，Jenkins， Redmine，MOF，Oauth…
前端&终端组
DevOps门户
前端组件库
终端组件库
…
React，React Native，Bootstrap， Redux，D3，Karma…
隐形的技术成本让IT行动迟缓 不适应数字化时代快速创新
低效的生产方式 让知识工作者沦为码农
移动化 微服务 分布式到来面 临的挑战
失控的IT系统 让IT缺少驱动创新的能力
找方法 --- 对待问题逐个击破
信息流 不畅通
关键事情 依赖人
技术 债务积压
单向 无反馈
…
定义元数据
让机器解决
正确的 组织与分工
要有关注 上下游的意识
运营
1. 故障定位困难 2. 故障处理知识 难积累、传递 3.业务关键指标 传递失真
看问题 --- 分析数字化运营面临的诸多挑战
失真的信息传递
• • • • 落后的协作手段 信息传递形变 技术和业务语言不通 点对点逐层衰减 • • • • •
未知的技术欠债
技术短视 选型风险 架构能力弱 跨界复杂 遗留和创新的矛盾 • • • • •
Dashboard
产品运营 产品架构 产品开发与测试
产品架构
产品运维
产品运营
业务应用
Plan 规划
Design 设计
Test 测试
Dev 开发
Deliver 交付
Monitor 监控
Trouble 故障
Offline 下线
Efficiency 能效
能 力 分 层
业务平台 通用平台 硬件平台
Portal 门户
角 色
设计 开发 质量 测试 运维 业务
开发交付
1
运营反馈
基线
1
数据标准 * * 域 资源
* 1
产品场景
1
* 产品场景
1
团队
项目
1
* 事件 检查点
规 划
功能需求 *
1
* 功能流程
1
*
* 系统
*
1
*
微应用
1
流程 知识
过程 性能
安全 业务
环境
本地环境 远程环境
配置
注入
*
1
* 组件
1
部署包
介质
* 源代码
继承 组合
核心领域 系统
SPM Software Product Mgmt 软件产品管理 SRM Software Resource Mgmt 软件资源管理 SEM Software Environment Mgmt 软件环境管理 UMC Unified Monitoring Center 统一监控中心 QAF Quality Assuarance Feedback 质量检验反馈 IAM Identity & Access Mgmt 身份识别&访问管理 BPR Binary Package Repository 二进制包仓库 DPR Deployed Package Repository 部署包仓库
开发
测试
预发
生产
Release
Snapshot
做设计 --- 关键技术预研
1. Kubernetes+Docker跑在阿里云上有没有问题？ 2. 到底是用dubbox，HARPC，还是自己来做分布式微服务调用框架？ 3. 前端用AngularJS还是React？需要引入Redux吗？ 4. ……
做设计 --- 领域系统与能力支撑
统一模型与术语 基于反馈修正全景图
做设计 --- 呈现平台最终全景图
接入服务 元数据服务 运营服务 服务发现
HTTP,HTTPS, MQTT,AMQ
SPI API
软件资产
集成微服务
NoSQL
协作
安全策略
SPI
技术看板
移动应用
RDB
REST
业务看板
API
流程微服务
RDB
Web 应用
服务路由 API Gateway
基础服务与数据组
软件发布系统
分布式调用 组件
业务监控 中心
…
Resteasy，Etcd，ELK，influxDB， SpringBoot，esper…
基础设施组
软件环境管理
云资源管理
…
Docker，Kubernetes，Openstack， Mesos，Saltstack …
做设计 --- 统一概念模型
CPU 计算
Storage 存储
Network 网络
Temp 温度
Power 电源
Cabinet 机柜
做设计 --- 逻辑视图
Devops 基 础 服 务 基 础 设 施
团队拉人 测试反馈 新建项目 预发 角色分配 上线
申请注册 提测
配置管理 过程看板
业务开发 …
前端组件库 数据库服务 反向代理
终端埋点 日志服务 注册中心
设计
1. 设计流于纸面， 无法约束开发 2. 缺乏指导方法， 视角不全 3. 架构设计风格 缺失
开发
1. 自动化自助化 理念弱 2. 业务功能补偿 技术缺陷
测试
1. 各配套测试环 境的搭建耗时 2. 自动化能力不 足
预上线
1. 应用部署复杂 度高 2. 预上环境的问 题反馈等管理弱
上线
1. 上下游环境配 置不透明，系统 拓扑不清晰 2. 被管资源多自 动化程度低
云计算平台架构设计与核心流程
平台 · 让创新无限
目录
看问题
找方法 做设计
看问题 --- 分析全生命周期各环节的常见问题
难以快速响应新需求 大规模支撑成本高 … 异常问题处理速度慢
信 息 流
市 场
新技术应用困难 …
商 业
客 户
需求 业 务 流
1. 缺乏从业务域 的梳理能力 2. 需求质量管理 能力弱
IAM 身份
SPM 产品
SRM 资源
SEM 环境
QAF 质量
UMC 运维
VCS 源码
CI 编译
BPR 介仓
DPR 部仓
PM 项目
MOC 模拟
DOC 文档
WIKI 知识
RDB 数据库
FS 文件系统
RPC 同步调用
MQ 异步调用
SER 序列化
CM 集群管理
RC 运行容器
SLB 负载均衡
LOG 日志
APM 性能监控
微服务开发
情景试验
交付
服务
客户行为评估
…
客户价值评估
…
合规性评估
…
合规性评估
…
绩效评估
…
可服务性评估
…
服务质量评估
治理
做设计 --- 需要两个视角
平台的视角
全景图
协作与分工
人的视角
做设计 --- 如何推演出全景图？
场景拆分
导出可自助、自动工作 划分领域系统
First App
？ 23 9
源图宣讲
API
SPI
NoSQL
REST
消 息 中 心
遥测服务
物联网设备
SPI
监控与通知
数据微服务
访问认证
API
日志与优化
Hadoop
MPP
DevOps
自动化服务
测试自动化
构建自动化
部署自动化
平台自动化
做设计 --- 如何推演组织架构和对应工作
全景图技术栈罗列
形成预研列表
人员能力划分
形成可互补的子团队
领域系统分层
过高的隐性成本
无价值活动 重复劳动 束缚创造力 过程黑盒 产品缺陷
缺乏架构升级的支持 隔离在虚拟社会之外
• • • • • 终端移动化 部署内容增多 依赖关系复杂 多次快速部署 灰度发布 • • • • 缺乏时效性数据 机械的统计报表 缺少端到端数据 无反馈闭环机制
落后的协作方式 让IT与客户渐行渐远
…
找方法 --- 你想到了什么？
Scrum
BAPO AI Digital
PDCA
Horizontal Organization DevOps
……
找方法 --- 要做广义的DevOps
创新白板
…
产品KPI看板
…
技术讨论区
…
协作
过程看板
…
情境交互室…
…
企业资产全图
…
用户互动中心
内外商业伙伴
产品管理
总体设计
示例：A产品集成了B产品，提供对外能力 A产品能力 API 逻辑 A产品 SPI Adapter B产品能力 API
最后 --- 还有一些设计…
一切皆资源
灰度发布
多租户
邀请
体验
测试
MVP
……
谢谢
平台 · 让创新无限
PM
SRM 触发
SPM
VCS
获取配置信息 提交 提交 BPR
SEM
CI
CaaS 认证 IAM
DPR
做设计 --- 开发视图
API = Application Programming Interface 应用程序接口
SPI = Service Provider Interface 服务提供者接口 API 和 SPI 的定义，独立于能力实现和资源依赖
etcd Docker Registry FTP Kubeschedule flannel Kube-api Kube-ctl
4C/8G/500G
数据备份
4C/8G/500G
4C/8G/200G
2C/4G/1T
做设计 --- 运行视图
管理节点运行视图
request
Portal
• 所有管理节点、所有微服务均运行与容器中 • 统一资源风格，restful调用