Alibaba (中文)

集群监 控 （神农）
金融云专属集群
金融行业案例：余额宝
IOE架构面临的问题 – 清算任务在150分钟内无法完成。 – 直销与清算的资源争抢。 – Oracle出现性能瓶颈 – 扩容周期长 – 直销的高并发实时开户请求，业务峰值高。 – 安全性与可靠性要求已经无法满足。
阿里云的解决方案 – 清算系统水平拆分，横向扩容。 – 双11清算35分钟内完成。 – 数据库去O，使用RDS，水平拆分，快速扩展 – 去IBM，使用ECS，资源弹性伸缩 – 按需付费，不会造成资源浪费 – 专线接入，两地三中心部署
新的架构
产品化
1. Ali MySQL分支 2. Oceanbase海量关系型数据库 3. Ali RDS（关系型数据库服务） 4. DRDS（分库分表技术） 5. OCS（缓存） 6. OSS (分布式存储) 7. ODPS（离线数据处理） 8. SLS日志分析系统
阿里云及金融解决案例
阿里云服务产品
Oracle ACE 6+
去IOE的缘由
• • • • •
成为制约业务发展的瓶颈 分布式 vs 集中式（线性扩展能力） 专用设备规模化场景下诸多限制 PC服务器处理能力增强(CPU，flash，大内存) 成本
去IOE如何做？
• • • • • • • MySQL TDDL(分库分表) Tair 缓存/tfs文本图片存储 数据分析 存储过程/函数 日志分析 其他
• 完全由第三方提供 • 云市场平台承载
二方产品
• Notify • OpenSearch • …
第三方产品（云市场）
云引擎 ACE 缓存服务 结构化数据服务
NoSQL
中间服务
日志服务
工作流
• 小部分By 阿里 • 大部分By 合作伙伴
云服务器 VPC
负载均衡 关系数据库服务
SQL
CDN
开放存储服务
虚拟服务器 存储与数据库
大数据
安全
PaaS
ECS
SLB
RDS
OSS
OTS
OCS
CDN
ODPS
CS
CM
ACE
ECS 云服务器 SLB 负载均衡
RDS 关系型数据库服务 OSS 开放存储服务 OTS 开放结构化数据服务 OCS 开放缓存服务 CDN 内容分发网络
ODPS 开放数据 处理服务 DPC 采云间
CS 云盾
CM 云监控
ACE 云引擎 SLS 简单日志服务 MQS 消息队列服务 PTS 性能测试服务 OpenSearch
OAS 开放归档服务
开放搜索服务
阿里云生态体系
个人开发者 中小企业、创业企业客户
中大型企业客户
行业解决方案
行业软件开发商
ISV
客户
应用服务
SI
工具市场
SaaS服务市场
系统集成商
停止
创建
object
释放
下载
RDS
OTS
删除
vip
迁移 创建
ODPS
部署生产周期
过保机器 零收益
过保
硬件故障
整体下线/局部替换
Idcfree维修
过保维修周期
阿里金融云总体规划
银行，基金，保险，证券，期货，小贷
金融能力开放
云支付接口6.0 金融沙箱 绿灯 合作伙伴的能力
金融行业合作伙伴
金融增值服务
SSH VPN 接入 IPsec VPN 专线接入 堡垒机服 务 异地灾难 备份 特殊设备 托管 架构支持 护航保障 数据安全 合规安全
网络基础架构
ABTN CSR-1 CSR-2
eBGP (private-as)
AGW Cluster ANAT Cluster
DSW
DSW
DSW
DSW
OSPF
ISR-1 ISR-2 ISR-3 ISR-4
ACTN
7
运维工具架构
研发流程
应用管理 研 发 支 撑 平 台 缺陷管理 变 更 管 控 平 台
AliClone
SSOP
IDCFree
SRMP
AliMonitor
标识系统 弱电系统 综合布线 容量规划 总控中心
IDB
DBFree
DRC
OceanBase ADHA
AliGuard
NetFrame
VPC DNS Defender
阿里系统技术研发方向
数据中心
微模块 技术美感 环境友好
AliRack整机柜 高性能 低功耗
阿里云
阿里技术保障
我们的历程
阿里最后一台IBM小型机下线
阿里巴巴骨干网 ABTN投入使用
2007
淘宝启动首个去 IOE项目
2010
首次实现5000台飞天集群， 万兆CDN上线 2013
2009 淘宝技术保障部 成立，成为统一 整合的阿里技术 保障的前身
2012 阿里集团技术保障 部整合完成 第一代AliRack 和 AliSwitch投入使 用
云监控
云盾
基础服务
全部 By 阿里
21
开放数据处理服务
大数据计算
阿里云的典型客户
个人站长 中小企业 大企业 互联网金融 政府 云政务 移动APP 游戏 电子商务
Apple App Store排名 Top40的APP，约20% 基于阿里云平台 基于阿里云的聚石塔电 商云平台2013年双十一 支撑了约1.8亿笔订单， 80%的商家后台 余额宝统一基于阿里云， 短短几个月基金规模超 过3000亿人民币
2014 保障余额宝上云 完成阿里集团监控 体系和支撑平台的 无缝整合
基础设施整体架构
用户
Ali-DNS
Ali-Guard
运营商
监 控 － 预 案
AliSLB
ABTN
ANAT
AliCDN
内外交互
WEB server 事业部 金融 数据
交易
飞天{MySQL|OceanBase}
架 构 － 优 化
OS | 基础服务| Ai 硬件 {Server|Storage| CPU|Rack} 网络 {无线|ABTN|OTN|SDN } IDC { 风|火|水|电|全球 }
云计算服务
弹性计算服务 (ECS) 负载均衡服务 (SLB) 关系型数据库 服务 (RDS) 开放数据存储 服务 (OSS) 开放数据处理 服务 (ODPS) 云盾 云监控
大规模分布式云操作系统（飞天）
集群部 署 （大禹）
分布式文件系统（盘古） 命名服务（女娲） 安全管理（钟馗）
任务调度（伏羲） 网络通讯（夸父） 分布协同（仓颉）
服务器
研发流程平台 资源自由伸缩 资源高效管理
自动化
100G / SDN T级流量分析 T级安全清洗
网络
分布式技术架构 云数据库ODPS
数据库
去IOE介绍
Ali ORACLE
RAC20-曾经的亚洲最大,Oracle界的传奇,当时的骄傲
2007 部署4节点RAC 10G; 2008 扩展到8节点RAC; 2009 扩展到20节点RAC;
去IOE关键点
MySQL的硬伤 1. 2. 3. 4. join查询/子查询/复杂查询。 数据分析 单实例性能瓶颈(分布式带来的问题) MySQL的门槛 (bug，使用门槛，debug)
去IOE改造点
1. 2. 3. 4. 5. 6. 7. 基础语法改造 复杂SQL改造 存储过程/函数的改造 集中式改造到分布式 上线之前的性能压测 数据迁移 …
Aliyun Confidential
云产品运维保障
采购交付周期
ECS API
释放 重置
SCM
PR
审 计、 风 控、 计 费、 监 控、 故 障 处 理
PO
SRM
压测 回归 云盾 傲盾
Armory
OpenAPI
OSS API
下单
vm/ip
迁移
SLB API
上传
Aliyun .com
部署 落日弓 大禹
阿里运维架构及云实践
王海亚 阿里技术保障资深技术专家 2014.9
阿里基础设施架构
去IOE介绍
阿里云及金融解决案例
2
阿里基础设施架构
阿里巴巴集团业务
Alibaba.com
Aliexpress
1688.com
支 付 宝
小 额 贷 款
保 险
基 金
淘 宝
天 猫
聚 划 算
菜 鸟
金融
电子商务 数据平台
物流
交付&变更
应用 发布 网络 变更 运 行 时 数 据 实 时 采 集 & 计 算 平 台 系统 监控 应用 监控 告警 管理
运行保障
系统 预案
RootCause
分析&优化
故障 管理 故障 预测 性能 基线 依赖 发现 比对校验
定位
源码管理
持续集成
系统 变更
应用 扩容
容量 管理
在线 压测 事件总线
故障 诊治
限流 保护
环境配置
编译构建
DB 变更
容灾 切换
离 线 数 据 分 析 平 台
任务调度/资源管理 AOM(Alibaba Operation Model)/AOL(Alibaba Operation Language) CMDB 配置管理 基线管理 依赖管理
数据库 数据中心
土建规划 环境设计 供配电系统 去IOE AliMySQL
谢谢关注，欢迎交流
@ 阿里技术保障
AliSwitch ABTN ACTN
AliSLB
网络架构
路由 Linux
交换
操作系统
网络
AliOS
服务器
运维自动化
自动化安装
制冷系统 自动化部署 Armory ASIC
FPGA
RAID
监控 I 安全 容量规划 性能优化
硅光 定制内核 OTN
阿里系统技术路线图
ຫໍສະໝຸດ Baidu硬件
AliStorage AliDNS AliRack Ext4 NTP