腾讯云架构师刘颖《腾讯云实践》

腾讯云实践之路
刘颖 微博：t.qq.com/virtualliu 微信：waitquiet
• • • •
腾讯云的使命 如何打造公有云网络 如果打造弹性计算平台 存储系统演进
解决 应用开发和运营难题
云托管 云支付
腾讯云
解决 用户引入和活跃问题
分享
云安全 云API
关系链
QQ账号分享
帐号登陆
邀请
解决 商业模式问题
QQ会员体系 短信支付
变现渠道
解决 营销营销问题
广告投放
Q币支付 社交广告变现
PC Push
特色排行
应用营销
厂商合作
云平台服务的应用DAU总和超过
1亿
DAU>100万的应用达到30款 最高同时在线超过10万的应用超过35款
请求 TGW集群 域名管理 云接入平台
静态加速
动态加速
AppServer
AppServer
云服务 账号 SVN服务 虚拟终端
外网负载均衡服务
监控告警
Case 3
Web服务
Web服务容器 (PHP/JAVA/Python…)
Web服务
Web服务容器 (PHP/JAVA/Python…)
通过CEE内部的7层负载均衡服务，将HTTP请求路由到对应 的Web服务，并映射到相应的Web服务器实例上。
全国两百多个就近接入点，数千台的接入服务器 智能名字解析服务，实现终端地域、运营商的精准识别 智能动态优选路由算法，保证接入点到源站的最优链路 TCP/HTTP协议深度优化，长连接，并发传输，冗余传输
Client ① ④
reqdata
cport cip vport vip TGW reqdata cport cip ip tunnel tgwip vmport vmip hostip 宿主机 reqdata vip
状态管理
流控
路由管理
安全
隧道管理
负载均衡
状态管理
流控
路由管理
健康检查 Virtual switch
健康检查 Virtual switch
物理网卡1
宿主机
物理网卡2
物理网卡1 宿主机 存储网络
物理网卡2
业务网络
就近接入 增大TCP的初始传输窗口 尽量避免超时重传 握手阶段携带数据 移动互联网时代，缓解了问题，但 是还不够
快速克隆 写 快照层x 写 快照层3 快照备份
快照层2
快照层1 母盘数据 第一次 快速回滚
快照方式：
Redirect-on-write (ROW) 快速盘克隆
快速rollback
-
Cloud Database提供便捷、易用、安全和省心的关系数据库服务 提供单机、主从和一主多从 (内部公测中)多种冗余架构 支持多种MySQL定制版本
AppServer
AppServer
AppServer
AppServer
CEE - 云弹性引擎平台
CVM - 云虚拟机平台
变更，流程系 统 客服、经分、 安全系统 管理Console
监控系统 调度决策系统
CMEM
CDB
……
CBS
URL fetch
COS
Pc Push
Cron
Cmq
资源管理系统
云系统管理平台
Case 4
动态调度
CEE通过内网负载均衡服务，使用虚拟IP/Port来访问内网 的用户数据，存储系统及其它服务。
7层负载均衡
路由配置
CPU Network I/O Memory
Case 5
CEE通过云服务帐号进行统一管理，开发者通过云服务帐 号访问SVN库并上传代码，使用页面配置功能进行部署在 CEE上的应用的页面配置，使用虚拟终端在Web服务器实 例上进行日志查看，使用路由配置功能获得CEE以外的其 它内网服务的虚拟IP/Port，使用Session服务实现分布 式session功能，使用FetchUrl访问外网服务
块设备LBA 写延时降低明显，IOPS显著提升 冷热分介质是降低成本很重要的手段 预读提升顺序读的能力 合适的合并写提升集群的写吞吐量 SSD集群系统 LRU系统 全局锁 降低虚拟化带来的损耗，提升并发度
调度系统
拥有SSD的性能，SATA的成本 业务和存储双平面，减小拥塞，提升 可用性
SATA集群系统
页面配置 安全审计 更多… 内网负载均衡服务
Case 6
CMEM CDB CMQ …
应用自己搭建在CVM上的内网服务
CEE通过自身的监控和日志上报系统自动上报和汇总日志 信息，反馈请求访问质量，为开发者提供指引性数据和视 图，并对部分需要开发者参与的故障或异常进行告警，以 便开发者及时解决问题。
Container
全内存，成本问题？
MEM集群
前置层
冷数据下沉，热数据激活
SSD集群
合并执行，可读写
写
原地址
搬 迁
新地址
每次合并搬迁尽可能多的数据。 扩容表空间，缩容表空间，故障迁移均由搬迁中心自动完成。
Thank You
云存储与服务平台 云门户平台（http://yun.qq.com）
静态加速 外网统一接入TGW BGP接入 http解析 DDos 状态管理 路由管理
动态加速
健康检查
隧道管理
vm1 App1
vm1
vm2
vm1 App1
vm1
vm2
App2
Netagent
App2
Netagent
安全
隧道管理
负载均衡
rspdata
cport
cip
vmport
vmip
vport
vip
cport
cip
虚拟机
连接延时同步，而短连接基本都在5秒内关闭，不会被同步，大大节省了同步流 量。
nr_conn
syncid size
conn_a conn_b
conn_c
TGW
组 播
TGW
sync pkt 组播 组 播 组 播
TGW
User
admin
•
Console APISvr Auth
• •
NameSvr
MQ
DB
LogSvr
•
Collector …. Scheduler …. Tasksvr …. Imagesvr …. Network ……
•
各组件通信协议统一，Http + Jason，异步通信提高效率 服务统一注册管理，消息队列 解耦 尽量保证数据的一致性，任务 可重入，冗余数据异步清理 不断迭代优化的装箱算法，提 高资源利用率 故障快速发现
NC
…. ….
NC
Case 1
CEE通过域名方式对外提供服务，通过域名代理层响应用 户的HTTP请求，分析HTTP请求，并转发到后端的Web服务 上；
通过域名提供外网服务，响 应来自用户的请求
Case 2
CEE提供基础架构以及支持多种语言环境的Web服务容器， 应用部署并运行在CEE的Web服务容器里，不同Web服务之 间是隔离的。1个Web服务对应1至多个Web服务器实例。
TGW
vm1 App1
vm1 App2
vm2
分布式部署于宿主机，kernel module提升性能
内网负载均衡，保留源端IP
Netagent 安全 隧道管理 负载均衡 状态管理 流控 路由管理
数据包双向控制，服务粒度鉴权 IP和MAC强鉴权，防篡改，防止sniffer
健康检查
Virtual switch 物理网卡1 母机 物理网卡2
Billing ……
监控 数据
动作 策略
CME M/CD B
更新
负载 均衡
实际资源使用率动态调度，提高单机的资源使用率 差异化镜像存储和P2P镜像传输，快速扩容 精度达5秒的细粒度监控，故障自动恢复
块设备LBA
CHXMast er CHXDຫໍສະໝຸດ Baidu/DU
CHXD /DU
便宜，读写延时太大
SATA集群系统
存储优化
MySQL内核优化
贴合互联网运营的数据统计 贴轻松解决连接数满问题 支持更多的中文火星文 让InnoDB跑的更快 CDB高性能版 CDB支持mysql5.6版本
CMEM 各业务管理
数据流向
Master主机 业务A
业务B
备件 Access接入群（全镜像) cache存储群 备件 备件
1:1镜像
rspdata
vport cport cip
BGP接入，简化用户使用成本 虚拟机外网IP漂移，动态添加和删除
②
③ rspdata vmport vmip hostip cport cip tgwip
TGW和宿主机之间Tunnel接入，虚拟机无感知
HTTP和四层负载均衡，真实源IP对用户可见 常见DDOS攻击防护
CVM
SVN
Container
Matrix
镜像扩容
数据采集
5 seconds
拉取代码
分析资源使用 是否达到临界 值 Trigger
执行扩缩容
CVM
产生扩缩容动作
告警策 略
IW
产生资源告警 获取动作策略
AS
分析告警应 该采取什么 动作
DES
获取告警策略
Front End
Variance Analysis