腾讯云架构设计——刘颖：腾讯云架构师

健康检查
Virtual switch
路由管理
隧道管理
健康检查
Virtual switch
路由管理
物理网卡1
宿主机
物理网卡2
物理网卡1 宿主机 存储网络
物理网卡2
业务网络
从静态加速到动态加速
SACC2013
CDN就近接入
增大TCP的初始传输窗口
丢包快速重传而不是超时重传 Tcp fast open，握手阶段携带数据 移动互联网时代，缓解了问题，但 是还不够
云服务 账号
外网负载均衡服务
监控告警
Case 3
SVN服务
虚拟终端
Web服务
Web服务容器 (PHP/JAVA/Python…)
Web服务
Web服务容器 (PHP/JAVA/Python…)
通过CEE内部的7层负载均衡服务，将HTTP请求路由到对应 的Web服务，并映射到相应的Web服务器实例上。
Case 4
厂商合作
腾讯云前世今生
SACC2013
云平台服务的应用DAU总和超过
1亿
DAU>100万的应用达到30款 最高同时在线超过10万的应用超过35款
腾讯云总体架构
请求
TGW集群 域名管理 云接入平台 静态加速 动态加速
SACC2013
AppServer
AppServer
AppServer
AppServer
腾讯云网络架构
静态加速 外网统一接入TGW
SACC2013
动态加速
BGP接入
http解析
DDos
状态管理
路由管理
健康检查
隧道管理
vm1 App1
vm1 App2
vm2
vm1 App1
vm1 App2
vm2
Netagent
安全 负载均衡 状态管理 流控 安全 负载均衡
Netagent
状态管理 流控
隧道管理
CDB的优化
存储优化
SACC2013
MySQL内核优化
贴合互联网运营的数据统计 贴轻松解决连接数满问题 支持更多的中文火星文 让InnoDB跑的更快 CDB高性能版 CDB支持mysql5.6版本
SACC2013
腾讯云
SACC2013
• 腾讯云网址：http://yun.qq.com • 腾讯云微信公众帐号：TencentCloud • 腾讯云微博：http://t.qq.com/Tencent_Cloud
SACC2013
写延时降低明显，IOPS显著提升 冷热分介质是降低成本很重要的手段 预读提升顺序读的能力
合适的合并写提升集群的写吞吐量
SSD集群系统 LRU系统 全局锁 调度系统
降低虚拟化带来的损耗，提升并发度 拥有SSD的性能，SATA的成本
业务和存储双平面，减小拥塞，提升 可用性
SATA集群系统
NC
…. ….
NC
CEE(Cloud Elastic Engine)
Case 1
SACC2013
CEE通过域名方式对外提供服务，通过域名代理层响应用 户的HTTP请求，分析HTTP请求，并转发到后端的Web服务 上；
通过域名提供外网服务，响 应来自用户的请求
Case 2
CEE提供基础架构以及支持多种语言环境的Web服务容器， 应用部署并运行在CEE的Web服务容器里，不同Web服务之 间是隔离的。1个Web服务对应1至多个Web服务器实例。
虚拟机
TGW外网统一接入
SACC2013
每个连接创建5秒后才同步，而短连接基本都在5秒内关闭，不会被同步，大大节 省了同步流量。
nr_conn
syncid size
conn_a conn_b
conn_c
TGW
组 播
TGW
sync pkt
组播
组 播
组 播
TGW
TGW
宿主机网络控制
SACC2013
vm1 App1
Client ① ④
reqdata
cport vport
rspdata
vport vip TGW cport cip
BGP接入，简化用户使用成本 虚拟机外网IP漂移，动态添加和删除
cip
vip
② reqdata cport cip ip tunnel tgwip vmport vmip hostip
SACC2013
Thank You
vm1 App2
vm2
分布式部署于宿主机，kernel module提升性能
内网负载均衡，保留源端IP
Netagent 安全 隧道管理 负载均衡 状态管理 流控 路由管理
数据包双向控制，服务粒度鉴权 IP和MAC强鉴权，防篡改，防止sniffer
健康检查
Virtual switch
物理网卡1
母机
物理网卡2
AppServer
AppServer
CEE - 云弹性引擎平台
CVM - 云虚拟机平台
变更，流程系 统 客服、经分、 安全系统
监控系统 调度决策系统
CMEM
CBS URL fetch
CDB
COS Pc Push
……
Cron Cmq
管理Console
资源管理系统
云系统管理平台
云存储与服务平台 云门户平台（http://yun.qq.com）
③ rspdata vmport vmip hostip cport cip tgwip
TGW和宿主机之间Tunnel接入，虚拟机无感知
HTTP和四层负载均衡，真实源IP对用户可见 常见DDOS攻击防护
宿主机 reqdata rspdata
cport cip
vmport vmip
vport vip
cport cip
监控 数据
动作 策略
CME M/CD B
更新
负载 均衡
精度达5秒的细粒度监控，故障自动恢复 实际资源使用率动态调度，提高单机的资源使用率
第一代CBS云盘
块设备LBA
SACC2013
CHXMast er CHXD /DU
CHXD /DU
便宜，读写延时太大
SATA集群系统
第二代CBS云盘
块设备LBA
SACC2013
腾讯云架构设计
刘颖 微博：t.qq.com/virtualliu 微信：waitquiet
大纲
SACC2013
• • • •
腾讯云简介 网络架构演进 虚拟化架构演进 存储架构演进
腾讯云前世今生
SACC2013
Web层引擎 分布式文件系统 云网络
逻辑层引擎 分布式key value 操作系统
页面配置 安全审计 更多… 内网负载均衡服务
Case 6
CMEM CDB CMQ …
应用自己搭建在CVM上的内网服务
CEE通过自身的监控和日志上报系统自动上报和汇总日志 信息，反馈请求访问质量，为开发者提供指引性数据和视 图，并对部分需要开发者参与的故障或异常进行告警，以 便开发者及时解决问题。
CEE资源自动调度
移动加速系统架构
SACC2013
全国两百多个就近接入点，数千台的接入服务器 智能名字解析服务，实现终端地域、运营商的精准识别 智能动态优选路由算法，保证接入点到源站的最优链路 TCP/HTTP协议深度优化，长连接，并发传输，冗余传输
移动加速效果
SACC2013
SACC2013 TGW（Tencent Gateway）外网统一接入
动态调度
CEE通过内网负载均衡服务，使用虚拟IP/Port来访问内网 的用户数据，存储系统及其它服务。
7层负载均衡
路由配置
CPU Network I/O Memory
Case 5
CEE通过云服务帐号进行统一管理，开发者通过云服务帐 号访问SVN库并上传代码，使用页面配置功能进行部署在 CEE上的应用的页面配置，使用虚拟终端在Web服务器实 例上进行日志查看，使用路由配置功能获得CEE以外的其 它内网服务的虚拟IP/Port，使用Session服务实现分布 式session功能，使用FetchUrl访问外网服务
负载均衡 数据库服务 虚拟化服务
腾讯云使命
解决 应用开发和运营难题
云托管
SACC2013
解决 用户引入和活跃问题
分享
云安全
腾讯云
云支付
云API
关系链
QQ账号分享
帐号登陆
邀请
解决 商业模式问题
QQ会员体系 短信支付
变现渠道
解决 营销营销问题
广告投放
Q币支付 社交广告变现
PC Push 应用营销
特色排行
CBS云盘快照
快速克隆 写 快照层x
SACC2013
写
快照层3 快照层2 快照层1 快速回滚 第一次 快照备份
母盘数据
快照方式：
Redirect-on-write (ROW) 快速盘克隆 快速rollback
CDB
-
SACC2013
Cloud Database提供便捷、易用、安全和省心的关系数据库服务 提供单机、主从和一主多从 (内部公测中)多种冗余架构 支持多种MySQL定制版本
Container container SVN
SACC2013
Container
数据采集
5 seconds
拉取代码
分析资源使用 是否达到临界 值 Trigger
执行扩缩容 产生扩缩容动作
告警策 略
IW
产生资源告警 获取动作策略
AS
分析告警应 该采取什么 动作
DES
获取告警策略
Front End Variance Analysis Billing ……
虚拟化平台
User admin
SACC2013
•
Console APISvr Auth
• • •
NameSvr
MQ
DB
LogSvr
源自文库
Collector …. Scheduler ….
Tasksvr
…. Imagesvr …. Network ……
•
各组件通信协议统一，Http + Jason，异步通信提高效率 服务统一注册管理，消息队列 解耦 尽量保证数据的一致性，任务 可重入，冗余数据异步清理 不断迭代优化的装箱算法，提 高资源利用率 故障快速发现