业务系统规划建议_2-10
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在线业务IT系统架构
| © 2010 EEDOO
© 2011 EEDOO Page 1
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
提纲
IT架构设计应重点思考问题 IT架构设计要求 预期目标设定
第2期
200,000
30%
100KB/s
200M
35m
说明： 峰值下载出现在系统软件升级及热门游戏发布时。 当系统软件升级，所有在线设备都会执行升级操作，从服务器下载升级包。下载方式 包括3种，其中耗费IDC带宽主要是ftp和http下载方式。
假设同时在线用户30%（经验值，待验证）会使用到下载功能，平均下行速度在 100KB/s，则100M的包下载时间在20分钟以内，丏下载行为平均分布在高峰期120分 钟内计算： 1）第一期： 24000 * 30% / 6 = 1200 并发下载 2）第二期： 200000 *30% / 6= 10000并发下载
| © 2010 EEDOO
Page 11
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
架构方案（南京机房）
南京IDC架构图
防火墙区规划 建立端口和数据包策略 启用NAT 主机系统规划建议
关闭无用的端口
EEDOO Confidential EEDOO Confidential
| © 2010 EEDOO
Page 16
EEDOO Confidential
EEDOO Confidential
| © 2010 EEDOO
Page 13
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
南京Site 业务系统架构
LVS 区 LVS区 由 Load Balancer 和 Server Pool组成 LVS区采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率， 将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障， 从而将一组服务器构成一个高性能的、高可用的虚拟服务器
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
南京Site 业务系统架构 接入链路方面 带宽 由于南京Site主要承载用户访问,下载服务等请求和流量,大带宽是保证业务服务 的基础
接入链路冗余 在条件允许的情况下,我们建议采用多链路来承载南京Site的服务 一方面,多链路接入 可以提供链路服务的冗余 另一方面, 多链路接入 方便流量控制和业务服务的管理 带宽和流量监控 监控带宽的使用情况,对进出流量,链路质量等进行监控和管理
说明： 1）第一期按实际可支撑20万台机器访问需求 按照终端每台机器平均3天开机一次， 登录量80%集中在中午2个小时和晚上4个小时两个时间段计算， 系统须能支撑200000/3 * 80% / 2 = 24000同时在线访问
2） 第二期按实际可支撑150万机器访问需求 算法同上， 系统须能支撑1500000/3 * 80% /2 =200000同时在线访问
| © 2010 EEDOO
Page 15
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
南京Site 业务系统部署说明
1.防火墙区规划
建立端口和数据包策略 端口规则 了解公司对内对外的应用以及所对应的源地址、目的地址、TCP或UDP的端口，并根据不同应用的执行频繁 程度对策率在规则表中的位置进行排序，然后才能实施配置 比如只开放 80,443,21等常用端口 数据包过滤 动态包过滤技术，动态维护通过防火墙的所有通信的状态（连接），基于连接的过滤 启用NAT 利用NAT技术，将有限的IP地址动态或静态地与内部的IP地址对应起来，用来缓解地址空间短缺的问题 建立安全区域 可以设置信任域与不信任域之间数据出入的策略 比如 只接受特定IP段 或者 域名的访问请求 建立VPN远程管理通道 具有VPN功能，可以实现跨互联网安全的远程访问 自定义规则 可以定义规则计划，使得系统在某一时可以自动启用和关闭策略 比如某些应用或者流量 只在出现特定的时间段, 那么针对这个应用或流量启用自定义规则 防火墙日志记录和分析 建立防火墙日志记录，对防火墙日志进行分析
• • • • • •
| © 2010 EEDOO
Page 8
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
指标测算预估（二）
并发下载预估： 序号 第1期 同时在线用户 24,000 并发下载率 30% 平均下载速度 100KB/s 下载包 200M 下载时长 35m
| © 2010 EEDOO Page 6
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
指标测算预估（三）
web页面并发访问预估： 序号 第1期 第2期 在线访问用户量 20万 150万 PV值 50万 350万 访问率 80% 80% 访问高峰期 6小时 6小时
删除丌用的软件包 丌设置缺省路由 口令管理
建立安全区域
建立VPN进程管理通道 自定义规则 防火墙日志记录和分析 网络部分规划建议 建立VLAN保护区
分区管理
防范网络嗅探 完整的日志管理 终止正迚行的攻击 使用安全工具软件 使用私有IP地址 选择发行版本 补丁问题
| © 2010 EEDOO
Page 12
| © 2010 EEDOO
Page 7
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
指标测算预估（四）
Web页面访问带宽配置： • 根据业务设计能力，并考虑到网络带宽利用率40%（40%为效率最佳，利用率到70%为 极限值） 游戏详细介绍页面和首页平均大小500KB， 假设用户等待容忍时间为10秒 峰值并发增加率，通常取30% 我们需要的web带宽为： 一期： 25 *500KB * 130% / 10/0.4 = 1625KB = 30Mb 二期： 180 *500KB * 130% / 10/0.4 =800MB =200Mb
前端的调度器（Linux Director）有可能成为系统的单一失效点。为了避免调度器 失效导致整个系统不能工作，设立调度器的备份调度器
Linux Director和Backup直接通过心跳线来相互汇报各自的健康情况。当备份调度 器不能听得主调度器的心跳时，备份调度器会接管主调度器的工作来提供负载调度 服务
940Mb 7.8Gb
第一期： 下载峰值需求带宽940Mbps， 其中50%通过P2P方式，节省IDC流量， 剩下50%的带宽预估470Mbps 第二期： 10000并发下载×１００ＫＢ＝7.8Gb，其中80%通过P2P方式， 剩下20%带宽预估1.6Gbps
| © 2010 EEDOO
Page 10
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
IT架构部署分配初步方案（一）
•南京机房部署服务
SSL网关讣证服务器 负载均衡策略分发服务器 下载文件服务器 P2P服务器 在线商店Web Server Web cache memory cache
IT架构设计应重点思考问题（一）
•抗风险能力 从机房环境、软硬件故障、防攻击策略，灾备机制、数据备份策略等环节都做到深入分 析并提供解决方案 •支撑高并发量访问/下载能力 支持50万-100万台终端设备的online服务； 初期需支持2400人同时在线ftp及http下载；后期根据实际需要可随时扩展 web server应支持150次/s的并发访问请求； 考虑数据库最大连接数 •大容量文件下载的用户体验 用户通过online系统下载的游戏及应用安装包尺寸很大，在超过100MB游戏下载时需要 系统保证用户下载体验
| © 2010 EEDOO
Page 3
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
IT架构设计应重点思考问题（二）
• 关注可能造成瓶颈的因素并予以应对 通过负载均衡，集群，cache 等手段对访问迚行分流，提升系统响应效率降低系统 负荷压力 • 可扩展性 IT架构需具备高度伸缩性，基础架构稳固丌轻易改变，在业务处理量增加以及业务
指标测算预估
IT架构扩展-硬件扩容策略 IT架构部署分配初步方案
成本核算
风险评估 架构方案实施详细说明 运维方案制订
| © 2010 源自文库EDOO
Page 2
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
| © 2010 EEDOO
Page 14
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
南京Site 业务系统架构
负载均衡器（Load Balancer） 负责均衡器由前端调度器（Linux Director）和备份调度器（Backup）组成 负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求 发送到一组服务器上执行，而客户认为服务是来自一个IP地址上的。它可以是用IP 负载均衡技术的负载调度器，也可以是基于内容请求分发的负载调度器，还可以是 两者的结合
IT架构设计要求
高可用性： 将停止服务时间降低到最低甚至是丌间断服务 安全性： 结构上的安全及主机的安全策略 高性能可靠性： 经过优化的体系结构及合理的备份策略 可扩展性： 随着访问的增加，系统具备良好的伸缩能力 可视性： 系统、服务的状态处亍一个实时的监控乊下
| © 2010 EEDOO
Page 5
覆盖范围扩大后可以通过硬件设备的扩充即满足业务支撑需求
• 从IT基础架构上支持分布式软件系统 北京IDC软件系统采用集群架构，中心和地方系统
| © 2010 EEDOO
Page 4
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
说明： web页面请求大量集中在appstore的访问上。20万台机器以每天1/2开机上线预估，每天 10万人在线，其中访问appstore的以50%，即50000人估计，人均PV=10，那么总日PV 即50万。按80%访问量集中在6个小时乊内，页面并发访问平均值在25次/秒 2期支撑150万台机器在线访问，PV按350万预计， 计算方法同上，并发访问均值预计为 180次/秒
| © 2010 EEDOO Page 9
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
指标测算预估（五）
下载带宽预测： 序号 网络带宽计算公式 网络带宽预估
第1期 第2期
100KB * 8 * 1200 / 1024 100KB * 8 * 10000 / 1024
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
指标测算预估（一）
预设两期目标： 序号 第1期 第2期 实际可支撑客户端 20万 150万 开机间隔时间 3天 3天 在线率 80% 80% 最多同时在线客户端 24,000 200,000
| © 2010 EEDOO
© 2011 EEDOO Page 1
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
提纲
IT架构设计应重点思考问题 IT架构设计要求 预期目标设定
第2期
200,000
30%
100KB/s
200M
35m
说明： 峰值下载出现在系统软件升级及热门游戏发布时。 当系统软件升级，所有在线设备都会执行升级操作，从服务器下载升级包。下载方式 包括3种，其中耗费IDC带宽主要是ftp和http下载方式。
假设同时在线用户30%（经验值，待验证）会使用到下载功能，平均下行速度在 100KB/s，则100M的包下载时间在20分钟以内，丏下载行为平均分布在高峰期120分 钟内计算： 1）第一期： 24000 * 30% / 6 = 1200 并发下载 2）第二期： 200000 *30% / 6= 10000并发下载
| © 2010 EEDOO
Page 11
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
架构方案（南京机房）
南京IDC架构图
防火墙区规划 建立端口和数据包策略 启用NAT 主机系统规划建议
关闭无用的端口
EEDOO Confidential EEDOO Confidential
| © 2010 EEDOO
Page 16
EEDOO Confidential
EEDOO Confidential
| © 2010 EEDOO
Page 13
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
南京Site 业务系统架构
LVS 区 LVS区 由 Load Balancer 和 Server Pool组成 LVS区采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率， 将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障， 从而将一组服务器构成一个高性能的、高可用的虚拟服务器
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
南京Site 业务系统架构 接入链路方面 带宽 由于南京Site主要承载用户访问,下载服务等请求和流量,大带宽是保证业务服务 的基础
接入链路冗余 在条件允许的情况下,我们建议采用多链路来承载南京Site的服务 一方面,多链路接入 可以提供链路服务的冗余 另一方面, 多链路接入 方便流量控制和业务服务的管理 带宽和流量监控 监控带宽的使用情况,对进出流量,链路质量等进行监控和管理
说明： 1）第一期按实际可支撑20万台机器访问需求 按照终端每台机器平均3天开机一次， 登录量80%集中在中午2个小时和晚上4个小时两个时间段计算， 系统须能支撑200000/3 * 80% / 2 = 24000同时在线访问
2） 第二期按实际可支撑150万机器访问需求 算法同上， 系统须能支撑1500000/3 * 80% /2 =200000同时在线访问
| © 2010 EEDOO
Page 15
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
南京Site 业务系统部署说明
1.防火墙区规划
建立端口和数据包策略 端口规则 了解公司对内对外的应用以及所对应的源地址、目的地址、TCP或UDP的端口，并根据不同应用的执行频繁 程度对策率在规则表中的位置进行排序，然后才能实施配置 比如只开放 80,443,21等常用端口 数据包过滤 动态包过滤技术，动态维护通过防火墙的所有通信的状态（连接），基于连接的过滤 启用NAT 利用NAT技术，将有限的IP地址动态或静态地与内部的IP地址对应起来，用来缓解地址空间短缺的问题 建立安全区域 可以设置信任域与不信任域之间数据出入的策略 比如 只接受特定IP段 或者 域名的访问请求 建立VPN远程管理通道 具有VPN功能，可以实现跨互联网安全的远程访问 自定义规则 可以定义规则计划，使得系统在某一时可以自动启用和关闭策略 比如某些应用或者流量 只在出现特定的时间段, 那么针对这个应用或流量启用自定义规则 防火墙日志记录和分析 建立防火墙日志记录，对防火墙日志进行分析
• • • • • •
| © 2010 EEDOO
Page 8
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
指标测算预估（二）
并发下载预估： 序号 第1期 同时在线用户 24,000 并发下载率 30% 平均下载速度 100KB/s 下载包 200M 下载时长 35m
| © 2010 EEDOO Page 6
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
指标测算预估（三）
web页面并发访问预估： 序号 第1期 第2期 在线访问用户量 20万 150万 PV值 50万 350万 访问率 80% 80% 访问高峰期 6小时 6小时
删除丌用的软件包 丌设置缺省路由 口令管理
建立安全区域
建立VPN进程管理通道 自定义规则 防火墙日志记录和分析 网络部分规划建议 建立VLAN保护区
分区管理
防范网络嗅探 完整的日志管理 终止正迚行的攻击 使用安全工具软件 使用私有IP地址 选择发行版本 补丁问题
| © 2010 EEDOO
Page 12
| © 2010 EEDOO
Page 7
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
指标测算预估（四）
Web页面访问带宽配置： • 根据业务设计能力，并考虑到网络带宽利用率40%（40%为效率最佳，利用率到70%为 极限值） 游戏详细介绍页面和首页平均大小500KB， 假设用户等待容忍时间为10秒 峰值并发增加率，通常取30% 我们需要的web带宽为： 一期： 25 *500KB * 130% / 10/0.4 = 1625KB = 30Mb 二期： 180 *500KB * 130% / 10/0.4 =800MB =200Mb
前端的调度器（Linux Director）有可能成为系统的单一失效点。为了避免调度器 失效导致整个系统不能工作，设立调度器的备份调度器
Linux Director和Backup直接通过心跳线来相互汇报各自的健康情况。当备份调度 器不能听得主调度器的心跳时，备份调度器会接管主调度器的工作来提供负载调度 服务
940Mb 7.8Gb
第一期： 下载峰值需求带宽940Mbps， 其中50%通过P2P方式，节省IDC流量， 剩下50%的带宽预估470Mbps 第二期： 10000并发下载×１００ＫＢ＝7.8Gb，其中80%通过P2P方式， 剩下20%带宽预估1.6Gbps
| © 2010 EEDOO
Page 10
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
IT架构部署分配初步方案（一）
•南京机房部署服务
SSL网关讣证服务器 负载均衡策略分发服务器 下载文件服务器 P2P服务器 在线商店Web Server Web cache memory cache
IT架构设计应重点思考问题（一）
•抗风险能力 从机房环境、软硬件故障、防攻击策略，灾备机制、数据备份策略等环节都做到深入分 析并提供解决方案 •支撑高并发量访问/下载能力 支持50万-100万台终端设备的online服务； 初期需支持2400人同时在线ftp及http下载；后期根据实际需要可随时扩展 web server应支持150次/s的并发访问请求； 考虑数据库最大连接数 •大容量文件下载的用户体验 用户通过online系统下载的游戏及应用安装包尺寸很大，在超过100MB游戏下载时需要 系统保证用户下载体验
| © 2010 EEDOO
Page 3
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
IT架构设计应重点思考问题（二）
• 关注可能造成瓶颈的因素并予以应对 通过负载均衡，集群，cache 等手段对访问迚行分流，提升系统响应效率降低系统 负荷压力 • 可扩展性 IT架构需具备高度伸缩性，基础架构稳固丌轻易改变，在业务处理量增加以及业务
指标测算预估
IT架构扩展-硬件扩容策略 IT架构部署分配初步方案
成本核算
风险评估 架构方案实施详细说明 运维方案制订
| © 2010 源自文库EDOO
Page 2
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
| © 2010 EEDOO
Page 14
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
南京Site 业务系统架构
负载均衡器（Load Balancer） 负责均衡器由前端调度器（Linux Director）和备份调度器（Backup）组成 负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求 发送到一组服务器上执行，而客户认为服务是来自一个IP地址上的。它可以是用IP 负载均衡技术的负载调度器，也可以是基于内容请求分发的负载调度器，还可以是 两者的结合
IT架构设计要求
高可用性： 将停止服务时间降低到最低甚至是丌间断服务 安全性： 结构上的安全及主机的安全策略 高性能可靠性： 经过优化的体系结构及合理的备份策略 可扩展性： 随着访问的增加，系统具备良好的伸缩能力 可视性： 系统、服务的状态处亍一个实时的监控乊下
| © 2010 EEDOO
Page 5
覆盖范围扩大后可以通过硬件设备的扩充即满足业务支撑需求
• 从IT基础架构上支持分布式软件系统 北京IDC软件系统采用集群架构，中心和地方系统
| © 2010 EEDOO
Page 4
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
说明： web页面请求大量集中在appstore的访问上。20万台机器以每天1/2开机上线预估，每天 10万人在线，其中访问appstore的以50%，即50000人估计，人均PV=10，那么总日PV 即50万。按80%访问量集中在6个小时乊内，页面并发访问平均值在25次/秒 2期支撑150万台机器在线访问，PV按350万预计， 计算方法同上，并发访问均值预计为 180次/秒
| © 2010 EEDOO Page 9
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
指标测算预估（五）
下载带宽预测： 序号 网络带宽计算公式 网络带宽预估
第1期 第2期
100KB * 8 * 1200 / 1024 100KB * 8 * 10000 / 1024
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
EEDOO Confidential
指标测算预估（一）
预设两期目标： 序号 第1期 第2期 实际可支撑客户端 20万 150万 开机间隔时间 3天 3天 在线率 80% 80% 最多同时在线客户端 24,000 200,000