企业虚拟化架构

生产业务、备份 采用分布式虚拟交换机工 作方式
企业虚拟化平台设计要点—网络使用及划分原则
虚拟化交换机分别使用 Standard vSwitch 与 Distribution vSwitch 两种虚拟交换机 虚拟网需要划分为 Kernel （ Management ）、 vMontion 、备份、生产网络、趋势 vCenter 相关的虚拟机需要使用 Standard vSwitch 生产虚拟机使用 Distribution vSwitch 生产业务网络 Distribution 交换机边界为单个集群 备份网 distribution 交换机边界为数据中心 网络上连均使用冗余链路 虚拟网络 Port Group 使用基于端口 ID 的负载均衡方式 管理网络为主备、其余为全活模式 HP VC 模块与上连交换机使用主备切换方式 所连接物理交换机均使用 Trunk 方式
双活集群设计原则— HA 集群数据存储检测
当 管理网络 发 生故障 时 ， vSphere HA 使用数据存储来监控主机和虚拟机 。
选择各 自 Site 的所属 LUN （ 2 个 LUN ）
内 容
基础架构规划设计
• 虚拟化架构拓扑 • 虚拟化网络规划设计 • 虚拟化存储规划设计 • 虚拟化集群规划设计 • 虚拟化资源池规划设计 • 虚拟机部署原则 • 虚拟化基础组件规划设计 • 虚拟化平台监控管理
目标架构详细设计 - 本地集群设计
Cluster 设计 HA 整体策略为 14+2 的 HA 集群高可用方式； 其中 14 表示在使用的 14 台 ESXi 服务器， 2 表示两台热备机器。 DRS 整体策略为半自动模式； 通过 DRS 平衡虚拟服务器放置的最佳资源位置，以让虚拟平台管理员进行灵活手动抉择
内 容
基础架构规划设计
• 虚拟化架构拓扑 • 虚拟化网络规划设计 • 虚拟化存储规划设计 • 虚拟化集群规划设计 • 虚拟化资源池规划设计 • 虚拟机部署原则 • 虚拟化基础组件规划设计 • 虚拟化平台监控管理
虚拟化网络平台架构规划规范标准
虚拟交换机描述：
管理、 vMotion 、安全 采用标准虚拟交换机工作 方式
低
ISO 与模板使用单独 LUN 去存储 推荐：尽量使所有虚拟机资源按对存储性能需求的不同，均衡分 布至不同的 DataStore 上
HP 刀片存储连接架构
生产虚拟化平台设计要点—存储使用及划分原则
存储现有配置属性 1. 数据存储 -DataStore
2. 裸设备映射 -RDM
内 容
基础架构规划设计
2. 分布式交换机 （ 1 ）备份网
企业虚拟化平台设计要点—网络使用及划分原则
2. 分布式交换机 （ 2 ）业务域
企业虚拟化平台设计要点— vSwitch 划分
内 容
基础架构规划设计
• 虚拟化架构拓扑 • 虚拟化网络规划设计 • 虚拟化存储规划设计 • 虚拟化集群规划设计 • 虚拟化资源池规划设计 • 虚拟机部署原则 • 虚拟化基础组件规划设计 • 虚拟化平台监控管理
定 义 原则： 主机 角色 为 APP or 属于银牌计 算 资源池的 VM
VM 启 动 优先 级：低
定 义 原则： 主机 角色 为 WEB or 属于铜牌计 算 资源池的 VM
本地集群设计原则— HA 集群 VM 监控
虚拟机监控 状态 : 禁 用 如果在给定时间内未收到 VMware Tools 检测信号，虚拟机监控功能会 重新启动各虚拟机。
企业虚拟化平台设计要点—网络使用及划分原则
端口组现有配置 1. 标准交换机 （ 1 ）管理 （ 2 ） Vmotion （ 3 ）趋势
企业虚拟化平台设计要点—网络使用及划分原则
端口组现有配置 1. 标准交换机 （ 1 ）管理 （ 2 ） Vmotion （ 3 ）趋势
企业虚拟化平台设计要点—网络使用及划分原则
虚拟化平台资源划分原则
在本期虚拟化项目中，将在所有 VMware Cluster 中建立金牌、银牌和铜牌资源池 ; 将不同的应用系统下的虚拟机按关键程度不同，放入对应资源池级别； 各资源池划分如下：
计 算 资源池 金牌资源池 vCPU 资源预留 存储 IO 保证 网络 IO 保证 vCPU 资源限制 vMEM 资源预留 vMEM 资源限制 资源 Share 抢占 启动级别 每台虚拟机 每台虚拟机 无 无 每台虚拟机 无 60% 优先 存储资源池 金牌资源池 银牌资源池 5000~8000 √ X 15K SAS 盘 raid5 铜牌资源池 小于 5000 X X 15K SAS 盘 raid5 每个 LUN IOPS 能 力 FAST Cache FAST VP 磁盘类型 10000~1300 0 √ X 15K SAS 盘 raid10 银牌资源池 无 每台虚拟机 无 无 无 无 30% 较低 铜牌资源池 无 每台虚拟机 无 无 无 无 10% 最低
企业虚拟化平台架构
内 容
基础架构规划设计
• 虚拟化架构拓扑 • 虚拟化网络规划设计 • 虚拟化存储规划设计 • 虚拟化集群规划设计 • 虚拟化资源池规划设计 • 虚拟机部署原则 • 虚拟化基础组件规划设计 • 虚拟化平台监控管理
企业虚拟化平台设计要点—架构拓扑
本地数据中心集群
跨数据中心集群
本地数据中心集群
本地集群设计原则— HA 集群数据存储检测
当 管理网络 发 生故障 时 ， vSphere HA 使用数据存储来监控主机和虚拟机 。
选择 其中 任何 集群数据存储
目标架构详细设计 - 跨数据中心双活集群设计
EMC VPLEX 存储虚拟化技术结合 VMware 虚拟化平台软件在线迁移技术打破了地 域的壁垒实现了跨物理数据中心的平台系统在线透明的迁移 2 个物理数据中心的 8 台刀片服务器形成一个虚拟化集群，每个数据中心 1 台备机 存储利用 VPLEX Metro 技术进行空间的交付、同步，满足集群中服务器的数据访 问的读写调度 项目初期建设中双活数据中心虚拟化集群先为测试开发所用
Leabharlann Baidu
Resource Pool
VMware ESX
VMware ESX
VMware ESXi
Operating Server
Operating Server
Operating Server
本地集群设计原则
vSphere 集群 功 能策略定 义
启用主机监控 vSphere HA 策略定义 开启 配置指定故障切换主机（参考规划原则） 自动化级别：半自动 迁移阀值：保守 - 激进 中间级别 vSphere DRS 策略定义 开启 不设置 DRS 组 无 DRS 规则 所有 VM 遵循默认自动化级别 关闭电源管理功能 虚拟机的交换文件策略：将交换文件存储在与虚拟机相同的目录中（推荐） 启用接入控制
双活集群设计原则— HA 集群 VM 选项策略
1. HA 集群 默认 的主机 隔离 响应策略为：保 持打开电 源
2. HA 集群 默认 的 VM 重新启 动 优先 级策略为：中等 VM 启 动 优先 级：高
定 义 原则： 主机 角色 为 DB or 属于金牌计 算 资源池的 VM & DC 域控 制 器
HP 刀箱与存储物理连接架构 -VPLEX 拓扑
双活集群设计原则
vSphere 集群 功 能策略定 义
启用主机监控 vSphere HA 策略定义 开启 配置指定故障切换主机（参考规划原则） 自动化级别：半自动 迁移阀值：保守 - 激进 中间级别 vSphere DRS 策略定义 开启 不设置 DRS 组 无 DRS 规则 所有 VM 遵循默认自动化级别 关闭电源管理功能 虚拟机的交换文件策略：将交换文件存储在与虚拟机相同的目录中（推荐） 启用接入控制
生产虚拟化平台设计要点—存储资源使用及划分原则
根据不同应用系统下虚拟机对存储性能需求不同，将虚拟机分别放至
高
不同等级的存储资源池内 单独 LUN 容量不超过 2TB VMWare DataStore 与 LUN 一对一对应关系 每个 DataStore 空间使用不得超过 80% 每个 DataStore 上运行的 VMDK 不超过 12 个 物理服务器与存储系统连接均使用冗余链路 本期为每个 Cluster 预留两个 DataStore 存储资源做为性能资源调配使用
本地集群设计原则— HA 集群 VM 选项策略
1. HA 集群 默认 的主机 隔离 响应策略为：保 持打开电 源 2. HA 集群 默认 的 VM 重新启 动 优先 级策略为：中等 VM 启 动 优先 级：高
定 义 原则： 主机 角色 为 DB or 属于金牌计 算 资源池的 VM
VM 启 动 优先 级：中等
• 虚拟化架构拓扑 • 虚拟化网络规划设计 • 虚拟化存储规划设计 • 虚拟化集群规划设计 • 虚拟化资源池规划设计 • 虚拟机部署原则 • 虚拟化基础组件规划设计 • 虚拟化平台监控管理
集群设计整体原则
利用 HP 刀片服务器部署 vSphere 虚拟化软件整合现有传统服务应用系统建设基础架构平台： Cluster 按应用类型不同，分为本地集群与跨数据中心双活集群 以网络安全区域为主，不同的网络安全域建设相应的 Cluster ，每个 Cluster 尽量少跨安全域 从本地冗余设计来看一个 Cluster 至少分布于两个刀笼 每个 Cluster 根据具备的虚拟机下的资源需求不同， Cluster 里的服务器数量以Ｎ +2 的形式 以保证充分的冗余度（双活 Cluster 指定故障机分布部署在 2 个数据中心） 每个 Cluster 里的 ESXi 主机数量最大 32 个根据最佳实践不超过 16 个 每个 ESXI 主机命名格式： < 厂商名称 >-< 型号 >.< 域名 > 例子 HP-BL685371.ve.XXX.com 数据中心命名格式： < 数据中心位置 >_< 编号 > 在 VMware Cluster 内均启用 HA 功能 VMware DRS 功能启用级别为 3 使用半自动方式 关闭所有服务器的 DPM （电源管理功能） 例子： DC_SD_1
企业虚拟化平台设计要点—高可用设计
集群规划 • 本地及跨数据中心集群预留 1-2 个刀片资源满足故障后的自动切换需 求 • 集群跨刀箱部署，降低故障影响 • 每台物理主机运行 4 台虚拟机并且遵循不超分资源原则 网络规划 • 物理及虚拟化网络全冗余网络连接，消除单 点网络故障点 • 虚拟化层内置的负载均衡策略满足链路的带 宽需求 存储规划 • 存储网络连接采用 4 路 4G 链路冗余负载 • 每个集群预留 2 个存储 LUN 作为性能及空间的调 配使用
业务系统分级 - 资源池分层设计
整个架构中分为 “ 本地集群 ” 与 ” 跨数据中心双活集群 ” 每个集群内根据应用系统等级以及虚拟机重要程度不同进行资源池划分，可 分为金牌计算资源池、银牌计算资源池、铜牌计算资源池 每个集群下挂的存储资源也按应用级别以及虚拟机级别不同分为金牌存储 资源池、银牌存储资源池、铜牌存储资源池，用于不同级别的虚拟机文件 存储
目标架构详细设计 - 存储
采用 VNX7500 结合 vPlex 实现两数据中心本地和双活的存储 空间资源及 IO 资源交付 端到端存储网络冗余组件规划及多路径配置，采用 RR 方式 存储交付按照 SLA 规范需求分级，分别分为基于 vPlex 双活 存储资源和传统存储资源的金牌、银牌、铜牌 3 级存储资源 池，满足个业务服务器的存储需求，并实现 VM 的标准交付 模板 每个 Blade （ ESXI ）分配 4 块 HBA 卡以提高带宽冗余（每 条链路 4Gb 带宽） Datastore 及 RDM 均设置为 RR 多路径策略 涉及 RDM 的 VM 采用虚拟非独立模式，设置为 RR 多路径策 略 RDM 命名与 VNX3 命名一致
VM 启 动 优先 级：中等
定 义 原则： 主机 角色 为 APP or 属于银牌计 算 资源池的 VM
VM 启 动 优先 级：低
定 义 原则： 主机 角色 为 WEB or 属于铜牌计 算 资源池的 VM
双活集群设计原则— HA 集群 VM 监控
虚拟机监控 状态 : 禁 用 如果在给定时间内未收到 VMware Tools 检测信号，虚拟机监控功能会 重新启动各虚拟机。