OceanStor F存储VMware VSI的场景最佳实践

华为 OceanStor F 系列存储系统VMware VSI 场景的极致性能(NAS 篇)
华为 OceanStor F 融合存储是华为面向企业用户推出的新一代存储系列，
融合了 NAS 和 SAN 的应用场景。

本文档聚焦如何高效利用 OceanStor F
V5 存储的进行 VMware VSI 业务部署，并针对典型的
VSI 业务进行了一系列的验证，参考该最佳实践，可以获得更好的业务
部署效率和业务运维质量，有效提高 VSI 业务的性能。

目录
1概述 (4)
1.1内容简介 (4)
1.2写作目的 (4)
1.3面向读者 (4)
1.4用户收益 (5)
1.5关键组件 (5)
2存储产品介绍 (6)
3VMware 介绍 (7)
3.1概述 (7)
3.2VMware vSphere 组件与功能 (7)
3.2.1VMware vSphere Hypervisor (8)
3.2.2VMware vCenter Server (8)
3.2.3VMware vSphere Client (8)
3.2.4VMware vSphere Web Client (8)
4服务器虚拟化（VSI）应用简介 (9)
4.1数据库类 (9)
4.2邮件类 (10)
5典型配置 (11)
5.1业务场景 (11)
5.2参考架构 (11)
5.3硬件列表 (12)
5.4软件列表 (13)
5.5操作配置 (13)
5.5.1交换机侧 (13)
5.5.2存储侧 (15)
5.5.3主机侧 (19)
5.6验证步骤与结论 (30)
5.6.1验证步骤 (30)
5.6.2验证结论 (30)
1 概述
1.1内容简介
随着虚拟化技术的成熟，虚拟化已为众多数据中心的共同选择。

虚拟化使IT 组织可组
织可有效提高基础架构的空间利用率利用率，简化管理，同时对业务需求的响应更敏捷
并降低TCO。

但许多组织在转型到虚拟化的数据中心时，在对服务器虚拟化过程中的
存储选择和配置，面临如下挑战：
●传统存储处理大量随机IO 的性能瓶颈。

●选择普通的全闪存储，存在容量不够，是否可靠和TCO 高等问题。

华为OceanStor F V5 一体化融合存储（下文简称F V5 存储）是面向企业级应用的新一
代融合存储产品。

本文档基于VMware 虚拟化平台，选择F V5 系列存储NAS 存储来作
为后端存储资源，聚焦如何高效利用F V5 存储，提升VMware VSI 业务性能。

1.2写作目的
本文档的写作目的在于描述如何在VMware VSI 应用场景中高效利用 F V5 存储系统
NAS 存储资源，旨在为华为合作伙伴和华为用户提供参考，从而发挥华为存储在IT 系
统中的省成本、高效率和提升性能的优势。

1.3面向读者
本文档面向华为员工、合作伙伴与客户，阅读本文档，需要熟悉如下技术：
●华为OceanStor F V5 系列存储
●华为DeviceManager 等软件
●VMware ESXi 操作系统基础知识
●VMware VCenter 基础知识
●Oracle、Exchange 相关知识
1.4用户收益
本方案提供了F V5 存储NAS 功能结合VMware 存储插件的配合使用的证实解决方案，
期望用户能够使用该证实解决方案，简化运维，提升存储利用率，获取最高投资回报
率。

1.5关键组件
本文中描述的内容基于以下硬件和软件进行描述：
●华为OceanStor 5500F V500R007C00 版本存储系统
●VMware ESXi 操作系统
●VMware VCenter 管理软件
●Oracle 11g 数据库软件
●Exchange Jetstress 压力测试软件
2 存储产品介绍
华为OceanStor F V5 系列融合存储（下文简称F V5 系列存储）是面向企业级应用的新一代融合存储产品。

凭借面向云架构的存储操作系统、强劲的新一代硬件平台和丰富的智能管理软件，F V5 系列存储在功能、性能、效率、可靠性和易用性上都达到业界领先水平，很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求，广泛适用于政府、金融、电信、能源、媒资等行业。

同时，F V5 系列存储能够提供高效、灵活、丰富的备份、容灾解决方案，有效保证用户业务连续性和数据安全，为用户提供卓越的存储服务。

图2-1 华为OceanStor F V5 融合存储
更多详细信息，请查看下面的链接：
●OceanStor 5300F/5500F/5600F/5800F V5 全闪存存储系统
●OceanStor 6800F V5 高端全闪存存储系统
●OceanStor 18500F/18800F V5 高端全闪存存储系统
3 VMware 介绍
3.1概述
VMware vSphere 作为VMware 虚拟化平台，专为需要虚拟化整个数据中心并实现“IT
即服务”的组织而设计，包含众多可将数据中心转变为可提供灵活可靠的新一代IT 服
务的极为简化的云计算环境的功能。

vSphere 可加快现有数据中心向云计算转变的速度，
同时还支持兼容的公有云服务，从而为业界的混合云模式奠定了基础。

图3-1 vSphere 虚拟化架构
3.2VMware vSphere 组件与功能
VMware vSphere 是用于虚拟化的软件组件套件。

这些组件包括ESXi、vCenter Server
以及在vSphere 环境中实现许多不同功能的其他软件组件。

下面介绍了部分VMware
vSphere 组件及功能：
3.2.1VMware vSphere Hypervisor
ESXi 体系结构可提供功能强大、经生产验证的高性能虚拟化层。

它支持多个虚拟机共
享硬件资源，性能可以达到（在某些情况下甚至超过）本机吞吐量。

3.2.2VMware vCenter Server
可为整个虚拟基础架构提供统一的管理，并可实现实时迁移等许多关键的vSphere 功能。

vCenter Server 可以管理分布在多个位置的数千个虚拟机，并利用快速调配和自动化策
略执行等功能来精简管理过程。

可与受支持的第三方数据保护、多路径和磁盘阵列解决
方案进行集成。

3.2.3VMware vSphere Client
一个允许用户从任何Windows PC 远程连接到vCenter Server 或ESXi 的界面。

3.2.4VMware vSphere Web Client
一个允许用户从各种Web 浏览器和操作系统远程连接到vCenter Server 的Web 界面。

4 服务器虚拟化（VSI）应用简介
4.1数据库类
数据库虚拟机属于计算密集和存储密集类型。

数据库业务承载着企业的关键信息资产，
其性能和可用性要求最高，随着虚拟化技术的发展，将传统数据库服务器部署在虚拟
化平台上，可实现服务器虚拟化，极大地降低了生产和维护成本。

常见的数据包
括Oracle 和Microsoft SQL Server，部署数据库类的虚拟机时，应考虑分配高SLA 级别
（高IOPS/GB、低I/O 响应时间）的存储池，满足关键应用的性能需求。

图4-1 Oracle 系统架构图
4.2邮件类
邮件类虚拟机属于计算密集和网络密集类型。

在Exchange 2013 中，邮箱服务器角色通
过以下过程直接与Active Directory、客户端访问服务器和Microsoft Outlook 客户端进
行交互：邮箱服务器使用LDAP 从Active Directory 中访问收件人、服务器和组织配置
信息。

客户端访问服务器提供身份验证、代理和有限重定向服务，并提供所有常见的客
户端访问协议：HTTP、POP、IMAP 和SMTP。

客户端访问服务器是无状态的瘦服务器，
不执行任何数据渲染。

客户端访问服务器上从不会排队或存储任何内容。

图4-2 Exchange 业务处理流程
5 典型配置
5.1业务场景
NAS 产品正是以其较低的价格、简单方便的使用方式满足了相当一部分用户的需求。

简单地说，NAS 就是经过专门优化的文件服务器系统加上大容量存储。

其优点在于结
构简单，配置和使用非常方便。

在数据共享方面，因为采用的是传统NFS 或者CIFS
协议，所以不需要任何附加软件，即可在几乎所有平台之间实现跨平台的数据共享。

因此本文是基于NAS 场景下设计解决方案，部署数据库及Exchange 服务。

5.2参考架构
本方案的参考架构如下图所示。

图5-1 VMware VSI 极致性能的参考架构
存储系统和应用服务器之间通过10GE 网络建立连接。

存储系统上提供NFS 共享文件系统给应用服务器，应用服务器上使用该共享文件创建datastore。

通过vCenter Server 来管理VMware ESXi 服务器。

每台应用服务器上的虚拟机的应用配置如下表所示。

表5-1 应用配置表
每台应用物理机上配置 3 台虚拟机，其中两台配置Oracle 业务，一台配置Exchange 业务。

总共12
台虚拟机。

5.3硬件列表
本文中使用的硬件配置信息如下表所示。

表5-2 硬件配置列表
5.4软件列表
本文中使用的软件信息如下表所示。

表5-3 软件信息列表
5.5操作配置
5.5.1交换机侧
交换机上的端口规划如下表所示：
图5-2 交换机端口规划
存储的每个控制器接入8 个端口到交换机上，交换机上将每个控制器上的端口划分为一个Eth-
trunk。

每台服务器上接入 4 个端口到交换机上，同样，这 4 个端口在交换机上划分为一个Eth-trunk。

业务侧网络IP 规划如下表所示：
表5-4 网络IP 规划
交换机上对划分eth-trunk 的操作描述如下。

交换机上存储侧端口配置
以存储系统A 控上的端口为例，命令如下：
interface Eth-Trunk 1
port link-type trunk
port trunk allow-pass vlan 3210
mode lacp-static
commit
interface 10GE 1/0/4
eth-trunk 3
interface 10GE 1/0/8
eth-trunk 3
interface 10GE 1/0/16
eth-trunk 3
interface 10GE 1/0/20
eth-trunk 3
interface 10GE 1/0/25
eth-trunk 3
interface 10GE 1/0/26
eth-trunk 3
interface 10GE 1/0/27
eth-trunk 3
interface 10GE 1/0/28
eth-trunk 3
commit
交换机上服务器侧端口配置
以VMware A 上的端口为例，在交换机上的配置如下所示。

interface Eth-Trunk 3
port default vlan 3210
mode lacp-static
commit
5.5.2存储侧网络配置interface 10GE 1/0/1
eth-trunk 3
interface 10GE 1/0/3
eth-trunk 3
interface 10GE 1/0/5
eth-trunk 3
interface 10GE 1/0/7
eth-trunk 3
commit
存储上的网络配置过程描述如下：
步骤1 进入端口设置界面。

在存储系统管理软件DeviceManager 上，选择右侧导航栏中的“Provisioning”，然后选择菜单中的“Port”，如下图所示。

图5-3 进入端口配置
步骤2 创建绑定端口。

每个控制器上创建 1 个端口绑定，包含该控制器上所有可用的业务端口。

如下图所示。

图5-4 绑定端口
对绑定的端口创建VLAN，设定VLAN ID 为3210（可以根据实际情况进行设定）。

图5-5 创建VLAN
步骤3 创建逻辑端口。

创建两个逻辑端口，每个逻辑端口分别以一个控制器上的绑定端口为Primary Port，如下图所示。

图5-6 创建逻辑端口
完成两个逻辑端口的创建。

创建完成后，交换机上显示eth-trunk 的状态如下：
图5-7 交换机上存储端口状态
配置成功的话，端口状态会变为“Selected”。

----结束
存储配置
按照下表进行存储配置。

表5-5 存储配置表
因为oracle 业务和Exchange 业务都是小IOPS 应用业务，所以创建文件系统的时候，选择
“Application Scenario”为“D ataba se”，容量按照上表进行设置，其他参数保持默认。

5.5.3主机侧
网络配置
VMware 主机上配置端口绑定及存储业务网络的过程描述如下：
步骤1 创建分布式交换机。

登录VMware vSphere Web Client 界面，在左侧导航栏中选择“Network”，单击创建的数
据中心，然后在右侧的菜单栏中依次选择“Action > Distributed Switch > New Distributed
Switch”。

如下图所示。

图5-8 创建新的分布式交换机
命名新创建的交换机。

然后选择合适的版本。

这里的版本必须跟VMware vSphere 虚拟
机的版本保持一致。

图5-9 选择合适的版本
然后配置交换机的属性：
●Number of uplinks：跟主机上的业务端口数量保持一致。

●Default port group：去勾选“Create a default port group”。

其他参数保持默认，如下图所示。

图5-10 配置分布式交换机属性
确认后完成分布式交换机的创建。

步骤2 编辑分布式交换机的属性。

选中刚刚创建好的分布式交换机，在右侧的菜单栏中依次选择“Actions > Settings >
Edit Settings…”如下图所示。

图5-11 编辑分布式交换机属性
编辑交换机的高级属性，修改如下参数：
●Type：选择“Link Layer Discovery Protocol”。

●Operation：选择“Both”。

结果如下图所示。

图5-12 配置属性
步骤3 添加LACP。

选中刚刚创建好的分布式交换机，在右侧的菜单栏中选择“Configure”，然后在左侧导航栏中选择“LACP”，最后单击添加的符号，如下图所示。

图5-13 添加LACP
新增一个Link Aggregation Group，参数设置如下。

●名称自己定义。

●端口数量根据实际使用的端口来设定。

●其他保持默认。

配
置界面如下图所示。

图5-14 配置LACP 属性
步骤4 给交换机分配主机。

选中刚刚创建好的分布式交换机，在右侧的菜单栏中依次选择“Action > Add and Manage Hosts…”，如下图所示。

图5-15 添加主机
选择“Add hosts”，如下图所示。

图5-16 新增hosts
然后选择对应的主机，如下图所示。

图5-17 选择对应的主机
“Select netwok adapter tasks”界面保持默认选项即可。

“Manage physical network adapters”界面需要分配主机上的网络端口给交换机。

每个跟物理交换机连接的网络端口都分配一个Uplink，如下图所示。

图5-18 分配Uplink
完成后的配置如下图所示：
图5-19 完成物理端口的Uplink 分配
后面的步骤直接点击“Next”跳过，完成对应的配置。

步骤5 新建Port Group。

选中创建好的分布式交换机，在右侧的菜单栏中依次选择“Action > Distributed Port Group > New Distributed Port Group…”，如下图所示。

图5-20 新增Port Group
给Port Group 命名后，进入配置界面，修改下面的参数：
●Number of ports：跟实际使用的端口保持一致。

●Customize default policies configuration：勾选
其他参数保持默认，如下图所示。

图5-21 配置Port Group
“Security”、“Traffic shaping”界面参数保持默认不变。

“Teaming and failover”界面中，修改如下参数：
●Load balancing：选择“Route based on IP hash”
●Failover order：选择之前创建的LACP 为“Active uplink”，其余设置为“Unused
uplinks”，如下图所示。

图5-22 修改端口组的绑定策略
后续的参数保持默认即可。

步骤6 添加网络配置IP。

选定主机，然后在右侧菜单栏选择“Configure”，再在右侧导航栏中选择“VMkernel adapters”，然后单击“添加主机网络”的图标，如下图所示。

图5-23 增加网络
选择之前创建好的Port Group，如下图所示。

图5-24 添加之前配置的Port Group
配置端口属性，如下图所示。

图5-25 配置端口属性
配置网络IP，如下图所示。

图5-26 配置网络IP
完成后，主机上的网络配置结束。

步骤7 确认配置生效。

配置完成后，在交换机上检查相应的端口的状态，确认都为“Selected”，如下图所示。

图5-27 确认端口状态正常
配置成功的话，端口状态会变为“Selected”。

----结束
存储配置
主机上将存储映射的NFS 共享文件系统挂载起来，结果如下图所示。

图5-28 挂载文件系统
以上图中的主机“8.44.137.112”为例，存储配置说明如下：
●Oracle_NFS2_1 用于存放VM-1 上虚拟机的数据库文件。

●Oracle_NFS2_2 用于存放VM-2 上虚拟机的数据库文件。

●Exchange_NFS_3 用于存放VM-3 上虚拟机的Exchange 数据文件。

然后按照表5-1 中的配置为各个虚拟机创建磁盘，分配存储空间。

5.6验证步骤与结论
5.6.1验证步骤
验证步骤描述如下：
步骤1 准备硬件环境。

按照图5-1 准备好硬件环境。

步骤2 部署软件环境。

在vCenter 服务器上部署VMware vCenter Server。

在应用服务器上安装VMware ESXi 操作系统，并加入vCenter 管理。

然后部署虚拟机
操作系统。

步骤3 配置交换机。

按照章节5.5.1 中的步骤对交换机进行配置。

步骤4 配置存储和应用服务器上的网络。

按照章节5.5.2 和5.5.3 分别对存储和应用服务器上的网络进行配置。

步骤5 配置存储空间。

按照章节5.5.2 和5.5.3 分别对存储和应用服务器上的存储进行配置。

步骤6 虚拟机上使用存储空间部署应用业务。

步骤7 打开负载测试。

Oracle 数据库虚拟机上使用SLOB 进行负载测试，Exchange 虚拟机上使用Jetstress 进
行负载测试。

记录存储控制器的OPS 及文件带宽等信息。

----结束
5.6.2验证结论
负载模型
在该业务场景下，从存储上观察，硬盘的平均读IO 大小在5KB 左右，平均写IO 大小
在25KB 左右。

性能监控信息如下图所示。

极致性能图5-29 磁盘的块大小
观察逻辑端口的读写比例，单个逻辑端口的读OPS 在45000 左右，写OPS 在18000 左右，读写比例为：5:2，详细信息如下图所示。

图5-30 逻辑端口的读写比例
在当前硬件配置下，逻辑端口的性能监控信息如下图所示：
图5-31 逻辑端口性能监控
从上图可以发现，8 个Oracle 应用服务+4 个Exchange 应用服务的压力测试下，每个逻辑端口的IOPS 在65,000 左右，两个逻辑端口的IOPS 总值在130,000 左右。

每个逻辑端口的带宽在500MB 左右，两个逻辑端口的带宽总值在1000MB 左右。

观测逻辑端口的时延，大致在 1.5ms~2ms 左右，如下图所示。

图5-32 逻辑端口的时延信息
继续查看磁盘的性能监控，如下图所示。

图5-33 部分磁盘的性能监控信息
上图中，抽取了5 块磁盘进行查看，可以发现磁盘的使用率在40%左右，并没有达到极限。

继续查看控制器的性能数据，如下图所示。

图5-34 控制器的性能数据
从上图中，可以观察到两个控制器的CPU 使用率已经达到90%了，控制器的性能已经达到极限。

综上，经过验证，在VMware VSI 的应用场景中（Oracle:Exchange=2:1），OceanStor 5500F V5 可支撑的业务性能达到140,000 IOPS(时延1.5ms~2ms)。