sfs2014存储性能测试工具
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
存储性能测试工具 SFS2014
SFS2008简介
1. SPEC SFS2014简介
目 录
2. SFS2014参数设定
3. 测试参考 4. 测试分析
SPEC SFS2014
• SFS2014工具用于衡量测试存储解决方案的最大持续吞吐量,是全球知名第三方 组织SPEC测试系统总体性能的Benchmark工具，该组织由清华大学、斯坦福 大学、微软等全球几十所大学、研究机构和IT组织组成。经过多年发展积累， SFS测试标准已得到全球众多用户广泛认可 • SFS2014可测试任何版本的NFS和SMB/CIFS、集群文件系统、面向对象文件 系统、本地文件系统或者其它任何兼容POSIX的文件系统
• 测试完成后会生成四个测试文件
– sfsc001.test1:具体每个host测试结果，包含各个hsot性能数据 – sfslog_test1.log:测试运行日志 – sfssum_test1.xml:测试运行总体概述，用于提交与SPEC组织 – sfssum_test1.txt：测试运行总体概述，和xml文件内容一致
1. SPEC SFS2014简介
2. SFS2014参数设定 3. 测试参考 4. 测试分析
目 录
运行参数-主要部分
• BENCHMARK=VDI • LOAD=10 • INCR_LOAD=10 • NUM_RUNS=10 测试负载类型 测试负载数量 每次测试负载增量 测试负载执行次数
• CLIENT_MOUNTPOINTS= host1:/mnt/test 测试文件系统路径
谢wenku.baidu.com大家!
Inspur group 2018/1/5
运行参数
• 参数： BENCHMARK
– 四种负载测试每个proc需要满足一定的内存和容量条件才可达到最大测 试效果 – 如容量 DATABASE = 24 Gigabytes per DATABASE SWBUILD = 5 Gigabytes per BUILD VDI = 12 Gigabytes per DESKTOP VDA = 24 Gigabytes per STREAM 如内存 DATABASE = 55 Mbytes per LOAD increment SWBUILD = 400 Mbytes per LOAD increment VDA = 10 Mbytes per LOAD increment
BENCHMARK-VDA
• VDA-视频数据采集 • 负载特征： – 3.其他选项：写入提交（只包含于VDA1） – 4.运行详细参数：此为运行测试所将创建的目录和文件个数及生成的文件 大小
参数 值 备注
每个进程含有
1个VDA1和1个VDA2
每次测试会创建当前LOAD*1个 VDA1的client和当前LOAD*1个 VDA2的client
1. SPEC SFS2014简介
2. SFS2014参数设定 3. 测试执行 4. 测试分析
目 录
测试执行
• 1.客户端Linux测试环境：可同时测试多个客户端，只需在一个客户端上安装运 行sfs2014即可，如客户端host1测试dir1的 – 1. 主测试客户端和各个客户端间无密码访问 – 2. 关闭防火墙 • 2.客户端修改配置文件
• DATABASE-数据库 • 负载特征：包含DB_TABLE 和DB_LOG两种组合 – 读操作 写操作
BENCHMARK-DATABASE
• DATABASE-数据库 • 执行参数标准 – 每个线程包含10个DB_TABLE和1个DB_LOG，16ops/sec的DB_TABLE 和32Ops/sec的DB_LOG操作 – 目录深度和文件个数
• FILES_PER_DIR=100
目录宽度
运行参数
• 参数： BENCHMARK
– Workload方式，有4种不同类型，每种类型的Workload分别针对有不同 的场景设计 – VDA：Video Data Acquisition视频数据采集 – VDI：Virtual Desktop Infrastructure虚拟桌面基础架构 – SWBUILD：software build元数据密集构建工作 – DATABASE：数据库
– 进入sfs2014目录下修改sfs_rc配置文件，例如在挂载下测试VDA，使用 默认配置块文件大小为500M，目录深度为1，每个目录文件个数为1，
修改参数：ENCHMARK=VDA LOAD=10 • 3.执行测试指令：test1为测试结果文件名 – python SfsManager -r sfs_rc -s test1 • 4.测试结果会生成4个文件目录
测试执行
• 1、测试过程
1.VDI通过标准参数表可得 出每次proc为2个Desktop 所以10load负载的测试数 据为20*10*500M约为 110000M，所需挂载空间 最少为120000M 2.通过客户端分配内存于虚 拟host进行多线程测试，所 需的内存需要满足条件
测试执行
• 1、测试过程
write 写
copyfile()拷贝文件 mmap write() 调用内存写 mmap read()调用内存读 readdir() 读目录 rename()文件重名 read file()读文件 write file()写文件 pathconf()调用pathconf函数 stat()调用文件执行stat()。 create()创建一个新文件
SFS2014环境支持
• Unix系统：Linux, Mac OS X, BSD, Solaris, and AIX • Windows：提供sfs ISO版本不支持Windows， • 测试环境架构如下：
软件安装
• 安装前准备： • Python：Python2.7以上，该软件使用Python编译安装和运行。 • Unix：gcc，编译生成运行文件需要gcc编译 • 安装： 1.python Sfsmanager –install-dir / ”目录”(引号中为目录的安装位置） • 2.make 生成运行文件 netmist（gcc make后生成）
分配虚拟host内存和测试与 初始化测试
测试执行
• 1、测试过程
预热测试
正式测试
测试执行
• 1、测试过程
测试性能结果：包括延迟， ops，读写性能和总性能数 据
测试结果是否通过（未达到 标准百分比）
1. sfs2014简介
2. sfs2014参数设定 3. 测试执行 4. 测试分析
目 录
测试结果
• EXEC_PATH=/usr/local/bin/netmist
• USER=root • RUNTIME=300 • CLIENT_MEM=1g • AGGR_CAP=1g • FILE_SIZE= • DIR_COUNT=10
测试运行程序路径
测试用户 每次测试运行时间 客户端内存大小 最大聚合数据集大小 文件设定大小 目录深度
文件操作介绍
read 读
rand write ()随机写文件 rand read()随机读文件 rmw()读+修改+随机写文件 mkdir()创建一个目录 unlink()分离/删除一个文件。 append()附加到现有文件的结束。 locking()锁文件。 chmod()执行chmod() access()调用access()访问一个文件。 statfs()调用statfs函数文件系统信息
BENCHMARK-VDI
• VDI-虚拟桌面架构 • 执行参数标准 – 每个线程包含2个Desktop，100ops/sec操作 – 目录深度和文件个数
BENCHMARK-SWBUILD
• SWBUILD-元数据密集构建 • 负载特征： – 文件操作 读操作 写操作
BENCHMARK-SWBUILD
• SWBUILD-元数据密集构建 • 执行参数标准 – 每个线程包含5个BUILD，100ops/sec操作 – 目录深度和文件个数
BENCHMARK-DATABASE
• DATABASE-数据库 • 负载特征：包含DB_TABLE 和DB_LOG两种组合 – 文件操作
BENCHMARK-DATABASE
备注
文件操作 File Operation
Read传输大小 Write传输大小 混合选项 执行参数 重写参数 成功标准
包含read、read file、write、write file、mkdir、rand write、rand read等22种操作，从中选择部分进行测试
从0-1048576选择指定块大小或区间块大小进行读测试 从0-1048576选择指定块大小或区间块大小进行写测试 包含write commit（写入提交），压缩，rand dist behavior（随机分布）等，选择部分 每个load分配多少个负载，文件目录深度和文件个数等 运行时间，文件大小，文件深度和宽度 是否达到符合标准，全局平均在90%以上和单个load等不 低于75%，所有的都是一致的
• 3.SFS2014安装完成
软件运行方式
• sfs2014主要靠python运行，执行命令启动测试 – python SfsManager –r sfs_rc_ –s output_result • 其中-r跟配置文件，-s跟输出文件。配置文件可手动配置变更控制测试场景，s指定的输出文件在测试执行完成后会生成文件目录，包含4个文件。 • Log文件，txt文件、xml文件和sfs2014
VDI = 8 Mbytes per LOAD increment
例如测试LOAD为10，RUN为10（最大负载为100load）的VDA需要挂载 空间最少为2400G，客户端内存为10000M
运行参数
• 参数： BENCHMARK
– 四种LOAD方式按照以下特征进行分配和测试，每种LOAD的特征各不相 同，如下
每个进程操作
9（VDA1）1（VDA2） 每个进程操作10 Ops/s（包含9 Ops/s 个VDA1和1个VDA2）
每个进程目录
每个进程文件 平均文件大小
1
1 1G
目录为1
文件个数为1 平均文件大小为1G
BENCHMARK-VDI
• VDI-虚拟桌面架构 • 负载特征： – 文件操作 读操作 写操作
BENCHMARK-VDA为例
• VDA-视频数据采集 • 概述：该工作负载模拟从类似视频监控的源获取数据，包含两个工作负载对象： VDA1（数据流）和VDA2（应用程序数据） • 负载特征： – 1.文件操作：包含read、write、rand read、readdir、unlink等
– 2.读写块大小与分布：负载是设定好的，由此模拟出实际测试场景业务
SFS2008简介
1. SPEC SFS2014简介
目 录
2. SFS2014参数设定
3. 测试参考 4. 测试分析
SPEC SFS2014
• SFS2014工具用于衡量测试存储解决方案的最大持续吞吐量,是全球知名第三方 组织SPEC测试系统总体性能的Benchmark工具，该组织由清华大学、斯坦福 大学、微软等全球几十所大学、研究机构和IT组织组成。经过多年发展积累， SFS测试标准已得到全球众多用户广泛认可 • SFS2014可测试任何版本的NFS和SMB/CIFS、集群文件系统、面向对象文件 系统、本地文件系统或者其它任何兼容POSIX的文件系统
• 测试完成后会生成四个测试文件
– sfsc001.test1:具体每个host测试结果，包含各个hsot性能数据 – sfslog_test1.log:测试运行日志 – sfssum_test1.xml:测试运行总体概述，用于提交与SPEC组织 – sfssum_test1.txt：测试运行总体概述，和xml文件内容一致
1. SPEC SFS2014简介
2. SFS2014参数设定 3. 测试参考 4. 测试分析
目 录
运行参数-主要部分
• BENCHMARK=VDI • LOAD=10 • INCR_LOAD=10 • NUM_RUNS=10 测试负载类型 测试负载数量 每次测试负载增量 测试负载执行次数
• CLIENT_MOUNTPOINTS= host1:/mnt/test 测试文件系统路径
谢wenku.baidu.com大家!
Inspur group 2018/1/5
运行参数
• 参数： BENCHMARK
– 四种负载测试每个proc需要满足一定的内存和容量条件才可达到最大测 试效果 – 如容量 DATABASE = 24 Gigabytes per DATABASE SWBUILD = 5 Gigabytes per BUILD VDI = 12 Gigabytes per DESKTOP VDA = 24 Gigabytes per STREAM 如内存 DATABASE = 55 Mbytes per LOAD increment SWBUILD = 400 Mbytes per LOAD increment VDA = 10 Mbytes per LOAD increment
BENCHMARK-VDA
• VDA-视频数据采集 • 负载特征： – 3.其他选项：写入提交（只包含于VDA1） – 4.运行详细参数：此为运行测试所将创建的目录和文件个数及生成的文件 大小
参数 值 备注
每个进程含有
1个VDA1和1个VDA2
每次测试会创建当前LOAD*1个 VDA1的client和当前LOAD*1个 VDA2的client
1. SPEC SFS2014简介
2. SFS2014参数设定 3. 测试执行 4. 测试分析
目 录
测试执行
• 1.客户端Linux测试环境：可同时测试多个客户端，只需在一个客户端上安装运 行sfs2014即可，如客户端host1测试dir1的 – 1. 主测试客户端和各个客户端间无密码访问 – 2. 关闭防火墙 • 2.客户端修改配置文件
• DATABASE-数据库 • 负载特征：包含DB_TABLE 和DB_LOG两种组合 – 读操作 写操作
BENCHMARK-DATABASE
• DATABASE-数据库 • 执行参数标准 – 每个线程包含10个DB_TABLE和1个DB_LOG，16ops/sec的DB_TABLE 和32Ops/sec的DB_LOG操作 – 目录深度和文件个数
• FILES_PER_DIR=100
目录宽度
运行参数
• 参数： BENCHMARK
– Workload方式，有4种不同类型，每种类型的Workload分别针对有不同 的场景设计 – VDA：Video Data Acquisition视频数据采集 – VDI：Virtual Desktop Infrastructure虚拟桌面基础架构 – SWBUILD：software build元数据密集构建工作 – DATABASE：数据库
– 进入sfs2014目录下修改sfs_rc配置文件，例如在挂载下测试VDA，使用 默认配置块文件大小为500M，目录深度为1，每个目录文件个数为1，
修改参数：ENCHMARK=VDA LOAD=10 • 3.执行测试指令：test1为测试结果文件名 – python SfsManager -r sfs_rc -s test1 • 4.测试结果会生成4个文件目录
测试执行
• 1、测试过程
1.VDI通过标准参数表可得 出每次proc为2个Desktop 所以10load负载的测试数 据为20*10*500M约为 110000M，所需挂载空间 最少为120000M 2.通过客户端分配内存于虚 拟host进行多线程测试，所 需的内存需要满足条件
测试执行
• 1、测试过程
write 写
copyfile()拷贝文件 mmap write() 调用内存写 mmap read()调用内存读 readdir() 读目录 rename()文件重名 read file()读文件 write file()写文件 pathconf()调用pathconf函数 stat()调用文件执行stat()。 create()创建一个新文件
SFS2014环境支持
• Unix系统：Linux, Mac OS X, BSD, Solaris, and AIX • Windows：提供sfs ISO版本不支持Windows， • 测试环境架构如下：
软件安装
• 安装前准备： • Python：Python2.7以上，该软件使用Python编译安装和运行。 • Unix：gcc，编译生成运行文件需要gcc编译 • 安装： 1.python Sfsmanager –install-dir / ”目录”(引号中为目录的安装位置） • 2.make 生成运行文件 netmist（gcc make后生成）
分配虚拟host内存和测试与 初始化测试
测试执行
• 1、测试过程
预热测试
正式测试
测试执行
• 1、测试过程
测试性能结果：包括延迟， ops，读写性能和总性能数 据
测试结果是否通过（未达到 标准百分比）
1. sfs2014简介
2. sfs2014参数设定 3. 测试执行 4. 测试分析
目 录
测试结果
• EXEC_PATH=/usr/local/bin/netmist
• USER=root • RUNTIME=300 • CLIENT_MEM=1g • AGGR_CAP=1g • FILE_SIZE= • DIR_COUNT=10
测试运行程序路径
测试用户 每次测试运行时间 客户端内存大小 最大聚合数据集大小 文件设定大小 目录深度
文件操作介绍
read 读
rand write ()随机写文件 rand read()随机读文件 rmw()读+修改+随机写文件 mkdir()创建一个目录 unlink()分离/删除一个文件。 append()附加到现有文件的结束。 locking()锁文件。 chmod()执行chmod() access()调用access()访问一个文件。 statfs()调用statfs函数文件系统信息
BENCHMARK-VDI
• VDI-虚拟桌面架构 • 执行参数标准 – 每个线程包含2个Desktop，100ops/sec操作 – 目录深度和文件个数
BENCHMARK-SWBUILD
• SWBUILD-元数据密集构建 • 负载特征： – 文件操作 读操作 写操作
BENCHMARK-SWBUILD
• SWBUILD-元数据密集构建 • 执行参数标准 – 每个线程包含5个BUILD，100ops/sec操作 – 目录深度和文件个数
BENCHMARK-DATABASE
• DATABASE-数据库 • 负载特征：包含DB_TABLE 和DB_LOG两种组合 – 文件操作
BENCHMARK-DATABASE
备注
文件操作 File Operation
Read传输大小 Write传输大小 混合选项 执行参数 重写参数 成功标准
包含read、read file、write、write file、mkdir、rand write、rand read等22种操作，从中选择部分进行测试
从0-1048576选择指定块大小或区间块大小进行读测试 从0-1048576选择指定块大小或区间块大小进行写测试 包含write commit（写入提交），压缩，rand dist behavior（随机分布）等，选择部分 每个load分配多少个负载，文件目录深度和文件个数等 运行时间，文件大小，文件深度和宽度 是否达到符合标准，全局平均在90%以上和单个load等不 低于75%，所有的都是一致的
• 3.SFS2014安装完成
软件运行方式
• sfs2014主要靠python运行，执行命令启动测试 – python SfsManager –r sfs_rc_ –s output_result • 其中-r跟配置文件，-s跟输出文件。配置文件可手动配置变更控制测试场景，s指定的输出文件在测试执行完成后会生成文件目录，包含4个文件。 • Log文件，txt文件、xml文件和sfs2014
VDI = 8 Mbytes per LOAD increment
例如测试LOAD为10，RUN为10（最大负载为100load）的VDA需要挂载 空间最少为2400G，客户端内存为10000M
运行参数
• 参数： BENCHMARK
– 四种LOAD方式按照以下特征进行分配和测试，每种LOAD的特征各不相 同，如下
每个进程操作
9（VDA1）1（VDA2） 每个进程操作10 Ops/s（包含9 Ops/s 个VDA1和1个VDA2）
每个进程目录
每个进程文件 平均文件大小
1
1 1G
目录为1
文件个数为1 平均文件大小为1G
BENCHMARK-VDI
• VDI-虚拟桌面架构 • 负载特征： – 文件操作 读操作 写操作
BENCHMARK-VDA为例
• VDA-视频数据采集 • 概述：该工作负载模拟从类似视频监控的源获取数据，包含两个工作负载对象： VDA1（数据流）和VDA2（应用程序数据） • 负载特征： – 1.文件操作：包含read、write、rand read、readdir、unlink等
– 2.读写块大小与分布：负载是设定好的，由此模拟出实际测试场景业务