应用系统负载分析与容量预测

预测已使用空间率 85% 90% 95%
预警等级 Ⅰ Ⅱ Ⅲ
内部资料 © 泰迪科技（www.tipdm.com）
属性 预警
信息
预警
名称 时间
等级
2014- 该服务器磁盘D盘使用率预
D：
Ⅰ
11-12 计2014-11-12将达到85%以上。
27
目录
1 2 3 4
背景与挖掘目标 分析方法与过程
上机实验 拓展思考
内部资料 © 泰迪科技（www.tipdm.com）
21
分析方法与过程
第5步：构建模型
1. 模构容量预测模型
建模步骤： c) 模型识别：通过AIC、BIC信息准则或者观测自相关图和偏自相关图确定P
、Q的参数，识别其模型属于AR、MA和ARMA中的哪一种模型。 d) 参数估计：估计模型的其他参数。可以采用极大似然估计、条件最小二
34327553.5 2014/10/3
财务管理系统 CWXT_DB 184 磁盘已使用大小 D:\
83208320 2014/10/3
财务管理系统 CWXT_DB 183 磁盘容量
C:\
52323324 2014/10/3
财务管理系统 CWXT_DB 183 磁盘容量
D:\
157283328 2014/10/3
编程练习
25
分析方法与过程
第5步：构建模型
3. 模型应用
应用流程图
内部资料 © 泰迪科技（www.tipdm.com）
26
分析方法与过程
第5步：构建模型
3. 模型应用
计算预测使用率：根据模型预测得到的值，计算预测使用率。 设定预警等级：根据业务应用一般设置的阈值，也可以根据管理员要求进 行相应的调整。 发布预警信息
内部资料 © 泰迪科技（www.tipdm.com）
10
目录
1 2 3 4
背景与挖掘目标 分析方法与过程
上机实验 拓展思考
内部资料 © 泰迪科技（www.tipdm.com）
11
分析方法与过程
初步分析
应用系统出现故障通常不是突然瘫痪造成的（除非对服务器直接断电） ，而是一个渐变的过程。例如系统长时间运行，数据会持续写入存储， 存储空间逐渐变少，最终磁盘被写满而导致系统故障。
乘法确定。 e) 模型检验：检测模型残差序列是否属于白噪声序列。
内部资料 © 泰迪科技（www.tipdm.com）
22
分析方法与过程
第5步：构建模型
1. 模构容量预测模型
模型结果
数据序列 D盘使用大小
模型类型 ARIMA(0,1,2)
最小BIC值 1301.45
内部资料 © 泰迪科技（www.tipdm.com）
23
Biblioteka Baidu
分析方法与过程
第5步：构建模型
1. 模构容量预测模型
模型预测：应用模型进行预测，获取未来5天的预测值。为了方便比较， 将单位换算成GB。
未来天数
预测值
实际值
1
83.79671
2
83.99399
3
84.16823
4
84.34248
5
84.51672
83.20745 82.95645 82.66281 85.6081 85.23705
2. 属性构造：因每台服务器的磁盘信息可以通过表中NAME，TARGET_ID ，ENTITY三个属性进行区分，且每台服务器的上述三个属性值是不变 的，所以可以将三个属性的值进行合并。 （实质是将行转换成列）
SYS_NAME 财务管理系统
CWXT_DB:184:C:\ 34270787.33
CWXT_DB:184:D:\ 80262592.65
内部资料 © 泰迪科技（www.tipdm.com）
16
分析方法与过程
第3步：数据预处理
1. 数据清洗：实际业务中，监控系统会每天定时对磁盘的信息进行收集， 但是磁盘容量属性一般情况下都是一个定值（不考虑中途扩容的情况） ，因此磁盘原始数据中会存在磁盘容量的重复数据。
a) 剔除磁盘容量的重复数据。 b) 将所有服务器的磁盘容量作为一个固定值，方便模型预警时需要。
属性名称 SYS_NAME
NAME
TARGET_ID
DESCRIPTION
属性说明 资产所在的系统名称
资产名称 属性的标识号 183表示磁盘容量大小 184表示磁盘已使用大小
属性名称 ENTITY VALUE
COLLECTTIME
针对属性标识的说明
属性说明 具体的属性 采集到的值
采集的时间
内部资料 © 泰迪科技（www.tipdm.com）
内部资料 © 泰迪科技（www.tipdm.com）
24
分析方法与过程
第5步：构建模型
2. 模型评价
采用三个衡量模型预测精度的统计量指标：平均绝对误差、均方根误差 、平均绝对百分误差，从不同侧面反映了算法的预测精度。
平均绝对误差 1.0236
均方根误差 1.1621
平均绝对百分误差 1.2207
内部资料 © 泰迪科技（www.tipdm.com）
COLLECTTIME 2014/10/1
内部资料 © 泰迪科技（www.tipdm.com）
编程练习
18
分析方法与过程
第5步：构建模型
1. 构建模型
a) 容量预测模型 b) 模型评价 c) 模型应用
内部资料 © 泰迪科技（www.tipdm.com）
19
分析方法与过程
第5步：构建模型
1. 模构容量预测模型
内部资料 © 泰迪科技（www.tipdm.com）
3
案例背景
其中任何一种资源负载过大，都可能会引起应用系统性能 下降甚至瘫痪。及时了解当前应用系统的负载情况，以便 提前预防，确保系统安全稳定运行。
内部资料 © 泰迪科技（www.tipdm.com）
4
案例背景
应用系统的负载率：通过对一段时间内软硬件性能的运行 状况进行综合评分而获得。 负载率趋势：通过系统的当前负载率与历史平均负载率进 行比较。 应用系统的负载高或者负载趋势大的现象，代表系统目前 处于高危工作环境中。如果系统管理员不及时进行相应的 处理，系统很容易出现故障。 本例重点分析磁盘容量，如果应用系统出现存储容量耗尽 的情况，会导致应用系统负载率过高，最终引发故障。
内部资料 © 泰迪科技（www.tipdm.com）
28
上机实验(MATLAB)
1. 实验目的
a) 了解时间序列算法的用法以及利用时间序列算法构建预测模型的流程。 b) 掌握MATLAB实现时间序列算法的检验以及预测的过程，以及模型的误差分
析。
2. 实验内容
a) 采用MATLAB读取数据文件，按照划分规则将数据划分为两个部分，并将其 进行保存。
b) 调用MATLAB内置函数，编写代码实现本例模型构建的流程。对模型输入数 据进行平稳性检验和差分，记录差分阶数。采用BIC准则确定模型的参数， 依据各个参数构建时序模型，并对模型进行相关的检验。
二：不能提前知道系统负载的程 度，只有当系统故障时，通过接 受告警才得知。并且当系统真正 故障的时，告警的发出大多数情 况下会有一定的延迟。
内部资料 © 泰迪科技（www.tipdm.com）
6
原始数据情况
性能属性说明 磁盘数据
内部资料 © 泰迪科技（www.tipdm.com）
7
原始数据情况
性能属性说明，针对采集的性能信息，对每个属性进行相应说明。
8
原始数据情况
磁盘信息，包含应用系统、磁盘基本信息等
SYS_NAME NAME TARGET_DIEDSCRIPTION ENTITY VALUE
COLLECTTIME
财务管理系统 CWXT_DB 184 磁盘已使用大小 C:\
34270787.33 2014/10/1
财务管理系统 CWXT_DB 184 磁盘已使用大小 D:\
财务管理系统 CWXT_DB 184 磁盘已使用大小 D:\
83200151.65 2014/10/2
财务管理系统 CWXT_DB 183 磁盘容量
C:\
52323324 2014/10/2
财务管理系统 CWXT_DB 183 磁盘容量
D:\
157283328 2014/10/2
财务管理系统 CWXT_DB 184 磁盘已使用大小 C:\
第1步：数据抽取
磁盘使用情况的数据都存放在性能数据中，而监控采集的性能数据中存 在大量的其他属性数据。故以属性的标识号(TARGET_ID)与采集指标的 时间(COLLECTTIME)为条件，对性能数据进行抽取。
抽取2014-10-01至2014-11-16财务管理系统中某一台数据库服务器的 磁盘的相关数据。
财务管理系统 CWXT_DB 184 磁盘已使用大小 C:\
34288672.21 2014/10/4
财务管理系统 CWXT_DB 184 磁盘已使用大小 D:\
83099271.65 2014/10/4
财务管理系统 CWXT_DB 183 磁盘容量
C:\
52323324 2014/10/4
财务管理系统 CWXT_DB 183 磁盘容量
SYS_NAME
NAME TARGET_ID DESCRIPTION ENTITY VALUE
财务管理系统 CWXT_DB
183
磁盘容量
C:\
52323324
财务管理系统 CWXT_DB
183
磁盘容量
D:\
157283328
内部资料 © 泰迪科技（www.tipdm.com）
17
分析方法与过程
第3步：数据预处理
《MATLAB数据分析与挖掘实战》配套PPT
更多下载： http://www.tipdm.org/ts/578.jhtml
应用系统负载分析与容量预测
2015/7/27
目录
1 2 3 4
背景与挖掘目标 分析方法与过程
上机实验 拓展思考
内部资料 © 泰迪科技（www.tipdm.com）
2
案例背景
应用系统是由服务器、数据库、中间件、存储设备等组成 。它在日常运行时，会对底层软硬件造成负荷。
内部资料 © 泰迪科技（www.tipdm.com）
14
分析方法与过程
第2步：探索分析
对数据进行周期性分析，探索数据的平稳性
a) C盘使用情况的时序图
内部资料 © 泰迪科技（www.tipdm.com）
15
分析方法与过程
第2步：探索分析
对数据进行周期性分析，探索数据的平稳性
b) D盘使用情况的时序图
在不考虑人为因素的影响时，存储空间随时间变化存在很强的关联性， 且历史数据对未来的发展存在一定的影响，故可采用时间序列分析法对 磁盘已使用空间进行预测分析。
内部资料 © 泰迪科技（www.tipdm.com）
12
分析方法与过程 总体流程：
内部资料 © 泰迪科技（www.tipdm.com）
13
分析方法与过程
模型流程图
编程练习
内部资料 © 泰迪科技（www.tipdm.com）
20
分析方法与过程
第5步：构建模型
1. 模构容量预测模型
建模步骤： a) 平稳性检验：为了确定原始数据序列中没有随机趋势或趋势，需要对数
据进行平稳性检验，否则将会产生“伪回归”的现象。方法：单位跟检 验或者观察时序图。 b) 白噪声检验：为了验证序列中有用的信息是否已被提取完毕，需要对序 列进行白噪声检验。如果序列检验为白噪声序列，就说明序列中有用的 信息已经被提取完毕了，剩下的全是随机扰动，无法进行预测和使用。 方法：一般采用LB统计量检验方法。
内部资料 © 泰迪科技（www.tipdm.com）
5
传统方法存在的缺陷
系统负载分析的传统方法：通过监控采集到的性能数据以及所发出的 告警事件，人为进行判断系统的负载情况。此方法虽然能够判断系统 故障以及磁盘的容量情况，但是存在一些缺陷和不足：
一：磁盘容量的情况没有提供预 测的功能。只有当容量将要被耗 尽时，会有告警提示。如果是告 警服务器的磁盘容量被耗尽，此 种情况下，系统即使出现故障， 也不会有告警提示。
52323324 2014/10/5
财务管理系统 CWXT_DB 183 磁盘容量
D:\
内部资料 © 泰迪科技（www.tipdm.com）
157283328
2014/10/5
9
挖掘目标
1. 针对历史磁盘数据，采用数据挖掘的方法，预测应用系统服务器磁 盘已使用空间大小；
2. 根据用户需求设置不同的预警等级，将预测值与容量值进行比较， 对其结果进行预警判断，为系统管理员提供定制化的预警提示；
80262592.65 2014/10/1
财务管理系统 CWXT_DB 183 磁盘容量
C:\
52323324 2014/10/1
财务管理系统 CWXT_DB 183 磁盘容量
D:\
157283328 2014/10/1
财务管理系统 CWXT_DB 184 磁盘已使用大小 C:\
34328899.02 2014/10/2
D:\
157283328 2014/10/4
财务管理系统 CWXT_DB 184 磁盘已使用大小 C:\
34190978.41 2014/10/5
财务管理系统 CWXT_DB 184 磁盘已使用大小 D:\
82765171.65 2014/10/5
财务管理系统 CWXT_DB 183 磁盘容量
C:\