大数据分析技术在数据中心运维中的应用
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3.2 系统实现
3.2.1 系统模型的设计 通过对原始数据进行加工处理，生成数据宽表，同时，
确定需要解决的业务问题，其中业务目标即为模型因变量 （Y），选取数据宽表中的数据作为模型自变量（X）。然后 再进行模型设计，如选线性或非线性算法。再进行模型训练、 校验和预测，并通过调整模型自变量 X 来优化模型算法，最 后输出模型预测结果。 3.2.2 系统主要组成部分
一个典型的数据中心包含了各种元素，在软件和业务层 面，它包含网络、应用、虚拟化、服务器、存储等；在基础 设施层面，包括动力、环境、暖通、安防等设施；在运维层面， 包括日常维护、巡检以及防自然灾害等等。可以说，数据中 心是一个复杂的综合体系 [1]。
由于数据中心设备种类众多，设备厂家水平参差不齐，
一方面导致了设备监控困难，故障定位难，另一方面由于设 备厂家售后服务不及时，导致服务响应慢，无法快速解决故 障问题。另外，还有备品备件的管理和使用等问题。
1.2 研究意义
大数据技术就是通过对海量的运维数据进行挖掘和分 析，提前发现这些隐患，帮助运维人员及时排除故障 [2]。
２ 数据中心运维的大数据的来源与特征
2.1 数据中心运维的大数据的来源
（1）基础设施监控系统获取的如动力、环境、网络等 指标信息；
（2）安防系统的人员设备出入管理数据； （3）管理流程数据如工单、服务申请记录、设备部署 信息等； （4）CMDB 库中的设备资产信息。
Key words: data center; big data; peration and maintenance
１ 研究背景及意义
1.1 研究背景
近年来，随着信息技术和网络技术的快速发展，特别是 在云计算、大数据、物联网的发展和推动下，数据中心也趋 向于高密度发展，数据中心结构日益复杂，企业对数据中心、 服务器、链路、服务响应等方面的需求以及对业务系统运行 可靠性、良好体验性的要求越来越高，同时，对数据中心监 控也提出了更高的要求，而专业人才紧缺，数据中心的运维 管理工作也面临着巨大的挑战。
（2）视频监控、告警信息以及服务申请记录等数据的 非结构化导致运维数据具有多样性。
（3）数据中心的高可用性和连续性要求数据处理速度 快，以便于快速响应并处理故障。
（4）现阶段数据中心运维数据利用率较低，多停留于 简单报表呈现。
３ 系统设计与实现
3.1 系统设计
采用大数据技术在数据中心基础设施管理系统的基础 上，对运维大数据进行分析，在基础设施的各个管理子系 统获取的相关运维数据，通过大数据挖掘设计器，采用如 Apriori、SVM、神经元网络等机器学习算法，对运维数据进 行深层次的建模和分析。如可以通过预测模型对故障进行提 前预警，或者通过相关性分析对各类设备进行性能分析等， 从而为优化资源配置提供相关指导建议，以辅助运维管理人 员快速发现问题、有效定位问题、快速解决问题、预测潜在 风险、运行分析优化以及完成相关战略规划，进一步提升数 据中心的运维管理水平。
Jiang Zhiwen
(Shenzhen Jiton Intelligent Technology Co., Ltd., Shenzhen Guangdong 518000, China)
Abstract: With the rapid development of information technology and network technology, especially in cloud computing, big data, the development of the Internet of things, and driven by data center also tend to high density development, data center is becoming more and more complex structure, enterprise data center, server, link, service response, etc, and the demands of the business system operation reliability, good experience of the demand is higher and higher, at the same time also put forward higher request to data center monitoring, and the shortage of professional personnel data center operations management is faced with great challenge.
关键词：数据中心；大数据；运维 中图分类号：TP308 文献标识码：A 文章编号：1003-9767（2018）15-155-02
Application of Big Data Analysis Technology in Data Center Operation and Maintenance
2018 年第 15 期
信息与电脑 China Computer&Communication
数据库技术
大数据分析技术在数据中心运维中的应用
蒋志文
（深圳市计通智能技术有限公司，广东 深圳 518000）
摘 要：随着信息技术和网络技术的快速发展，特别是在云计算、大数据、物联网的发展和推动下，数据中心也趋 向于高密度发展，数据中心结构日益复杂，企业对数据中心、服务器、链路、服务响应等方面的需求以及对业务系统运 行可靠性、良好体验性的要求越来越高，同时，对数据中心监控也提出了更高的要求，而专业人才紧缺，数据中心的运 维管理工作也面临着巨大的挑战。
作者简介：蒋志文（1981-），男，湖南衡阳人，本科，中级工程师。研究方向：动环监控技术。
— １５５ —
数据库技术
信息与电脑 China Computer&Communication
2018 年第 15 期
2.2 数中心运维大数据的特征
（1）基础设施的监控数据大多是以秒级时间间隔来采 集，数据体量非常大。
3.2.1 系统模型的设计 通过对原始数据进行加工处理，生成数据宽表，同时，
确定需要解决的业务问题，其中业务目标即为模型因变量 （Y），选取数据宽表中的数据作为模型自变量（X）。然后 再进行模型设计，如选线性或非线性算法。再进行模型训练、 校验和预测，并通过调整模型自变量 X 来优化模型算法，最 后输出模型预测结果。 3.2.2 系统主要组成部分
一个典型的数据中心包含了各种元素，在软件和业务层 面，它包含网络、应用、虚拟化、服务器、存储等；在基础 设施层面，包括动力、环境、暖通、安防等设施；在运维层面， 包括日常维护、巡检以及防自然灾害等等。可以说，数据中 心是一个复杂的综合体系 [1]。
由于数据中心设备种类众多，设备厂家水平参差不齐，
一方面导致了设备监控困难，故障定位难，另一方面由于设 备厂家售后服务不及时，导致服务响应慢，无法快速解决故 障问题。另外，还有备品备件的管理和使用等问题。
1.2 研究意义
大数据技术就是通过对海量的运维数据进行挖掘和分 析，提前发现这些隐患，帮助运维人员及时排除故障 [2]。
２ 数据中心运维的大数据的来源与特征
2.1 数据中心运维的大数据的来源
（1）基础设施监控系统获取的如动力、环境、网络等 指标信息；
（2）安防系统的人员设备出入管理数据； （3）管理流程数据如工单、服务申请记录、设备部署 信息等； （4）CMDB 库中的设备资产信息。
Key words: data center; big data; peration and maintenance
１ 研究背景及意义
1.1 研究背景
近年来，随着信息技术和网络技术的快速发展，特别是 在云计算、大数据、物联网的发展和推动下，数据中心也趋 向于高密度发展，数据中心结构日益复杂，企业对数据中心、 服务器、链路、服务响应等方面的需求以及对业务系统运行 可靠性、良好体验性的要求越来越高，同时，对数据中心监 控也提出了更高的要求，而专业人才紧缺，数据中心的运维 管理工作也面临着巨大的挑战。
（2）视频监控、告警信息以及服务申请记录等数据的 非结构化导致运维数据具有多样性。
（3）数据中心的高可用性和连续性要求数据处理速度 快，以便于快速响应并处理故障。
（4）现阶段数据中心运维数据利用率较低，多停留于 简单报表呈现。
３ 系统设计与实现
3.1 系统设计
采用大数据技术在数据中心基础设施管理系统的基础 上，对运维大数据进行分析，在基础设施的各个管理子系 统获取的相关运维数据，通过大数据挖掘设计器，采用如 Apriori、SVM、神经元网络等机器学习算法，对运维数据进 行深层次的建模和分析。如可以通过预测模型对故障进行提 前预警，或者通过相关性分析对各类设备进行性能分析等， 从而为优化资源配置提供相关指导建议，以辅助运维管理人 员快速发现问题、有效定位问题、快速解决问题、预测潜在 风险、运行分析优化以及完成相关战略规划，进一步提升数 据中心的运维管理水平。
Jiang Zhiwen
(Shenzhen Jiton Intelligent Technology Co., Ltd., Shenzhen Guangdong 518000, China)
Abstract: With the rapid development of information technology and network technology, especially in cloud computing, big data, the development of the Internet of things, and driven by data center also tend to high density development, data center is becoming more and more complex structure, enterprise data center, server, link, service response, etc, and the demands of the business system operation reliability, good experience of the demand is higher and higher, at the same time also put forward higher request to data center monitoring, and the shortage of professional personnel data center operations management is faced with great challenge.
关键词：数据中心；大数据；运维 中图分类号：TP308 文献标识码：A 文章编号：1003-9767（2018）15-155-02
Application of Big Data Analysis Technology in Data Center Operation and Maintenance
2018 年第 15 期
信息与电脑 China Computer&Communication
数据库技术
大数据分析技术在数据中心运维中的应用
蒋志文
（深圳市计通智能技术有限公司，广东 深圳 518000）
摘 要：随着信息技术和网络技术的快速发展，特别是在云计算、大数据、物联网的发展和推动下，数据中心也趋 向于高密度发展，数据中心结构日益复杂，企业对数据中心、服务器、链路、服务响应等方面的需求以及对业务系统运 行可靠性、良好体验性的要求越来越高，同时，对数据中心监控也提出了更高的要求，而专业人才紧缺，数据中心的运 维管理工作也面临着巨大的挑战。
作者简介：蒋志文（1981-），男，湖南衡阳人，本科，中级工程师。研究方向：动环监控技术。
— １５５ —
数据库技术
信息与电脑 China Computer&Communication
2018 年第 15 期
2.2 数中心运维大数据的特征
（1）基础设施的监控数据大多是以秒级时间间隔来采 集，数据体量非常大。