大数据时代自动化运维管理的实践和思考

大数据时代自动化运维管理的实践和思考

发表时间：2019-01-03T11:09:02.870Z 来源：《基层建设》2018年第34期作者：董耀众1 李济伟2 李岩3 张晓亮4

[导读] 摘要：随着大数据时代的到来，很多数据中心开始采用各种集群设备，设备及系统的数量、业务复杂程度大幅上升。

国家电网有限公司信息通信分公司北京市 100176

摘要：随着大数据时代的到来，很多数据中心开始采用各种集群设备，设备及系统的数量、业务复杂程度大幅上升。用传统的人为管理、记忆管理的方式，基础配置信息的不全面，共享不充分的问题无法应对数据中心日常的管理，给运维管理带来巨大的挑战。笔者在大数据集群运维当中意识到这一问题，从而重新审视数据中心的运维管理体系并且推动自动化运维管理。自动化运维利用ITIL体系的运维思想，借助平台实现自动化的运维手段。不仅减少了人为操作的失误带来的损失，而且完全可以应对大规模集群上频发的问题处理。在基于Hadoop2.0开源框架搭建的大数据平台的运维上进行了实践尝试，通过四步让集群运维自动化。

关键词：大数据时代；自动化；运维管理；实践和思考

1提高数据中心运维管理能力的有效策略

1.1优化运维管理人员的综合能力

根据对当下运维中心的管理人员的综合能力进行评估和分析，研究发现当下运维管理工作人员的综合能力有很大的提升空间。为了能够提高数据中心运维管理工作者的综合素质，从而能够为数据中心运维管理工作的质量，建议从以下三个方面进行着手。第一，强化数据中心运维管理工作者的运行和维修技术知识。运维技术知识是管理工作者进行工作管理的基础知识，只有对运维技术知识有深入的了解，才能够对相关运维管理负责人的工作计划和工作质量进行有效地监督和管理。因此，要通过对运维管理工作人员进行业务培训和布置业务学习研究报告等多种形式对运维管理工作者的运维技术知识进行检查和考核，从而能够从根本上对运维管理工作的高效率和高质量进行有效地保障。第二，强化数据中心运维管理工作者的管理学知识。管理学知识是对运维管理人员的行政能力进行优化的学科，数据中心运维团队人员的技术水平优于管理水平，其团队中大多数人员的动手操作能力远远高于语言表达能力。如果管理工作人员掌握丰富的管理学知识，能够很好的根据团队中工作人员的性格特征和职业特点进行工作任务上的协商和管理，从而减小管理工作中的摩擦，进而能够让团队中的各个成员都在一个和谐的氛围下进行工作，最终有利于数据中心运维团队整体工作质量的提升。第三，强化数据中心运维管理工作人员的执行力。执行力是管理工作效力的重要保障，良好的执行能力可以按时甚至是提前完成工作任务，从而能够大幅度的提高管理质量，进而能够保证运维工作者都在有效的管理下高效的完成工作。总之，优化运维管理人员的综合能力，能够对运维管理任务的专业性和运维工作计划的科学性以及运维工作环境的和谐性提供保障，最终有利于运维团队工作效率的提高，进而有利于大数据时代下工作技术的提升和工作任务的高效完成。

1.2强化业务管理工作和业务培训工作

数据中心的运维管理工作之所以遇到困难是因为大数据时代背景下数据中心的硬件设施和软件设备都进行了不同程度的升级，而面临这种信息技术的更新周期非常快的现状，过往的运维人员常常感到措手不及。此外，信息技术革命的速度快得惊人，通常情况下一场信息革命为运维人员提供了最新的学习和培训材料，当新的运维知识刚刚掌握并且熟练时，下一场信息技术革命带来的新的数据中心运维技术再一次袭来。这种信息技术高速刷新运维管理工作的现状对运维技术人员带来了疲惫之感。持续学习是数据中心运维工作者生存的根本，所以必须强化业务管理工作和业务培训工作，从而为运维技术人员树立终身学习的观念，进而能够让运维工作者适应大数据环境下的工作节奏。在具体的强化业务管理和业务培训工作中，建议参考以下三点。第一，科学制定业务管理和业务培训的计划。一个科学合理的计划是推进持续性学习的有效保证。计划的科学性和合理性主要表现在两个方面，一是学习内容要与时俱进，对大数据时代下数据中心的革命进行持续性的关注，并对其核心技术进行研究和剖析，从而但数据中心革命完成之时，与之相对应的运维技术也成熟起来，从而能够很好的对这场信息革命进行收尾工作；二是学习时间安排的合理性，运维工作人员作为公司职员有其业内工作时间，同时他们作为一个完整的社会个体，也扮演着某个家庭成员的角色，所以在运维工作的培训中，要对培训时间进行合理的安排，兼顾好运维技术人员的工作和家庭生活。第二，丰富业务管理和业务培训的形式。在企业内组织的运维技术培训工作有一定的局限性，联系相关单位和学校来企业进行专业运维知识的讲座和培训，如时下流行的全球运维技术大会等专业讲座，从而提高业务培训的质量；指派某些运维技术人员到其他单位进行工作学习或者到海外进行业务进修，从而能够拓宽运维技术工作者视野，并且对同行业运维技术的发展状况有综合的了解，进而对大数据时代数据中心运维工作有深入的认识。第三，对业务培训工作进行考核。对运维人员的业务学习纳入到绩效考核当中，从而能够引起运维工作人员对业务学习的重视程度，进而有利于运维管理工作的有效开展，同时能够激发运维工作人员学习的主观能动性，最终有利于在大数据时代背景下运维管理工作的有效进行。总之，强化对运维工作人员的业务培训，能够有效地对运维工作者的维修技术进行与时俱进的培训，能够有利于运维管理工作人员进行数据中心运维管理工作的开展，最终有利于信息技术飞速发展下的运维工作的稳定进行。

1.3强化了解和分析业务环境的意识

数据中心运维管理工作中的技术升级缓慢和运维设备不够先进以及管理上的失效主要原因在于没有对本行业的业务环境进行分析。数据信息运营管理工作与数据信息的升级更新有直接联系，数据中心又与信息技术有紧密的联系，信息技术的革命必然导致数据中心的升级，而紧随其后的是运维管理工作的更新。数据中心运维管理工作中出现的运维设备落后和技术亟待提高和管理有待于完善充分反映出来其对业务环境的了解和分析能力不足，对本行业的发展的关注意识需要强化。为了强化了解和分析业务环境，从而提升大数据时代数据中心运维管理活动，建议从以下三个方面着手。第一，在企业内订阅与本行业相关的杂志和报纸，并且做到人手一份，从而能够为运维人员了解本行业的发展状况提供便利的条件。第二，定期组织团队中的成员进行行业发展前景的探讨，在探讨交流的过程中了解当下运维管理工作的总趋势，从而能够为运维工作的有效进行提供有价值的参考意见。第三，鼓励运维员工在各种级别的刊物上发表论文，并且将其发表论文的质量和所发杂志的权威性进行评估，与其的个人职业发展紧密联系起来，从而能够对其关注数据中心运维管理工作的关注起到积极地促进作用。总之，强化了解和分析业务环境的意识，能够有利于运维管理工作人员有行业的危机意识和行业的发展意识以及个人职业规划意识的提升，最终有利于大数据时代数据中心运维管理工作的顺利开展。

2结语

在该思路中基于丰富的信息收集支撑以及设定工作流的过程来实现自动化变更；基于日志的关联来实现快速的问题排查；基于硬件信息收集和全生命周期管理来支撑硬件维护；基于测试的数据衡量来交付检查等一系列的运维工作，体现出了数据能够驱动运维的精细化。