IDC运维可视化

IDC运维可视化近两年，互联网相关产业发展非常迅速，互联网业务发展也是非常快。

业务的增长也对数据中心IT设备需求量也急剧增加。

数据中心的运维和设备的运维是一件非常烦琐的事情，需要工程师进行大量手工工作。

在快速扩张的过程中也遇到了诸多问题，我们在这方面做了很多的努力，本文将会就这一主题与大家分享的一些经验。

业务近几年发展迅猛，四年前的设备量、IT设施相关设备不多，直到四年前在移动端、方案端开始发力，业务拓展非常迅速，对设备增加的需求也日趋迫切。

现在整个的设备规模是以万来统计。

设备增加，数据中心Rack的需求势必增加。

的Rack已经达到以千来统计的规模。

对于IDC 来说，机会的增加不可能把所有的业务放在同一个IDC，的IDC从最初的一个主要数据中心，迅速增加到两个、三个，我们数据中心之间也进行了这样的一个互联。

的IDC建设经历了一下几个阶段：第一阶段：自建IDC为主。

从2000年开始，自建IDC，但自建IDC存在不少问题：∙投入大、建设周期长：因为要拿IDC、要审批，要申请电力资源，因为IDC是一个高耗电项目。

然后再建楼，建设备…,一般来说，一个IDC的建设周期需要2—3年，这还是速度比较快的，有的需要五、六年。

∙可扩展能力受限制：IDC建设初期的需求是预估的，随着业务的扩展，对IDC的规模要求也就逐渐增加，需要进行弹性扩展。

第二阶段：自建自有+ 供应商IDC现代互联网要行业要求轻资产，花重资建IDC已经不适应市场规律，所以在业务快速发展过程中，在自建自有IDC的同时，也向供应商或者是运营商借用他们已经建好的数据中心。

但租用IDC存在各种不同于自建IDC的管理差异：机房情况不能及时获取,包括机房的一些UTS的监控，温度、湿度的监控都在g供应商的管理之下。

而且一般运营商监控的系统是不对外开放和对接的。

监控粒度粗，供应商的监控相对来说粗一些。

他们只对某一个通道和角度，或者是某一个机柜、机组传感器进行监管。

响应实效差，当出现故障和问题时，响应速度慢，他对你设备不了解，你对他环境不了解等，在协作方面也会有信息的不通畅。

我们在做数据中心时遇到的这些问题需要解决，但我们不能通过无限制的增加人力来应对数据中心快速扩张，运维人员做的事情太基础对运维的效率、对运维工程师的发展都存在很大的弊端。

如何以有限的人力资源去应对快速增长的数据中心的运维？如何实现运维的精细化管理？我们怎样努力地花好每一分钱，怎样高效地响应运维的需求？针对以上的目标，我们提出了一个IDC管理可视化的想法。

数据中心快速发展，我们也碰到了很多解决亟待解决的问题。

举个例子来说，如何快速知悉数据中心空间使用情况？∙已经存在多少设备∙设备都在哪些机柜∙有多少个机柜∙还能放多少机柜∙与哪些网络设备连接在传统的方式里面，可能你要去拿一个一个去拉，或者一单个字母为索引来查询一个数据记录系统，如此，根本没办法地直观地看到数据中心的情况。

再看一个例子，如果机房出现了故障，我如何能够有效、及时地去评估这个故障对我的影响?按照以前的方式我会打电话问我的供应商，你机房是不是出问题了？你是哪个空调、风机出问题了？还是UPS掉电了，影响多少个机柜，我怎么知道这些机柜有哪些网络服务器、设备，我要不要做优化、做流程？所以我们希望有一个系统或平台可以直接看到我们IDC的一些情况：∙机房空间使用情况∙机房供电情况∙机房环境温度∙机柜的布局展示，∙设备信息，∙硬件状态∙设备警报处理知道了这些指标，设备一旦掉线，就很容易被发现。

并且，可以大大提升运维工程师的工作效率。

基于这些指标要求我们做了IDC可视化系统，如上图所示。

查看IDC状态告警，系统中可以查看机房的温度范围，查看每个机柜的温度范围。

后面我们还可以看到它设备定点产生的问题，比如说这个是不是A路电或者是B路电掉了。

可以查看整个机房的布局，整个机房功能的安排，比如：机房通道，机柜位置，及其功能标识（是存储类、还是网络类或其他功能）。

还可以查看机柜供电、网络设备布局，以及整个机柜里面某一个设备的状态情况以及这个机柜的温度、功耗的历史情况。

在这个基础上，我们还对IDC运维工程师经常要做的工作进行了可视化。

如上图所示，我们可以对设备进基于行各种参数的查询：可以查看某个机房里面某些设备的情况。

也可以对单台设备进行操纵并可以查询基本情况，可以看到子系统的状态，比如CPU、硬盘指标。

也可以看到这个设备曾经做过的历史的操作，比如说变更，比如说一些不良的数据。

更能看到一些设备内部子系统的详情，比如当有设备报警发生，典型的类似于ECC交元错误，在可视化系统中可以直接看到它的内存、容量等指标，这样在保修的时候，就有针对性，不让厂商的工程师二次上门服务；可以看到设备历史的日志、状态，比如：功耗变化、温度变化。

可以通过可视化界面对设备进行硬重启。

同时也提供了一些标准化的操作：当设备维修完成以后，我们可以进行标准化设置，可以把一些设备从出场时候的技能模式扩展成高性能运行模式。

实现上面的可视化，我们是基于结构设计上的两大关键点：基于CMDB的信息展示：CMDB是整个运维用来配置数据的地方，我们所有的分享信息都用到CMDB，它是我们的基础，是我们基本的信息。

基于设备监控的状态展示：我们前面看到的机房、温度都是基于设备的状态信息。

拥有完善的监控系统，可以对线上每一台开机状态的服务器硬件状态，运营的状态进行发现，然后进行聚合和计算，最终得到机房温度、电的布局。

基于设备商IPMI、SNMP、以及SOAP的接口对设备进行操作和日常维护。

同时我们也对外提供了一些API，从服务器资源的准备到最后运维大部分都实现了自动化，在一些事件的处理上，可以利用API对设备进行操作。

IDC的可视展示，给的IDC管理带来了丰厚回报。

IDC的可视化管理提高了效率IDC的入口不像以前一样拿一个表格去统计资源情况，使用情况，效率大大提高。

IDC状态的监控更加可视化完成，不需要等到IDC人员通知我们，或者是等到服务器报警才去查验机房或者机房温度、电的问题。

空间管理、设备维护效率提高我们曾遇到机房里的空调、风机出现故障，供应商通过他的系统去看温度是正常的23度，但是我们这里看到的是超温报警。

其实机房温度不是一个很平衡的状态，它各空调开启的位置不一定能够满足全方位要求。

比如说冷风道，或者是某一个设备的散热系统。

这个时候就我们需要跟机房进行交涉协调：放一些小风扇，或改善地面的出风地板等来调整机房里的温度分布，可以避免后续问题。

应急响应的有效性IDC可视化当中，一个是信息的展示，一个是设备监控状态信息展示，在我们数据中心，需要采集数以万台的设备的基本信息，才能做到IDC可视化展示，如何保证CMDB的信息是准确的呢？设备的自动化监控，保证了信息采集的高效、准确，而不是靠人工。

数据中心有数万台设备，但每个月又要接收大量的设备，并且对它进行安装上架交付。

对于用户来说，申请资源，都希望资源快速到达手上。

但是一般来说当有一个很大的项目，需要申请上百台或者是上千台的服务器，肯定会涉及到这样的过程。

先申请、走商务采购，设备到位后的初始化配置、要收货、上架、连线、标准化操作系统，随后部署应用，去配置、监控。

除去资源申请和商务采购的商务流程，一般花费时间最长的是收货、上架和系统部署的环节，在传统的手工模式下，准备几百台服务器的时间很难想像，除非你有大量的工程师在机房做这个事情，这是造成收货与部署时间长的原因。

设备多，准备时间长，正如上述所说，手工模式下，随着规模越来越大，对IT设备的需求越来越多，每次要购买的服务器也就越来越多，人工收货上架准备时间会越来越长。

此外，服务器数量增加后，如果人工处理，需要掌握的技能就非常多。

品牌型号的差异都需要人工处理，针对不同品牌、不同型号、处理方式不一样，需要的技能也有差别。

因此在做收货、上架、部署的过程中，我们需要大量的手工录入。

于是又增加了出错频率我们还做了硬件自动核对；设备的安装和部署的自动化。

系统的模块设计如下图所示：这里面最重要的是Baremetal, 它和物理机打交道，并且需要高效网络处理来进行交互。

SRM来协调和验证，配置信息最终录入到CMDB里面。

系统设计的流程，设备的收集、信息的收集、应用的标准化，然后OS安装，配置的验证都是（英文）的事情。

BareMetar是整个自动化接受和配置过程中最关键的方向，实现了设备自动化的接收以及设备的自动部署，避免了人工大量重复机械的操作。

整个实现了服务器的发现，从服务器到网络，网络端Baremetal引导起来，然后这台服务器硬件信息获取上传到CMDB里面，和采购的信息进行比对，验证是否准确，然后就落到CMDB 里面去了。

这个验证完了，设备没有异样才可以运行，对它的管理卡等进行一次标准化。

这些都做完了我们可以进行操作系统的部署，这是交付前的最后一个环节。

我们现在很多都是多种操作系统，因为现在我们的应用环境相对来说还是比较复杂，我们有以前用的一些Windows之类的，我们希望利用这个系统把之前的所有覆盖掉。

然后底层是用PXE和IPXE引导，用IPMI进行网络发现。

由于Baremetal的重要性，我们对整个Baremetal整个的运行进行了监控，可以定期分析它运行的情况，中间是否出现了问题。

因为硬件设备原有的操作不一定兼容新的设备，需要定期优化。

做了这些事情以后，整个设备的接收过程就变得比以前好很多。

IDC可视化系统在现阶段解决了我们的很多困难，但是与我们期待的长远目标还是有很大差距。

如果要将工作能够做得更好，效率更高？我们今后将在以下方向进行改进和努力：1.在服务器的管理上不断地进行技术迭代- 例如设备管理中的Redfish2.充分发挥监控数据的作用，使其在满足运维需要的基础上，可以用来结合应用的情况去做一些分享，去做机房的温度、环境分析，结合应用数据，优化机房利用率，节省成本。

3.也希望根据应用情况，根据五花八门的用户需求，动态调整备用资源。

4.更希望做到减少人员，常见的报警能够实现自动化处理；5.希望运维人员能够随时随地处理运维工作，实现移动办公除此之外，还有更多的工作等着我们IDC的工程师、服务器的工程师去进行优化。

以上是我们在IDC可视化运维和设备的接受和部署方面所做的实践，来和大家探讨。

想了解近年来更多的运维技术进步？请移步本周五（9月23日）即将举行的GOPS上海站，四位大咖将集体登台亮相哈。

这个周五少上一天班，将来少走一年弯路。

更多详情请猛戳“阅读原文”链接。

阅读原文阅读?557713投诉精选留言写留言 ?3me.火9月20日明春张太概念9月26日moke请教一下怎么实现硬件信息采集录入cmdb，怎么实现自动化装机的呢？9月20日以上留言由公众号筛选后显示了解留言功能详情。