工业大数据架构

随着工业4.0、工业互联网、中国制造2025等词的出现，掀起制造业建设的新一轮的浪潮。

近年来随着制造业信息化应用不断的完善，形成大量的数据积累下来，大家也都希望把这些

数据进行提炼出来，形成企业自己的数据资产，使之变为企业的生产力。如何来构建企业自

己的数据资源中心，以及数据最终应该如果应用？成为了众多企业思考的问题。小编一直从

事于制造业IT数据服务建设，运用自己所了解的知识给出一些建议，希望能给大家一些帮助。我们先来看一下如何来构建企业的大数据平台(数据资源中心)，首先我们要想明白我数据资

源中心的架构，由那些模块平台来构成，我大概的整理出来一个架构图供大家参考：

我们以这张图为参考来具体的讲一下数据中心的构建：

1、数据源：也有是所有采集的数据的业务系统。根据业务统的主次，以及对接业务系统的

接口预算，咱们可以分期进行业务采集对接。也可以全部应用系统都进行对接。跟据企业现

实情况来进行判断。

2、数据的整合平台：也就是对采集好的数据进行清洗的平台，把采集到应用系统的数据进

行加工处理（ETL过程）。针对不同的数据有不同的处理方式:

Flumen实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时对

数据进行简单处理，并写到各种数据接收方。

Sqoop是一个用来将和关系型数据库中的数据相互转移的工具，可以将一个关系型（例如：MySQL Oracle Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导

进到关系型数据库中。

Kafka是一种高吞吐量的发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键

因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像一样

的数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目

的是通过的并行加载机制来统一线上和离线的消息处理，也是为了通过来提供实时的消息。

通过这些工具把数据进行整理，输送上方的存储与计算平台。咱们也可以把这一过程理解为

在做家具时用的原材料加过的工程，一开始从各地方收集来的树，然后把树跟据不同的大小，

把他加工为木板和木柱，这样就成为做家具用的原材料了。这样也形成了对企业数据的梳理

整合成统一的标准，为以后企业的数据应用提供了可靠的原材料。

3、数据存储与计算中心：数据进行了预处理后就放到了数据存储与计算中心，数据存储与

计算中心我们会用开源Hadoop平台，对数据并行进和处理。

Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面

上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像ETL 这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以

单个数据集的形式加载(Reduce)到数据仓库里。 Hbaxxxxse – Hadoop Databaxxxxse，是一个

高性、高性能、面向列、可伸缩的，利用Hbaxxxxse技术可在廉价Server上搭建起大规模化

集群。

通过这些大数据的技术对数据进行存储和计算。为企业的整体的数据应用形成半成品制作的

车间，以及原材料和半成品的库房。这企业以后的数据应用打下了基础。

4、数据服务平台：

企业上层的数据应用的中间件，可以为上层的应用进行数据的调动；多应用之间的数据共享；企业数据资产的检索；可视化大屏的展示等；

5、应用集成：

数据实现效果的平台，最终展示大数据成果的平台。好多制造业都在考虑的问题是做那些应

用才能给企业的带来效益，让大数据的成果最好的展示出来呢？跟据对制造企业不断的交流

与研究，初期最能展示出效果的应用：

（1）经营管控类：可以分析出企业的人力成本、物料成本、时间成本等。还可以从一个订

单进入企业后全生命周期进行跟踪，可以看出订单的生产时效性、物料是否充足、企业资金

是否到位等。这个应用可以大的促进企业的生产效益，还可以把握企业的利润率。所以经营

管控类应用是可以展示一个企业生命力好帮手。

（2）质量管理类：一个产品好不好主要就在质量，质量管理可以跟踪每个产品生产质量的

全生命周期。可以严格的把控从产品的原料、生产过程、封装的每个环节。产品过硬才能更

好的使企业维护客户，提高企业的知名度。

（3）故障预测与健康管理类：为了满足自主保障、自主诊断的要求提出来的，是基于状态

的维修CBM (视情维修，condition baxxxxsed maintenance)的升级发展。它强调资产设备管理

中的状态感知，监控设备健康状况、故障频发区域与周期，通过数据监控与分析，预测故障

的发生，从而大幅度提高运维效率。也可以大大提高企业的生产效率。

这就是我对企业、制造业大数据整体架构的一些理解与看法，希望可以帮助到正在做企业大

数据的小伙伴。文中不足之处也请大家及时指正。