生产企业大数据平台建设项目建议书

大数据平台建设项目建议书目录第一章、项目背景..................... 错误!未定义书签。

第二章、项目思路..................... 错误!未定义书签。

第三章、建设内容与方案............... 错误!未定义书签。

第四章、时间进度..................... 错误!未定义书签。

第五章、项目预算..................... 错误!未定义书签。

第六章、企业效益及社会效益........... 错误!未定义书签。

第七章、结论......................... 错误!未定义书签。

第一章、项目背景企业对信息化工作历来较为重视，也是省内较早开始实施信息化的大型企业。

目前已经建成财务系统、生产调度系统、农务系统、供应链系统等:调度系统，2015年公司共投资了175万元，按集团分步建设、逐步投入的规划，完成了系统基本硬件与亚控平台软件的结合，构建了一个以明阳糖厂生产调度指挥中心为核心，生产信息能够上至集团，下至车间的生产调度网络系统。

农务系统，2005年开始实施，经过多次升级，现涵盖了计划、报蔗、派车、质检、过磅、结算、短信管理、移动应用等一系列模块，覆盖公司4家直属糖厂和大桥制糖公司，实现了农务统一的信息化管理。

供应链系统，利用用友NC供应链系统，以公司存货管理为核心的采、供、销、存供应链管理平台，实现物资、仓储、供应、销售、物流一体化业务协同处理平台，建立了公司对各直属厂工作的监督平台，总部可以实时对下属各公司的工作进行监督，实时对各公司的具体业务执行情况进行查看，及时的对下属公司进行指导和监督。

尽管在两化融合及企业信息化方面已取得了相当的成效，但在实际应用过程中仍然存在一些较为显著的问题。

（一）总部与下属糖厂未实现完全的集约管理a)企业在原先六家糖厂的基础上，又收购了三博公司五家糖厂。

三博五厂由上海迁回南宁，在宜州设立管理下属五厂的二级管理总部。

b)从系统部署上分析，企业总部与原先六厂为一套架构，而三博总部与下属五厂为一套架构，各自独立，暂未整合为一体。

c)为了保证各糖厂生产的稳定，企业总部与下属六厂之间仅在NC供应链、OA、财务、人力等系统方面实现了集约管理，农务管理系统、生产调度系统以及化验系统均由各厂自建，因此出现各厂建设系统的厂家不同，使用的系统版本不同等现象。

三博总部与下属五厂的关系亦如此。

（二）总部及各厂之间的数据共享有限a)由于大多数生产相关的系统均为各厂自建，因此不管是企业总部，或者是三博总部在获取各糖厂生产相关数据上均较为困难。

b)企业总部通过制定报表模板、开发报表同步功能的方式，定期的获取下属六家糖厂的生产相关报表，但这些报表的数据容量有限、数据呈现较为固定，无法为总部经营决策提供实时、灵活的数据依据。

c)三博总部获取下属糖厂的数据方式更为有限，仅依靠各厂按照总部的业务需求进行手工填写，通过邮件、微信等方式提交数据报表，汇总到三博总部。

（三）各业务部门对未来的数据应用有着强烈的需求a)当前业务条线对于未来大数据平台建设的需求仍处于较为初步的设想阶段，但已具雏形：b)进一步完善供产销流程中系统数据采集能力，尤其是对于甘蔗种植面积的测绘、甘蔗产量的估算等信息，因此对于GIS地理信息系统的上线有需求；c)提高总部对于各厂生产数据的获取及共享能力，解决目前总部各部门、总部与各厂、各厂与各厂之间数据不流通、共享困难的现状；d)提高内部各平台数据对于生产经营的指导作用，充分利用各环节系统流程数据汇总，产出经营决策建议、对比分析、趋势统计、效益分析等数据应用；e)实时、动态、快速的掌握外部环境的动向，包括行业发展、原材料、供应商、产品销售、竞争对手等信息，以形成内外部数据的融合，为生产经营决策提供数据支撑。

第二章、项目思路为了解决内部各厂、各系统之间的数据共享问题，此次项目将依托现有的农务管理平台、NC供应链平台、生产调度平台、电子商务平台、协同工作平台OA、质量管理平台等一系列业务相关系统，通过制定一定的标准，整合下属各厂各系统数据，打造统一的大数据平台及智能决策分析平台。

利用大数据分析技术，为公司管理层、业务部门及各生产单位提供具有指导意义的数据分析结果，实现生产精准化、管理可视化。

根据对内部信息化及系统部署情况的分析，此次项目将按照由近及远、由浅入深的方式划分为几个阶段：（一）对总部及下属六厂各系统的数据进行整合、共享及分析，以企业六厂为基础，搭建大数据平台框架，在不对基础系统进行迁移整合的前提下，对数据进行整合并建立数据之间的关系。

并制定一定的数据采集规则，获取三博五厂的数据。

（二）基于大数据平台全面的数据共享能力，强化数据的表达深度，能够对原有汇总的报表数据进行更细粒度的表达和展示；这里可能需要创建新的应用服务系统或者是扩充原有的服务系统来完成。

（三）完全整合三博所属五厂系统及数据，消除企业内部的数据孤岛。

（四）面向外部进行数据扩充，例如利用网络进行相关行业的数据抓取，并将数据整合到大数据平台，结合既有的内部数据建立运营决策系统。

第三章、建设内容与方案基于对整合三博五厂系统及数据难度的考虑，本次项目以第一、第二阶段作为项目的主要内容。

、建立大数据平台基础架构，整合现有生产及管理系统由合作方负责建设大数据平台基础架构，整合现有的各个生产及管理系统，将各系统的生产及管理数据进行集中统一管理、分析，对大数据平台建设提供相应的支撑。

大数据平台的总体架构及模块部署情况如下：、总体架构、模块划分及部署根据大数据平台建设的要求，大数据智能决策平台（大数据存储、计算及分析平台）主要由三大模块组成：数据采集模块、存储计算模块及访问支撑模块。

数据采集模块：数据采集模块提供支持多数据源提取、多通道传输、多种方式聚合的数据采集工具及接口，包括flume代理集群日志采集、Chukwa 实时数据采集、Python网络数据爬取、Sqoop关系数据库数据批量提取、HDFS 文件上传下载FTP客户端及多通道数据源整合实时分布式消息系统Kafka。

存储计算模块：存储计算模块实现了海量数据存储、批处理计算、实时计算、机器学习、图计算、实时查询及集群运行监控等功能，包括YARN分布式资源管理系统、分布式文件系统HDFS、Spark/MR批处理、Spark实时计算、GraphX图计算、MLLib机器学习、Hbase实时查询、Hive等Sql计算引擎、MySql关系型数据库及等可视化集群监控工具。

访问支撑模块：访问支撑模块提供了上层软件易于使用和编程的大数据平台层接口及内存数据库，包括封装了SparkSql、Hive、Phoenix的sql查询接口，封装了MR、Spark开发函数库的API编程接口、工具及redis内存数据库。

系统部署：基础Hadoop大数据平台服务器集群由一台主机（Master）、三台从机（Slaver152/153/154）、组成。

平台采用分布式集群方式工作，提供N+1冗余模式。

、通过建设，提供存储及数据服务能力1）存储能力：初期建设完毕按照其物理硬件配置，平台实现如下存储能力指标：业务数据存储：1TB业务数据实时数据存储：8GB实时数据查询：2秒业务数据查询：10秒存储动态扩容能力：根据后期系统以及数据迁移的需要平台具备动态扩容能力，在先期物理设备所提供的容量不能满足业务发展需要的请下进行动态扩容。

2）业务数据支持：根据企业既有业务系统以及对应的实际行业和运营特征，基于大数据平台被划分为三级数据存储，各级存储的建设目标描述如下：A. 一级存储：平台的原始业务数据存储层，面向企业内部的原有各大业务系统，支持其将原有数据存储完全迁移到大数据平台，即提供数据融合能力外还把原有系统的基础存储支持作为平台基础能力；也支持通过文件或者消息方式将其部分的融合数据以非实时或准实时的周期上传到大数据平台，主要用于业务数据融合。

B. 二级存储：细化的融合层，主要面向现有业务之间的数据融合沟通，解决现有业务系统之间数据互通问题；同时在该层对于基础业务数据进行整合以及基础计算，产生新的业务数据并存储，为更高层级的业务运维提供大数据支撑。

本层数据是对基础数据的第一级融合计算，主要面向业务。

C. 三级存储：基于二级存储数据进行高层的决策分析计算，产生最终的运营支撑和决策分析结果数据，该层次计算过程中将应用各种统计、分析、学习算法；同时也给予业务访问特征，将二级存储的热点数据组织为热表进行存储，对外提供高速数据访问接口。

、对目前生产及管理中涉及的数据进行采集并予以整合、内部数据整合完善现有农务管理平台、NC供应链平台、生产调度平台、电子商务平台等与企业供产销业务流程相关的系统采集数据功能，统一集中管控的形式，将公司管理范围内的农户、车辆及地块信息、糖厂生产信息集中输入到公司总部平台中，完成集中化采集及管理。

1、优先针对农务系统以及生产系统进行数据整合共享，再次是NC系统；考虑整合的主要目标是可分析业务数据，图片图表等文件类型数据不考虑在大数据平台上存储；可以存储在其它位置仅在大数据平台上存储其位置信息；2、在各分厂数据库服务器上部署数据采集代理，按照业务数据规则要求最高以准实时的要求同步数据到大数据平台；或者首先以生产报表为周期在同步报表数据的同时同步相关详细数据记录。

将以上各平台采集到的结构化及非结构化的数据以统一的数据规则进行处理，通过图形可视化的方式，对采集到的数据进行抽取、转换、加工、整合，最大程度的简化数据并采用过程流式的组织方式进行数据集成应用开发。

、外部数据采集利用爬虫技术，帮助企业把外部互联网的各类相关数据资源转变成企业的数据资产，并且与内部数据结合，结合的数据挖掘平台和文本处理技术，能够从海量的文本数据中智能地获取深度的价值信息，最终形成行业的发展趋势、竞争对手情报、竞品对比分析、以及各类数据提供服务，如财报数据、宏观经济数据、价格指数等。

、利用采集的数据进行挖掘分析，输出有价值的成果、经营分析主要分析价值链，包括种植、加工、销售三个阶段，依据企业价值链模型展开分析，如种植-加工生产（采购、生产、质量）-销售物流（仓库管理、销售管理），纵向分析各职能对主价值链的支撑与协同。

、生产分析利用大数据处理和分析方法，挖掘工艺参数（如处理甘蔗、初压汁、末压汁、打包蔗渣等流程）、优化协同时间（实际榨蔗时间、生产安全率、设备故障损失时间、部门/公司协作流程时间优化等）、成品糖（优级白砂糖、一级白砂糖、一级赤砂糖）产量之间的流程工艺优化、生产能耗分析（混合蔗渣、滤泥、废蜜、辅助材料、燃料及汽电消耗等）、产能分析（多维度分析，如糖产率），优化生产流程、降本增效、提高收益、实现利润最大化是生产主题的核心内容。