集团大数据平台整体方案项目概述

集团大数据平台整体方案项目概述

1.1建设背景

1.1.1集团已有基础

经过十几年的信息化建设，集团已经积累了覆盖邮务、速递物流、金融三大板块的海量生产和经营数据，这些数据分布在集团各类应用系统和数据库中，支撑着集团业务的发展。

集团初步搭建了由名址系统、量收系统、速递平台系统、数据分析平台组成的初步的数据仓库，为数据分析挖掘工作打下了一定的技术基础。

组建了专业的组织架构促进企业数据管理与应用的规范化与制度化。

集团已成立数据中心，集团数据中心和各省的数据分析团队已经进行了多个专题的数据分析与成果应用的尝试。

1.1.2痛点及需提升的能力

集团拥有丰富的客户资源，海量的数据积累。在大数据时代，要充分挖掘数据价值，跟上时代的步伐。

板块间数据存在壁垒，共享不足，无法实现集团企业数

据的充分有效利用。

数据存在冗余、分散、安全性差、一致性差等问题，应建立有效的数据管控体系，打破信息孤岛、实现企业信息数据共享、提升数据价值。

非/半结构化数据利用不足，需利用大数据技术加强应用。

1.1.3大数据趋势

随着移动互联网、云计算、物联网和大数据技术的广泛应用，现代社会已经迈入全新的大数据时代。掌握大数据资产，进行智能化决策，已成为企业胜出的关键。

越来越多的企业开始重视大数据战略布局，重新定义自己的核心竞争力，从数据中揭示规律，了解过去、知悉现在、洞察未来，数据驱动企业运行与决策的科学性，构建智慧企业，打造核心竞争力。

数据的爆炸式增长以及价值的扩大化，将对企业未来的发展产生深远的影响，数据将成为企业的核心资产。如何应对大数据，挖掘大数据的价值，让大数据为企业的发展保驾护航，将是未来信息技术发展道路上关注的重点。

1.2建设目标

1.2.1总体目标

根据集团信息化规划，遵循“互联网+”的理念，建设集团大数据平台，实现集团数据资源的集中及整合，构建集团统一的数据模型，提高企业数据的处理效率与共享程度。实现对集团企业内部数据和外部数据的分析挖掘，对内对外提供数据服务。为全网提供决策支持、产品创新、交叉营销、服务支撑、风险管控以及流程优化等支撑服务。

集团大数据平台将在Hadoop和云计算等技术的基础上，对现有量收系统、数据分析综合服务平台的历史数据、数据模型、报表应用等进行移植，全面整合集团业务数据。数据来源涵盖集团所有的生产和管理系统，并可接入同业及相关市场甚至互联网信息，建立从业务层到管理层到决策层的智能分析体系，模拟量化风险和收益，实现对集团各种业务数据进行分类、管理、统计和分析等功能，给各级管理人员提供各类准确的统计分析预测数据，使其能够及时掌握全面的经营状况，为宏观决策提供支持；为基层业务人员提供详尽的数据，供其对各自的工作目标、当前和历史状况进行准确的把握，对业务活动进行有效支撑；满足集团经营管理及决策支持，建设国内一流，世界领先的大数据平台。

1.2.2分阶段建设目标

●第一阶段目标

利用大数据技术，搭建大数据平台，实现统一数据交换、数据管控、企业级数据分析、数据可视化展现服务等功能。完成邮务和速递数据资源的归集、加工和整理，取代现有的量收系统，集成现有的数据分析综合服务平台，搭建高性能、扩展性强的数据计算和数据分析环境。建立集团统一的数据模型，实现数据的标准化和规范化。对集团各板块及外部的结构化数据、半/非结构化数据进行采集和存储，围绕“服务支撑、风险管控、流程优化、交叉营销、产品创新、决策支持”六个重点应用方向进行大数据成果应用。

●第二阶段目标

全方位整合集团数据资源，利用专业的数据分析工具，提升数据分析质量与效率，完善数据分析应用模型及相关指标，深入推广六个重点应用方向，逐步提供面向移动互联网的快速服务，不断优化生产工作流程，实现降本增效，为科学运营和决策提供支撑。

1.3与相关系统的关系

1.3.1数据分析综合服务平台

数据分析综合服务平台是依托集团综合网，实现邮务数据集中及整合，为集团公司和各省分公司提供企业数据分析

挖掘服务，对内对外提供数据服务的信息系统。

该系统使用Oracle数据库，目前数据量已达到9TB，平均日增长量约22GB。目前该系统已经对接了13个业务系统（集邮系统、报刊系统、电商平台-机票、网运系统、邮资封片卡系统、短信平台、农资分销系统、贺卡兑奖平台、营业系统、投递系统、客管系统、订单系统、国际业务平台），实现了31个省的邮务类数据的上传及下载。系统实现将数据由全国中心推送至省中心；实现已有专题分析的固化，包括报刊、约投挂号、国内国际小包专题分析结果的固化展现；实现将接入系统的数据按照业务规则进行后台加载、评估、清洗、重构，并按照客户维度进行数据整合；提供对内对外数据服务，支持客户数据的上传和结果下载、邮编匹配、地址清洗匹配等功能。

数据分析综合服务平台是大数据平台的子集，数据分析综合服务平台的数据是大数据平台的数据集市之一。

1.3.2量收系统

量收系统是通过从集团生产经营业务系统及其他相关系统中自动采集、汇总、上传业务量、业务收入信息（简称量收信息），进行稽核、查询、分析、预警等应用的信息管理系统。

该系统使用Teradata的数据仓库和Oracle的数据库，数据使用空间已接近15TB。目前该系统已经对接了8个业务系统（速递平台、集邮系统、营业系统、订单系统、报刊系统、农资分销系统、邮资机管理系统、电商平台），此外，通过营业系统还接入商函、国际普邮、电子商务、短信等业

务数据。现有使用用户2.9万个，提供近500张报表的查询，实现集团业务量收入的统计分析，为企业的经营管理起到了很重要的作用，但随着管理要求的不断提高，量收系统的能力已捉襟见肘。集团大数据平台建成后，将替代量收系统。

1.3.3金融大数据平台

大数据平台从金融大数据平台获取金融客户、市场营销等数据分析结果以及相关数据，与金融大数据平台互为数据源，用于支撑集团邮务、速递物流和金融板块对数据分析的需求。

1.3.4各生产系统

大数据平台从各生产系统获取交易数据、基础数据等，对数据进行分析挖掘，将分析成果反馈回各生产系统用于支撑生产运营。

1.3.5C RM

CRM系统实现以客户为中心的集团与板块间的协同管控，以及集团各环节间客户营销及服务的协同管理。大数据平台将实现CRM系统的部分数据分析功能。