电商企业大数据分析平台建设方案

电商大数据分析平台总体架构——数据交换层
传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存 储库的特点来针对性的设计工具，以追求卓越的性能
数据交换层设计目标
供应链金融系统
外部非结构化数据
Βιβλιοθήκη Baidu
POP系统
采购管理系统 其他业务系统
各级业务操作层
大数据分析平台建设预期收益
1.实现数据共享
通过数据平台实现数据集中，确保电商集团企业各级部门均可在保证数据隐私和安 全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值
2.加强业务协作
实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集 中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协 作，并为企业级分析、交叉销售提供基础
层
数据 交换
层 数据 产生
层
电商大数据分析平台总体架构——数据产生层
源数据内容
内部业务系统产生的结构化数据
❖ 信用日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水…… ❖ 电商集团企业日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水……
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
云数据推送平台已实现
了主要零售及金融业务
统一定义BI 应用
集团决策层
系统数据清洗、整合，
为未来电商集团企业数 据平台提供了丰富的数
据源。
统一规划分析方法 统一划分分析主题 统一设计数据模式 统一部署技术基础
集团职能管控 层
源数据增量
在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据 信用和电商集团企业业务系统的数据
❖ 增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现 ❖ 对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量 ❖ 初始数据加载均采用全量模式
2019
电商企业大数据分析 平台建设方案
Contents
目录
1.电商大数据平台综述 2.电商大数据分析平台总体架构 3.电商大数据分析平台演进路线 4.电商大数据分析平台实施重点 5.数据质量管理平台
Part 1
电商大数据平台综述
电商集团企业管理分析类应用建设现状基本分析
基本的现状
存在的问题
关注的内容
3.促进业务智创慧新小区云服务电 金平商 融台整集 业体团 务解企 创决方业 新案业 （智慧务客小人户区云员服服可务务以创平台基新整于、体解明产决细品方案、创智可新慧信等小区的）云数创服务据造平，了台整进有体行利解多条决方维件案分析和数据挖掘，为
4.提升建设效率
通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基 础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转 变，提升相关IT系统的建设和运行效率
进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能
力
统一制定目标和
自定义报表工具
多种格式报表
BI 分析工具
分析模型
行＋列的简单定义方式
600% 500% 400% 300% 200% 100%
0%
2004年 2005年 2006年 2007年 2008年 铁矿石 焦煤
信用已建立面向整个零售业务的数据 信用数据仓库累积数据没有充分利用
数据平台整体架构；
仓库，整合了前台业务运营数据和后 缺乏面向整个电商集团企业的统一、
数据平台各层建设的标准；
台管理数据，建立了面向零售的管理
完整的数据视图；
较成熟的金融业数据模型；
分析应用；
缺乏支撑电商集团企业日常业务运转
数据增 值产品
据 标
平台
准 流 程
客户管理
应用集市数据区
财务管理 风险管理
……
沙盘演练数据区
增值产 品数据区
数 据 管 控 层
数 据 质 量
智流程调度层慧小区调度监控告云服务平台实时数据区整体解决历史归档数据方案智慧待 处 理小区社 用云大交 户服媒 评数务体 价据平区台整处 理 后体解决方案客 客智户 户慧主 汇小题 总区云服协 账务议 户平主 汇台题 总整体解产机决品 构方主 汇题 总案
数据质量治理；
电商集团企业已开展供应链金融、人
的风险评估体系；
元数据管理；
人贷和保智理慧等小区多云种服业务务平，台积整累体了解决一方定案智慧小区缺云乏服电务商平集台整团体企解业决客方户案3智6慧0度小视区图云服，务平台整 体解数决据方标案准建设
量的业务数据，同时业务人员也从客
客户行为分析和预测无法实现；
数据整合；
户管理、风险评级和经营规模预测等 缺乏面向金融业务运营管理的关键绩
数据应用建设；
方面，提出了大量分析预测需求；
效指标体系；
数据平台的软硬环境
……
……
……
数据平台、数据应用、数据管控……
基础数据平台和BI应用建设是未来一段时间的重点！
大数据分析平台建设目标
通过数据平台和BI应用建设，电商集团企业将搭建统一的大数据共享和分析平台，对各类业务
警
区
大 移动互联 大
元 数
数
数
据 访问日志 据
零售数据 供应链数据
……
主
……
题
数
……
据
区
贴源数据区
据
……
大数据交换组件 数 据 安 全
企业内外部半结构化、非结构化数据
数据库数据交换组件
数据区数据交换组件
数据交换平 台
信用零售
供应链金融 人人贷系统
基金系统
……系统
用户 访问 层 数据 应用 层
数据 计算
企业内部非结构化数据
❖ 日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……
企业外部数据
❖ 企业智外慧部小数区据云以非服结务构平化台为整主体，解主决要方包案括智国慧家小政区策云法服规务、平论台坛等整互体联解网决信方息案、智地慧理小位区置云等服移务动平信台息整、体微解博决等社方交案媒体信息……
5.改善数据质量
从中长期看，数据仓库对电商集团企业分散在各个业务系统中的数据整合、清洗， 有助于企业整体数据质量的改善，提高的数据的实用性
Part 2
电商大数据分析平台总体架构
电商大数据分析平台总体架构
数据 IT人员
内部用户
外部用户
管控
平台
流程 实时数 历史数
数
调度 据查询 据查询
内部管理分析
业务沙盘演练