大数据可视化分析平台总体解决方案

数据交换层设计目标
数据服务层
保证数据在平台内高速流转 保证数据交换过程中不失真 保证数据交换过程中不丢失 保证数据交换过程安全可靠
数据区数据 交换组件
数据库数据 交换组件
大数据交换 组件
Hadoop 元数据
XXX已开展供应链金融、人人贷和保 理等多种业务，积累了一定量的业务 数据，同时业务人员也从客户管理、 风险评级和经营规模预测等方面，提 出了大量分析预测需求；
……
存在的问题
关注的内容
商城数据仓库累积数据没有充分利用 缺乏面向整个XXX的统一、完整的数
据视图； 缺乏支撑XXX日常业务运转的风险评
账户汇总 机构汇总
……
题
数
协议主题 产品主题
……
据
区
供应链数据
……
贴源数据区
……
大数据交换组件 数 据 安 全
企业内外部半结构化、非结构化数据
数据库数据交换组件
数据区数据交换组件
数据交换平 台
商城零售
供应链金融 人人贷系统
基金系统
……系统
用户 访问
层 数据 应用
层
数据 计算
层
数据 交换 层 数据 产生 层7
据
内部用户
wenku.baidu.com
实时数 历史数 据查询 据查询
内部管理分析
应用集市数据区
客户管理 财务管理 风险管理
历
实
史
大数据区
时
归
数
档
待 社交媒体 处
据 区
数 据
处 理
用户评价
理 后
区
大 移动互联 大
数
数
据 访问日志 据
客户汇总 客户主题 零售数据
外部用户
业务沙盘演练
数据增 值产品
……
沙盘演练数据区
增值产 品数据区
主
集团决策层
集团职能管控 层
外部非结构化数据
POP系统
采购管理系统 其他业务系统
各级业务操作层
4
大数据可视化分析平台建设预期收益
1.实现数据共享
通过数据平台实现数据集中，确保XXX各级部门均可在保证数据隐私和安全的前提下 使用数据，充分发挥数据作为企业重要资产的业务价值
2.加强业务协作
实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集 中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协 作，并为企业级分析、交叉销售提供基础
估体系； 缺乏XXX客户360度视图，客户行为分
析和预测无法实现； 缺乏面向金融业务运营管理的关键绩
效指标体系； ……
数据平台、数据应用、数据管控……
数据平台整体架构； 数据平台各层建设的标准； 较成熟的金融业数据模型； 数据质量治理； 元数据管理； 数据标准建设 数据整合； 数据应用建设； 数据平台的软硬环境 ……
企业内部非结构化数据
❖ 日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……
企业外部数据
❖ 企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息……
源数据增量
在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据 商城和XXX业务系统的数据
0%
2004年 2005年 2006年 2007年 2008年 铁矿石 焦煤
自定义报表工具 行＋列的简单定义方式
多种格式报表
BI 分析工具
云数据推送平台已实现 了主要零售及金融业务 系统数据清洗、整合， 为未来XXX数据平台提供
了丰富的数据源。
供应链金融系统
统一定义BI 应用
统一规划分析方法 统一划分分析主题 统一设计数据模式 统一部署技术基础
❖ 增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现 ❖ 对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量 ❖ 初始数据加载均采用全量模式
8
大数据可视化分析平台总体架构——数据交换层
传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存 储库的特点来针对性的设计工具，以追求卓越的性能
大数据可视化分析平台总体架构——数据产生层
源数据内容
内部业务系统产生的结构化数据
❖ 商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水…… ❖ XXX日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水……
体解决方案大数据可视化分析平台总体解决方案 大数据可视化分析平台总体解决方案
大数据可视化分析平台总体解决方案
大数据可视化分析平台总体解决方案
大数据可视化分析平台总体解决方案
据可视化分析平台总体解决方案
议程
2 3 4 5
2
XXX管理分析类应用建设现状基本分析
基本的现状
商城已建立面向整个零售业务的数据 仓库，整合了前台业务运营数据和后 台管理数据，建立了面向零售的管理 分析应用；
5.改善数据质量
从中长期看，数据仓库对XXX分散在各个业务系统中的数据整合、清洗，有助于企业 整体数据质量的改善，提高的数据的实用性
5
议程
1
3 4 5
6
大数据可视化分析平台总体架构
数据 IT人员
管控
平台
流程
数
调度
据 标
平台
准
流
程
调
数 据 管 控 层
数流
据 质 量
程 调 度
层
元
度 监 控 告 警
数
基础数据平台和BI应用建设是未来一段时间的重点！ 3
大数据可视化分析平台建设目标
通过数据平台和BI应用建设，XXX将搭建统一的大数据共享和分析平台，对各类业务进行前瞻 性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力
统一制定目标和 分析模型
600% 500% 400% 300% 200% 100%
3.促进业务创新
XXX业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融业务创 新（客户服务创新、产品创新等）创造了有利条件
4.提升建设效率
通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基 础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转 变，提升相关IT系统的建设和运行效率
大数大数据可视化分析平台总体解决方案
2
0
2 0 大数据可视大数据可视化分析平台总体解决方案 大数据可视化分析平台总体解决方案
大数据可视化分析平台总体解决方案
大数据可视化分析平台总体解决方案
大数据可视化分析平台总体解决方案
化分析平台总体解决方案
大数据可视化分析平台总 大数据可视化分析平台总体解决方案 大数据可视化分析平台总体解决方案