集团企业BI大数据分析平台综合解决方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
金融集团已开展供应链金融、人人贷 和保理等多种业务，积累了一定量的 业务数据，同时业务人员也从客户管 理、风险评级和经营规模预测等方面 ，提出了大量分析预测需求；
……
存在的问题
信用数据仓库累积数据没有充分利用 缺乏面向整个金融集团的统一、完整
的数据视图； 缺乏支撑金融集团日常业务运转的风
险评估体系； 缺乏金融集团客户360度视图，客户
❖ 日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……
企业外部数据
❖ 企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息……
源数据增量
在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据 信用和金融集团业务系统的数据
基础数据平台和BI应用建设是未来一段时间的重点！
Page 3
大数据分析平台建设目标
集团企业BI大数据分析平台架构
通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行 前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力
统一制定目标和 分析模型
行为分析和预测无法实现； 缺乏面向金融业务运营管理的关键绩
效指标体系； ……
数据平台、数据应用、数据管控……
关注的内容
数据平台整体架构； 数据平台各层建设的标准； 较成熟的金融业数据模型； 数据质量治理； 元数据管理； 数据标准建设 数据整合； 数据应用建设； 数据平台的软硬环境 ……
Hadoo p元数
据
NAS 存储
数据平台导入 数据平台导出
临时区
临时区
ETL 程序 区
云数据推送平台
2020
集团企业BI大数据分析平 台综合解决方案
集团企业BI大数据分析平台综合解决方案
议程
2 3 4 5
集团企业BI大数据分析平台架构 Page 2
金融集团管理分析类应用建设现状基本分析
集团企业BI大数据分析平台架构
基本的现状
信用已建立面向整个零售业务的数据 仓库，整合了前台业务运营数据和后 台管理数据，建立了面向零售的管理 分析应用；
供应链数据
……
贴源数据区
……
大数据交换组件 数 据 安 全
企业内外部半结构化、非结构化数据
数据库数据交换组件
数据区数据交换组件
数据交换平 台
信用零售
供应链金融 人人贷系统
基金系统
……系统
用户 访问
层 数据 应用
层
数据 计算
层
数据 交换 层 数据 产生 Pa层ge 7
集团企业BI大数据分析平台总体架构——数据产生层 集团企业BI大数据分析平台架构
源数据内容
内部业务系统产生的结构化数据
❖ 信用日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水…… ❖ 金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水……
企业内部非结构化数据
2.加强业务协作
实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集 中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协 作，并为企业级分析、交叉销售提供基础
3.促进业务创新
金融集团业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融 业务创新（客户服务创新、产品创新等）创造了有利条件
❖ 增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现 ❖ 对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量 ❖ 初始数据加载均采用全量模式
Page 8
集团企业BI大数据分析平台总体架构——数据交换层 集团企业BI大数据分析平台架构
供应链金融系统
POP系统
统一定义BI 应用
统一规划分析方法 统一划分分析主题 统一设计数据模式 统一部署技术基础
外部非结构化数据 采购管理系统 其他业务系统
集团决策层
集团职能管控 层
各级业务操作层
Page 4
大数据分析平台建设预期收益
集团企业BI大数据分析平台架构
1.实现数据共享
通过数据平台实现数据集中，确保金融集团各级部门均可在保证数据隐私和安全的 前提下使用数据，充分发挥数据作为企业重要资产的业务价值
应用集市数据区
客户管理 财务管理 风险管理
历
实
史
大数据区
时
归
数
档
待 社交媒体 处
据 区
数 据
处 理
用户评价
理 后
区
大 移动互联 大
数
数
据 访问日志 据
客户汇总 客户主题 零售数据
外部用户
业务沙盘演练
数据增 值产品
……
沙盘演练数据区
增值产 品数据区
主
账户汇总 机构汇总
……
题
数
协议主题 产品主题
……
据
区
4.提升建设效率
通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基 础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转 变，提升相关IT系统的建设和运行效率
5.改善数据质量
从中长期看，数据仓库对金融集团分散在各个业务系统中的数据整合、清洗，有助 于企业整体数据质量的改善，提高的数据的实用性
600% 500% 400% 300% 200% 100%
0%
2004年 2005年 2006年 2007年 2008年 铁矿石 焦煤
自定义报表工具 行＋列的简来自百度文库定义方式
多种格式报表
BI 分析工具
云数据推送平台已实现 了主要零售及金融业务 系统数据清洗、整合， 为未来金融集团数据平 台提供了丰富的数据源。
传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存 储库的特点来针对性的设计工具，以追求卓越的性能
数据交换层设计目标
数据服务层
保证数据在平台内高速流转 保证数据交换过程中不失真 保证数据交换过程中不丢失 保证数据交换过程安全可靠
数据区数据 交换组件
数据库数据 交换组件
大数据交换 组件
Page 5
议程 1
3 4 5
集团企业BI大数据分析平台架构 Page 6
集团企业BI大数据分析平台总体架构
集团企业BI大数据分析平台架构
数据 IT人员
管控
平台
流程
数
调度
据 标
平台
准
流
程
调
数 据 管 控 层
数流
据 质 量
程 调 度
层
元
度 监 控 告 警
数
据
内部用户
实时数 历史数 据查询 据查询
内部管理分析
……
存在的问题
信用数据仓库累积数据没有充分利用 缺乏面向整个金融集团的统一、完整
的数据视图； 缺乏支撑金融集团日常业务运转的风
险评估体系； 缺乏金融集团客户360度视图，客户
❖ 日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……
企业外部数据
❖ 企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息……
源数据增量
在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据 信用和金融集团业务系统的数据
基础数据平台和BI应用建设是未来一段时间的重点！
Page 3
大数据分析平台建设目标
集团企业BI大数据分析平台架构
通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行 前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力
统一制定目标和 分析模型
行为分析和预测无法实现； 缺乏面向金融业务运营管理的关键绩
效指标体系； ……
数据平台、数据应用、数据管控……
关注的内容
数据平台整体架构； 数据平台各层建设的标准； 较成熟的金融业数据模型； 数据质量治理； 元数据管理； 数据标准建设 数据整合； 数据应用建设； 数据平台的软硬环境 ……
Hadoo p元数
据
NAS 存储
数据平台导入 数据平台导出
临时区
临时区
ETL 程序 区
云数据推送平台
2020
集团企业BI大数据分析平 台综合解决方案
集团企业BI大数据分析平台综合解决方案
议程
2 3 4 5
集团企业BI大数据分析平台架构 Page 2
金融集团管理分析类应用建设现状基本分析
集团企业BI大数据分析平台架构
基本的现状
信用已建立面向整个零售业务的数据 仓库，整合了前台业务运营数据和后 台管理数据，建立了面向零售的管理 分析应用；
供应链数据
……
贴源数据区
……
大数据交换组件 数 据 安 全
企业内外部半结构化、非结构化数据
数据库数据交换组件
数据区数据交换组件
数据交换平 台
信用零售
供应链金融 人人贷系统
基金系统
……系统
用户 访问
层 数据 应用
层
数据 计算
层
数据 交换 层 数据 产生 Pa层ge 7
集团企业BI大数据分析平台总体架构——数据产生层 集团企业BI大数据分析平台架构
源数据内容
内部业务系统产生的结构化数据
❖ 信用日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水…… ❖ 金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水……
企业内部非结构化数据
2.加强业务协作
实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集 中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协 作，并为企业级分析、交叉销售提供基础
3.促进业务创新
金融集团业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融 业务创新（客户服务创新、产品创新等）创造了有利条件
❖ 增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现 ❖ 对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量 ❖ 初始数据加载均采用全量模式
Page 8
集团企业BI大数据分析平台总体架构——数据交换层 集团企业BI大数据分析平台架构
供应链金融系统
POP系统
统一定义BI 应用
统一规划分析方法 统一划分分析主题 统一设计数据模式 统一部署技术基础
外部非结构化数据 采购管理系统 其他业务系统
集团决策层
集团职能管控 层
各级业务操作层
Page 4
大数据分析平台建设预期收益
集团企业BI大数据分析平台架构
1.实现数据共享
通过数据平台实现数据集中，确保金融集团各级部门均可在保证数据隐私和安全的 前提下使用数据，充分发挥数据作为企业重要资产的业务价值
应用集市数据区
客户管理 财务管理 风险管理
历
实
史
大数据区
时
归
数
档
待 社交媒体 处
据 区
数 据
处 理
用户评价
理 后
区
大 移动互联 大
数
数
据 访问日志 据
客户汇总 客户主题 零售数据
外部用户
业务沙盘演练
数据增 值产品
……
沙盘演练数据区
增值产 品数据区
主
账户汇总 机构汇总
……
题
数
协议主题 产品主题
……
据
区
4.提升建设效率
通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基 础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转 变，提升相关IT系统的建设和运行效率
5.改善数据质量
从中长期看，数据仓库对金融集团分散在各个业务系统中的数据整合、清洗，有助 于企业整体数据质量的改善，提高的数据的实用性
600% 500% 400% 300% 200% 100%
0%
2004年 2005年 2006年 2007年 2008年 铁矿石 焦煤
自定义报表工具 行＋列的简来自百度文库定义方式
多种格式报表
BI 分析工具
云数据推送平台已实现 了主要零售及金融业务 系统数据清洗、整合， 为未来金融集团数据平 台提供了丰富的数据源。
传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存 储库的特点来针对性的设计工具，以追求卓越的性能
数据交换层设计目标
数据服务层
保证数据在平台内高速流转 保证数据交换过程中不失真 保证数据交换过程中不丢失 保证数据交换过程安全可靠
数据区数据 交换组件
数据库数据 交换组件
大数据交换 组件
Page 5
议程 1
3 4 5
集团企业BI大数据分析平台架构 Page 6
集团企业BI大数据分析平台总体架构
集团企业BI大数据分析平台架构
数据 IT人员
管控
平台
流程
数
调度
据 标
平台
准
流
程
调
数 据 管 控 层
数流
据 质 量
程 调 度
层
元
度 监 控 告 警
数
据
内部用户
实时数 历史数 据查询 据查询
内部管理分析