大数据分析平台总体架构方案ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
客户管理 财务管理 风险管理
业务沙盘演练
数据增 值产品
数据 应用 层
…… 沙盘演练数据区品增数值据产区
调
数 据 管 控 层
数 据 质 量
流 程 调 度
层
度 监 控 告 警
实 时 数 据 区
元
数
历 史
大数据区
归
档 待 社交媒体 处
数 据
处 理 用户评价
理 后
区
大 数
移动互联
大 数
据 访问日志 据
主
客户汇总 账户汇总 机构汇总 … … 题 数据 数 计算
法实现；
数据整合；
缺乏面向金融业务运营管理
数据应用建设；
的关键绩效指标体系；
数据平台的软硬环境
数据…平…台、数据应用、数据管控…………
基础数据平台和BI应用建设是未来一段时间的重点！
大数据分析平台建设目标
通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，
对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支
……
存在的问题
关注的内容
商城数据仓库累积数据没有
数据平台整体架构；
充分利用
数据平台各层建设的标准
缺乏面向整个金融集团的统
；
一、完整的数据视图；
较成熟的金融业数据模型
缺乏支撑金融集团日常业务
；
运转的风险评估体系；
数据质量治理；
缺乏金融集团客户360度视
元数据管理；
图，客户行为分析和预测无 数据标准建设
客户主题 协议主题 产品主题 … … 据 层
区
零售数据 供应链数据 …… 贴源数据
据
区
……
数据
大数据交换组件
数据库数据交换组件 数据区数据交换组件 数据交换 交换
数
平台
层
据
安
数据
全
产生
企业内外部半结构化、非结构化 数据
商城零售 供应链金融 人人贷系 基金系统 ……系统
层
统
大数据分析平台总体架构——数据产生层
❖ 日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……
企业外部数据
源❖ 数企据业外增部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交 媒量体信息……
在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据 商城和金融集团业务系统的数据
据源。
供应链金融系统
统一定义BI 应用
统一规划分析 统一方划法分分析
主题 统一设计数据模式 统一部署技术基础
集团决策层
集团职能管 控层
外部非结构化数据
POP系统 采购管理系统 其他业务系统
各级业务操作层
大数据分析平台建设预期收益
1.实现数据 共享
2.加强业务 协作
3.促进业务 创新
4.提升建设 效率
智慧金融： 金融集团大数据分析平台总体架 构方案
议程
2 3 4 5
金融集团管理分析类应用建设现状基本分析
基本的现状
商城已建立面向整个零售业 务的数据仓库，整合了前台 业务运营数据和后台管理数 据，建立了面向零售的管理 分析应用；
金融集团已开展供应链金融 、人人贷和保理等多种业务 ，积累了一定量的业务数据 ，同时业务人员也从客户管 理、风险评级和经营规模预 测等方面，提出了大量分析 预测需求；
Hale Waihona Puke Baidu
数据交换层设计 目标
数据服务层
保证数据在平台内高 速流转
保证数据交换过程中不失真
保证数据交换过程中 不丢失
保证数据交换过程安 全可靠
数据区数 据交换组
件
数据库数 据交换组
件
大数据交 换组件
Hadoo p元数
据
NAS 存储
ETL
数据平台导 数据平台导 程
入临时区 出临时区 序
区
云数据推送平台
外
部
大
商城系统
金融集团系统 数 据
大数据分析平台总体架构——数据交换层NAS存储
Hadoop集群元 数据区
存储数据平台各个Hadoop集群的元数据信息，如： HDFS文件系统元数据
数据平台临时 数据区
集团数据交换平台每日获取运输局推送平台提供 的业务系统变化数据，暂存在NAS临时数据区
金融数据平台加工计算结果返回给业务系统，暂 存在NAS临时数据区
持，提升数据共享与流转能力
统一制定目标
自定义报表工具
和分析模型
行＋列的方简式单定义
多种格式报表
BI 分析工 具
600% 500% 400% 300% 200% 100%
0% 2004年 2005年 2006年 2007年 2008年
铁矿石 焦煤
云数据推送平台已 实现了主要零售及 金融业务系统数据 清洗、整合，为未 来金融集团数据平 台提供了丰富的数
❖ 增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现 ❖ 对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量 ❖ 初始数据加载均采用全量模式
大数据分析平台总体架构——数据交换层
传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据 存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能
5.改善数据 质量
通过数据平台实现数据集中，确保金融集团各级部门均可在保证 数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要 资产的业务价值
实现分散在供应链金融、人人贷、保理等各个业务系统中的数据 在数据平台中的集中和整合，建立单一的产品、客户等数据的企 业级视图，有效促进业务的集成和协作，并为企业级分析、交叉 销售提供基础
从中长期看，数据仓库对金融集团分散在各个业务系统中的数据 整合、清洗，有助于企业整体数据质量的改善，提高的数据的实 用性
议程
1
3 4 5
大数据分析平台总体架构
用户
数 IT人员 据
管
内部用户
外部用户 访问 层
控 平 台数据
标 准
流 实时数 历史数 程 据查询 据查询 调
内部管理分析
度 平台流程
应用集市数据区
金融集团业务人员可以基于明细、可信的数据，进行多维分析和 数据挖掘，为金融业务创新（客户服务创新、产品创新等）创造 了有利条件
通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统 提供一致的数据基础，改变现有系统数据来源多、数据处理复杂 的现状，实现应用系统建设模式的转变，提升相关IT系统的建设 和运行效率
源数据内 容
内部业务系统产生的结构化数据
❖ 商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信 息、销售流水……
❖ 金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品 信息、交易流水……
企业内部非结构化数据
业务沙盘演练
数据增 值产品
数据 应用 层
…… 沙盘演练数据区品增数值据产区
调
数 据 管 控 层
数 据 质 量
流 程 调 度
层
度 监 控 告 警
实 时 数 据 区
元
数
历 史
大数据区
归
档 待 社交媒体 处
数 据
处 理 用户评价
理 后
区
大 数
移动互联
大 数
据 访问日志 据
主
客户汇总 账户汇总 机构汇总 … … 题 数据 数 计算
法实现；
数据整合；
缺乏面向金融业务运营管理
数据应用建设；
的关键绩效指标体系；
数据平台的软硬环境
数据…平…台、数据应用、数据管控…………
基础数据平台和BI应用建设是未来一段时间的重点！
大数据分析平台建设目标
通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，
对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支
……
存在的问题
关注的内容
商城数据仓库累积数据没有
数据平台整体架构；
充分利用
数据平台各层建设的标准
缺乏面向整个金融集团的统
；
一、完整的数据视图；
较成熟的金融业数据模型
缺乏支撑金融集团日常业务
；
运转的风险评估体系；
数据质量治理；
缺乏金融集团客户360度视
元数据管理；
图，客户行为分析和预测无 数据标准建设
客户主题 协议主题 产品主题 … … 据 层
区
零售数据 供应链数据 …… 贴源数据
据
区
……
数据
大数据交换组件
数据库数据交换组件 数据区数据交换组件 数据交换 交换
数
平台
层
据
安
数据
全
产生
企业内外部半结构化、非结构化 数据
商城零售 供应链金融 人人贷系 基金系统 ……系统
层
统
大数据分析平台总体架构——数据产生层
❖ 日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……
企业外部数据
源❖ 数企据业外增部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交 媒量体信息……
在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据 商城和金融集团业务系统的数据
据源。
供应链金融系统
统一定义BI 应用
统一规划分析 统一方划法分分析
主题 统一设计数据模式 统一部署技术基础
集团决策层
集团职能管 控层
外部非结构化数据
POP系统 采购管理系统 其他业务系统
各级业务操作层
大数据分析平台建设预期收益
1.实现数据 共享
2.加强业务 协作
3.促进业务 创新
4.提升建设 效率
智慧金融： 金融集团大数据分析平台总体架 构方案
议程
2 3 4 5
金融集团管理分析类应用建设现状基本分析
基本的现状
商城已建立面向整个零售业 务的数据仓库，整合了前台 业务运营数据和后台管理数 据，建立了面向零售的管理 分析应用；
金融集团已开展供应链金融 、人人贷和保理等多种业务 ，积累了一定量的业务数据 ，同时业务人员也从客户管 理、风险评级和经营规模预 测等方面，提出了大量分析 预测需求；
Hale Waihona Puke Baidu
数据交换层设计 目标
数据服务层
保证数据在平台内高 速流转
保证数据交换过程中不失真
保证数据交换过程中 不丢失
保证数据交换过程安 全可靠
数据区数 据交换组
件
数据库数 据交换组
件
大数据交 换组件
Hadoo p元数
据
NAS 存储
ETL
数据平台导 数据平台导 程
入临时区 出临时区 序
区
云数据推送平台
外
部
大
商城系统
金融集团系统 数 据
大数据分析平台总体架构——数据交换层NAS存储
Hadoop集群元 数据区
存储数据平台各个Hadoop集群的元数据信息，如： HDFS文件系统元数据
数据平台临时 数据区
集团数据交换平台每日获取运输局推送平台提供 的业务系统变化数据，暂存在NAS临时数据区
金融数据平台加工计算结果返回给业务系统，暂 存在NAS临时数据区
持，提升数据共享与流转能力
统一制定目标
自定义报表工具
和分析模型
行＋列的方简式单定义
多种格式报表
BI 分析工 具
600% 500% 400% 300% 200% 100%
0% 2004年 2005年 2006年 2007年 2008年
铁矿石 焦煤
云数据推送平台已 实现了主要零售及 金融业务系统数据 清洗、整合，为未 来金融集团数据平 台提供了丰富的数
❖ 增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现 ❖ 对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量 ❖ 初始数据加载均采用全量模式
大数据分析平台总体架构——数据交换层
传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据 存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能
5.改善数据 质量
通过数据平台实现数据集中，确保金融集团各级部门均可在保证 数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要 资产的业务价值
实现分散在供应链金融、人人贷、保理等各个业务系统中的数据 在数据平台中的集中和整合，建立单一的产品、客户等数据的企 业级视图，有效促进业务的集成和协作，并为企业级分析、交叉 销售提供基础
从中长期看，数据仓库对金融集团分散在各个业务系统中的数据 整合、清洗，有助于企业整体数据质量的改善，提高的数据的实 用性
议程
1
3 4 5
大数据分析平台总体架构
用户
数 IT人员 据
管
内部用户
外部用户 访问 层
控 平 台数据
标 准
流 实时数 历史数 程 据查询 据查询 调
内部管理分析
度 平台流程
应用集市数据区
金融集团业务人员可以基于明细、可信的数据，进行多维分析和 数据挖掘，为金融业务创新（客户服务创新、产品创新等）创造 了有利条件
通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统 提供一致的数据基础，改变现有系统数据来源多、数据处理复杂 的现状，实现应用系统建设模式的转变，提升相关IT系统的建设 和运行效率
源数据内 容
内部业务系统产生的结构化数据
❖ 商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信 息、销售流水……
❖ 金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品 信息、交易流水……
企业内部非结构化数据