企业大数据平台建设方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
✓数据-非结构化数据管理
对于交易和处理过程中形态尚不稳定的非结构化数据，可由各平台根据时效性、一致性控 制和完整性控制等要求考虑自行处理 ✓安全-数据访问安全
对于普通的查询访问应用，应该具备屏蔽敏感信息的展现的能力。面向行内用户的数据访 问，应按照数据的属主进行访问隔离。
✓运维-系统日常运行性能管理 在数据量不断增加、访问用户数量的增长、用户数据使用成熟度的变化、数据ETL持续滚动
生产应用策略
供应链应用策略
营销&销售&服务 应用策略
企业全球大数据决策中心平台的管控体系
组织职能
管控流程
企业全球大数据决策中心平台的IT支持
IT支持
智慧企业大数据解决方案
117 12
在战略定位层面，企业大数据应用要立足于网络化的外部市场与企业内部，为网络 化战略提供决策支持，成为企业网络化战略的决策平台之一
开发等场景的不断变化下，需要围绕日常性能管理，不断调整系统设计和运行策略。
9
智慧企业大数据解决方案
Page 9 9
建设新一代数据平台的驱动力
完整的大规模数据的快速捕获流程 多种类型数据的存储 数据的实时共享与交换 海量&剧增数据的支撑能力 传统数据仓库技术和新技术的结合 Hadoop技术的合理运用与性能
业务人员 实时分析应用
用户访 问层
数据 应用层
数 据
管 控 层
HDS
历 史
客户管理 财务管理 风险管理
……管理
应用集市 数据区
沙盘演练数据区
归 档 数
非结构化数据区 社交媒体信息
客户汇总 账户汇总 机构汇总 产品汇总
……
据 用户评价信息 区 移动互联信息
客户主题 协议主题 产品主题 事件
……
主 题 数 据 区
网络化的外部市 场 数据
▪ NWeetbwo2r.k0 && Se-oCcoiaml merce ▪ 网络化的用户与市场
网络化的企业内部 数据
▪ People 2.0 & 在线协作 & 企业社区
▪ 网络化的员工与企业
维度模型数据
• 面向分析类应用。 • 对应ADW和CM数据区，适合MPP数据库集
群
• 支持前台交易系统查 询需求，具有可靠性 高、并发度大、采集 频率短的特点
智慧企业大数据解决方案
Page 7 7
企业大数据平台架构原则平台
✓技术-跨平台数据交换
批量和实时数据采用不同的技术手段和工具，遵循统一的文件接口标准
智慧企业大数据解决方案
10
Agenda
企业新一代数据平台的技术需求
创新的技术平台建设思路
智慧企业大数据解决方案
11
基于企业大数据应用转型框架，一切围绕‚做什么‛和‚如何做‛进行方案设 计
为什么?
做什么?
产品设计&研发 应用策略
如何做 ?
管控模式
企业大数据战略定位
企业全球大数据决策中心平台的业务应用策略
智慧企业大数据平台建设方案
建立在PAAS平台上的新一代数据平台解决方案
智慧企业大数据解决方案
2
Agenda
企业新一代数据平台的技术需求 创新的技术平台建设思路
智慧企业大数据解决方案
3
面向大数据的分析
Now What?
So What?
What?
智慧企业大数据解决方案
大数据分析
• 企业内、外部的结构 化和非结构化数据
Key Life Events & Next Best Action
更高效、更全面 的风险管理
Stress Test & Credit Assessments
智慧企业大数据解决方案
5
通用银行业大数据分析平台
决策人员
管理人员
数据科学家
客户管理
管理分析类应用
财务管理 风险管理 运营管理
……管理
沙盘演练应用
智慧企业大数据解决方案
6
企业大数据平台数据内容及实现技术
大数据 平台
在线数据
按数据格式类别划分
归档数据
• 应用平台提交请求访问的数据，包括结构化和非结构化两 类
• 在线存储周期超过数据生命周期规划的数据 • 适合Hadoop分布式架构管理
按数据格式类别划分
非结构化数据
结构化数据
• 无法用二维表结构来 逻辑表达的无结构性 的数据。例如文本、 音频数据等。
• 数据量在TB级以上 • 以数据挖掘、预测和
实时分析为主，强调 对业务驱动
传统BI 分析
• 企业内部的结构化数 据，
• 数据量在GB~TB级 • 以报表、查询和分析
为主，反应当前业务 现状
4
大数据分析在企业的应用
更丰富、更细致 的客户管理
Customer 360o Single View
更准确、更及时 的营销管理
核心数据 实
Hale Waihona Puke Baidu总账数据 时
国结数据 数 数据
网银数据 ……数据
据 区
服务层
…… 元数据
POS增量 财务增量 库存增量 采购增量
……增量 临时数据区
数据传输
数据稽核
数据处理
流程调度
监控告警
……
数据 数据交换平台 交换层
企业内外部半结构化、非结构化数据
核心系统 总账系统 国结系统 网银系统 ……系统
数据 产生层
✓技术-平台内数据复制
跨同构/异构数据库（物理系统），基于文本、数据库的数据抽取和加载，数据的形式不 发生变化，不涉及数据转换。
数据复制后产生的数据副本主要是为了便于数据引用，需要制定数据副本的生命周期管理 策略以及保证数据副本的只读属性。
✓数据-数据即服务
业务人员通过逻辑数据对象组件访问数据，而不用关心数据的物理存储方式。通过全行指 标口径和维度、度量信息，使业务人员可以较容易、较快地定位和了解数据的内容。
• 方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如： 客户信息、用电记录等。是挖掘数据价值的主要对象。
非实时数据
• 支持分析型应用，时效性较低
按数据采集频度划分
准实时数据
范式化模型数据
• 面向贴源数据查询和主题数据整合。 • 数据区，适合X86MPP数据库集群
按数据模型划分
✓数据-数据质量控制
通过一系列的技术和业务手段实现数据集成平台数据质量控制，主要体现在数据正确性 （技术）、完整性、一致性（业务）、有效性。
8
智慧企业大数据解决方案
Page 8 8
企业大数据平台架构原则平
✓数据-历史数据分级存储和访问
近线数据存储形式保持源表源结构，主要以数据库形式存储，支持在线数据查询、访问和 应用支持，响应时间秒级。归档数据以廉价大容量磁盘方式存储，存储形式会根据数据环境和未 来应用的差异，采用不同于源结构的存储形式。同时，归档数据需要创建“被动索引”并具备恢 复到主题数据区或者汇总数据区的能力。
对于交易和处理过程中形态尚不稳定的非结构化数据，可由各平台根据时效性、一致性控 制和完整性控制等要求考虑自行处理 ✓安全-数据访问安全
对于普通的查询访问应用，应该具备屏蔽敏感信息的展现的能力。面向行内用户的数据访 问，应按照数据的属主进行访问隔离。
✓运维-系统日常运行性能管理 在数据量不断增加、访问用户数量的增长、用户数据使用成熟度的变化、数据ETL持续滚动
生产应用策略
供应链应用策略
营销&销售&服务 应用策略
企业全球大数据决策中心平台的管控体系
组织职能
管控流程
企业全球大数据决策中心平台的IT支持
IT支持
智慧企业大数据解决方案
117 12
在战略定位层面，企业大数据应用要立足于网络化的外部市场与企业内部，为网络 化战略提供决策支持，成为企业网络化战略的决策平台之一
开发等场景的不断变化下，需要围绕日常性能管理，不断调整系统设计和运行策略。
9
智慧企业大数据解决方案
Page 9 9
建设新一代数据平台的驱动力
完整的大规模数据的快速捕获流程 多种类型数据的存储 数据的实时共享与交换 海量&剧增数据的支撑能力 传统数据仓库技术和新技术的结合 Hadoop技术的合理运用与性能
业务人员 实时分析应用
用户访 问层
数据 应用层
数 据
管 控 层
HDS
历 史
客户管理 财务管理 风险管理
……管理
应用集市 数据区
沙盘演练数据区
归 档 数
非结构化数据区 社交媒体信息
客户汇总 账户汇总 机构汇总 产品汇总
……
据 用户评价信息 区 移动互联信息
客户主题 协议主题 产品主题 事件
……
主 题 数 据 区
网络化的外部市 场 数据
▪ NWeetbwo2r.k0 && Se-oCcoiaml merce ▪ 网络化的用户与市场
网络化的企业内部 数据
▪ People 2.0 & 在线协作 & 企业社区
▪ 网络化的员工与企业
维度模型数据
• 面向分析类应用。 • 对应ADW和CM数据区，适合MPP数据库集
群
• 支持前台交易系统查 询需求，具有可靠性 高、并发度大、采集 频率短的特点
智慧企业大数据解决方案
Page 7 7
企业大数据平台架构原则平台
✓技术-跨平台数据交换
批量和实时数据采用不同的技术手段和工具，遵循统一的文件接口标准
智慧企业大数据解决方案
10
Agenda
企业新一代数据平台的技术需求
创新的技术平台建设思路
智慧企业大数据解决方案
11
基于企业大数据应用转型框架，一切围绕‚做什么‛和‚如何做‛进行方案设 计
为什么?
做什么?
产品设计&研发 应用策略
如何做 ?
管控模式
企业大数据战略定位
企业全球大数据决策中心平台的业务应用策略
智慧企业大数据平台建设方案
建立在PAAS平台上的新一代数据平台解决方案
智慧企业大数据解决方案
2
Agenda
企业新一代数据平台的技术需求 创新的技术平台建设思路
智慧企业大数据解决方案
3
面向大数据的分析
Now What?
So What?
What?
智慧企业大数据解决方案
大数据分析
• 企业内、外部的结构 化和非结构化数据
Key Life Events & Next Best Action
更高效、更全面 的风险管理
Stress Test & Credit Assessments
智慧企业大数据解决方案
5
通用银行业大数据分析平台
决策人员
管理人员
数据科学家
客户管理
管理分析类应用
财务管理 风险管理 运营管理
……管理
沙盘演练应用
智慧企业大数据解决方案
6
企业大数据平台数据内容及实现技术
大数据 平台
在线数据
按数据格式类别划分
归档数据
• 应用平台提交请求访问的数据，包括结构化和非结构化两 类
• 在线存储周期超过数据生命周期规划的数据 • 适合Hadoop分布式架构管理
按数据格式类别划分
非结构化数据
结构化数据
• 无法用二维表结构来 逻辑表达的无结构性 的数据。例如文本、 音频数据等。
• 数据量在TB级以上 • 以数据挖掘、预测和
实时分析为主，强调 对业务驱动
传统BI 分析
• 企业内部的结构化数 据，
• 数据量在GB~TB级 • 以报表、查询和分析
为主，反应当前业务 现状
4
大数据分析在企业的应用
更丰富、更细致 的客户管理
Customer 360o Single View
更准确、更及时 的营销管理
核心数据 实
Hale Waihona Puke Baidu总账数据 时
国结数据 数 数据
网银数据 ……数据
据 区
服务层
…… 元数据
POS增量 财务增量 库存增量 采购增量
……增量 临时数据区
数据传输
数据稽核
数据处理
流程调度
监控告警
……
数据 数据交换平台 交换层
企业内外部半结构化、非结构化数据
核心系统 总账系统 国结系统 网银系统 ……系统
数据 产生层
✓技术-平台内数据复制
跨同构/异构数据库（物理系统），基于文本、数据库的数据抽取和加载，数据的形式不 发生变化，不涉及数据转换。
数据复制后产生的数据副本主要是为了便于数据引用，需要制定数据副本的生命周期管理 策略以及保证数据副本的只读属性。
✓数据-数据即服务
业务人员通过逻辑数据对象组件访问数据，而不用关心数据的物理存储方式。通过全行指 标口径和维度、度量信息，使业务人员可以较容易、较快地定位和了解数据的内容。
• 方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如： 客户信息、用电记录等。是挖掘数据价值的主要对象。
非实时数据
• 支持分析型应用，时效性较低
按数据采集频度划分
准实时数据
范式化模型数据
• 面向贴源数据查询和主题数据整合。 • 数据区，适合X86MPP数据库集群
按数据模型划分
✓数据-数据质量控制
通过一系列的技术和业务手段实现数据集成平台数据质量控制，主要体现在数据正确性 （技术）、完整性、一致性（业务）、有效性。
8
智慧企业大数据解决方案
Page 8 8
企业大数据平台架构原则平
✓数据-历史数据分级存储和访问
近线数据存储形式保持源表源结构，主要以数据库形式存储，支持在线数据查询、访问和 应用支持，响应时间秒级。归档数据以廉价大容量磁盘方式存储，存储形式会根据数据环境和未 来应用的差异，采用不同于源结构的存储形式。同时，归档数据需要创建“被动索引”并具备恢 复到主题数据区或者汇总数据区的能力。