基于PAAS平台的智慧企业大数据平台建设方案

MAINFRAME CLIENT-SERVER & WEB
先行者: 服务于海量客户的互联网巨头企业
CONSUMER GRADE
新的客户体验 新的业务模式
由服务于海量客户的互联网巨头企 业引领潮流
• 在线存储周期超过数据生命周期规划的数据 • 适合Hadoop分布式架构管理
按数据格式类别划分
非结构化数据
结构化数据
• 方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如：
• 无法用二维表智慧结小构区来云服务平台整体客解决户方信案息智、慧小用区电云记服录务等平台。整是体挖解掘决数方案据智价慧值小的区主云服要务对平象台。整体解决方案
客户汇总 账户汇总 机构汇总 产品汇总
……
主 题
核心数据 实 总账数据 时 国结数据 数
用智户慧评小区价云信服务息平台整体解客决户方主案题智慧小协区议云主服务题平台产整品体主解决题方案智事慧小件区云服务平…台…整体解决数据方案
移动互联信息
区
网银数据 ……数据
据 区
数据 服务层
…… 元数据
POS增量 财务增量 库存增量 采购增量 ……增量 临时数据区
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
更丰富、更细致 的客户管理
Customer 360o Single View
更准确、更及时 的营销管理
Key Life Events & Next Best Action
更高效、更全面 的风险管理
Stress Test & Credit Assessments
群
• 支持前台交易系统查 询需求，具有可靠性 高、并发度大、采集 频率短的特点
Page 6
企业大数据平台架构原则平台
技术-跨平台数据交换
批量和实时数据采用不同的技术手段和工具，遵循统一的文件接口标准
技术-平台内数据复制
跨同构/异构数据库（物理系统），基于文本、数据库的数据抽取和加载，数据的形式不 发生变化，不涉及数据转换。
2019
基于PAAS平台的智慧企业大 数据平台建设方案
Agenda
• 企业新一代数据平台的技术需求 • 创新的技术平台建设思路
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
面向大数据的分析
Now What?
So What?
What?
大数据分析
• 企业内、外部的结构 化和非结构化数据
• 海量&剧增数据的支撑能力
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
• 传统数据仓库技术和新技术的结合
• Hadoop技术的合理运用与性能
Agenda
• 企业新一代数据平台的技术需求 • 创新的技术平台建设思路
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
逻辑表达的无结构性 的数据。例如文本、 音频数据等。
非实时数据
按数据采集频度划分
准实时数据
• 支持分析型应用，时效性较低
范式化模型数据
• 面向贴源数据查询和主题数据整合。 • 数据区，适合X86MPP数据库集群
按数据模型划分
维度模型数据
• 面向分析类应用。 • 对应ADW和CM数据区，适合MPP数据库集
数据传输
数据稽核
数据处理
流程调度
监控告警
……
数据 数据交换平台 交换层
企业内外部半结构化、非结构化数据
核心系统 总账系统 国结系统 网银系统 ……系统
数据 产生层
企业大数据平台数据内容及实现技术
大数据 平台
在线数据
按数据格式类别划分
归档数据
• 应用平台提交请求访问的数据，包括结构化和非结构化两 类
数据-数据质量控制
通过一系列的技术和业务手段实现数据集成平台数据质量控制，主要体现在数据正确性 （技术）、完整性、一致性（业务）、有效性。
Page 7
7
企业大数据平台架构原则平
数据-历史数据分级存储和访问
近线数据存储形式保持源表源结构，主要以数据库形式存储，支持在线数据查询、访问和 应用支持，响应时间秒级。归档数据以廉价大容量磁盘方式存储，存储形式会根据数据环境和未 来应用的差异，采用不同于源结构的存储形式。同时，归档数据需要创建“被动索引”并具备恢 复到主题数据区或者汇总数据区的能力。
• 数据量在TB级以上 • 以数据挖掘、预测和
实时分析为主，强调 对业务驱动
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平传台整统体解B决I 分方案析
• 企业内部的结构化数 据，
• 数据量在GB~TB级 • 以报表、查询和分析
为主，反应当前业务 现状
大数据分析在企业的应用
通用银行业大数据分析平台
决策人员
管理人员
客户管理
管理分析类应用
财务管理 风险管理 运营管理
数据科学家
……管理
沙盘演练应用
业务人员 实时分析应用
用户访 问层
数据 应用层
数 据
wk.baidu.com管 控 层
HDS
历 史 归 档 数 据 区
客户管理
财务管理
风险管理
……管理
应用集市 数据区
沙盘演练数据区
非结构化数据区 社交媒体信息
数据-非结构化数据管理
对于交易和处理过程中形态尚不稳定的非结构化数据，可由各平台根据时效性、一致性控 制和完整性控制等要求考虑自行处理 安全-数据智访慧小问区云安服全务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
对于普通的查询访问应用，应该具备屏蔽敏感信息的展现的能力。面向行内用户的数据访 问，应按照数据的属主进行访问隔离。
运维-系统日常运行性能管理 在数据量不断增加、访问用户数量的增长、用户数据使用成熟度的变化、数据ETL持续滚动
开发等场景的不断变化下，需要围绕日常性能管理，不断调整系统设计和运行策略。
Page 8
8
建设新一代数据平台的驱动力
• 完整的大规模数据的快速捕获流程
• 多种类型数据的存储
• 数据的实时共享与交换
数据复制后产生的数据副本主要是为了便于数据引用，需要制定数据副本的生命周期管理 策略以及保证数据副本的只读属性。
数据-数据智即慧服小区务云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
业务人员通过逻辑数据对象组件访问数据，而不用关心数据的物理存储方式。通过全行指 标口径和维度、度量信息，使业务人员可以较容易、较快地定位和了解数据的内容。