大数据平台交流PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3
2、建设目标 1、数据管理目标：建设统一的数据管控体系，对整个集团各个项目的数据进行集 中化管理，保障数据质量。 2、数据应用目标
➢ DaaS：Data as a Service，使数据管理集中化管理，让更多的用户无需去 注意底层数据的问题，而将注意力完全放在如何使用这些数据。 ➢ BIaaS：Business Intelligence as a service，提供一系列数据分析、数据可 视化组件，作为一种敏捷的BI服务为项目提供支撑。
六 大数据分析
七 大数据共享
八 项目建议
11
数据存储架构
历 史 归 档 数 据
临 时 数 据 区
区
应用数据区 主题数据区
源数据区
索
沙
引
盘
数
演
据
练
区
区
12
一 项目概述
二 总体框架
目录
三 数据集成 四 大数据存储 五 大数据治理
六 大数据分析
七 大数据共享
八 项目建议
13
1、数据治理过程中遇到的问题 在业务需求方面：缺乏企业级通用的业务规则。各业务部门制定自己的业务标准， 部门之间的标准常常有矛盾或相互混淆。 在数据质量方面：以满足功能应用为主，未形成企业级的整体数据架构设计，数 据共享上比较困难，数据冗余、数据完整性、数据合规性、数据一致性等问题突出； 在组织管控方面：针对数据质量管控提升，业务部门与信息部门之间未达成共识， 职责划分不清，标准规范不统一，未形成企业级统一的管理体系、管理规范和执行 流程。 在数据发现方面：各部门建设了大量的业务系统，信息资源数量多、门类广、分 布分散、信息不对称的特性，没有统一的机制进行资源的发现和定位。
数据质量问题处理 流程
数据资源目录发布 流程
数据服务申请流程
数据访问流程
数据安全控制流程
18
3、总体框架---技术平台
19
4、数据治理：数据标准管理 什么是数据标准化：对分散在各系统中的数据提供一套统一的数据命名、数据定义、 数据类型、复制规则等的定义基准，并提供运维这套数据标准成功的科学流程。 有哪些数据标准类型：术语标准、代码标准（代码集）、层次代码标准、规则标准、 引用分类标准 数据标准化的目标是什么：通过统一信息标准制定、发布使用、制度约束、系统控 制等手段，实现信息的完整性、有效性、一致性、规范性、开放性和共享性管理， 提高信息化水平
OL AP分析
数据挖掘
全文检索
大数据基础平台
iPaaS
数据采集
数据清洗
数据服务
数据分发
数据库、文件、接口、协议适配
业务系统
APP应用
自动化运维
资源监控
事件管理
问题处理
运维服务
7
2、大数据平台关键技术
汇聚 存储
治理
分析
共享
数据适配 数据采集 数据清洗 数据校验
HDFS HBase 索引库
数据标准
即席分析
数据分析员 业务系统 数据管理员
5
一 项目概述
二 总体框架
目录
三 数据汇聚 四 大数据存储 五 大数据治理
六 大数据分析
七 大数据共享
八 项目建议
6
1、总体框架
数据应用
数据开放门户
平台管理门户
数据增值应用
业务应用
数据治理
数据标准 元数据
数据资源目录 数据质量监控
数据安全
数
据
分
析
即席分析
数据可视化
数据挖掘：通过数据挖掘工具分析结构化、非结构化数据， 通过数据模型挖掘隐藏的数据价值。
数据共享：访问数据平台汇聚的不同项目共享的数据。 数据分析：提供工具，实现数据的分析与可视化
数据管控：提供对数据标准、元数据、数据质量的管控体系 数据安全：对数据平台的数据进行安全访问控制和监控
决策层
业务人员
元数据
OLAP分析
数据资源目录 数据挖掘
数据质量
全文检索
数据安全
数据可视化
数据服务 数据分发 数据订阅
8
一 项目概述
二 总体框架
目录
三 数据汇聚 四 大数据存储 五 大数据治理
六 大数据分析
七 大数据共享
八 项目建议
9
数据汇聚过程
10
一 项目概述
二 总体框架
目录
三 数据集成 四 大数据存储 五 大数据治理
14
2、解决这些问题需要哪些手段？
我们需要一个尺度作为判断的依据来衡量 --- 建立数据标准体系 我们需要一个监测、报告、协助分析数据问题的系统 --- 数据质量管理 我们需要对数据问题的影响进行分析，对数据进行统一的版本管理和规范管理控 制 --- 元数据管理 我们需要有一套完整的定义、度量、分析、评估、执行的完整制度规范和流程 --管理规范和流程 我们需要业务人员、开发人员、数据管理员、数据治理人员等相关人员的通力合 作，各司其职对数据负责 --- 组织和角色职责 我们需要一种方式，对众多的分布分散的信息资源进行发现、定位和使用资源 --信息资源目录
数据治理制度规范
数据治理考核办法
数据 标准 管理
元数 据管 理
数据 质量 管理
数据 资源 目录
数据 安全 管理
数据标准需求管理 流程
数据标准制定流程
数据标准执行流程
数据标准维护流程
元数据需求管理流 元数据变更流程
数据质量需求管理 流程
数据质量核检定义 流程
数据质量问题排查 流程
数据 生产者
数据 使用者
✓理解数据标准、管理制度 ✓提出数据质量问题 ✓数据发现、定位、使用
数据治理
组织体系
✓执行数据标准化流程 ✓修复数据质量问题 ✓按照标准建设系统
数据 拥有者
数据 管理者
✓数据治理绩效评估 ✓日常数据管理维护 ✓数据安全防护
17
3、总体框架---制度流程
数据治理组织架构 与岗位职责
大数据平台交流
1
一 项目概述
二 总体框架
目录
三 数据汇聚 四 大数据存储 五 大数据治理
六 大数据分析
七 大数据共享
八 项目建议
2
1、总体思路 以大数据支撑平台建设为核心，为后续数据应用提供有力支撑 建立数据管控体系，汇聚集团所有数据，通过数据治理手段保障数据质量 提供一系列数据应用支撑组件，为项目人员、业务分析人员、数据分析员提供 可视化的数据应用机制。 以大数据平台为中心，建立系统之间的共享协同机制 选取一到两类示范业务作为试点，展示大数据平台的魅力
4
3、不同用户对数据平台的关注点
仪表盘：通过图表的方式对关键指标数据进行展示，为领导 决策提供直观的数据支持。 报表：按照预定义的格式，在线查询报表 即席查询：通过即席查询工具或者自定义SQL方式，完成业 务信息的检索 多维分析：从多个维度灵活组合进行分析，提供上下钻取等 信息检索：对文档数据进行全文搜索
15
3、数据治理框架
组织架构
数据生产者 数据使用者 数据管理者 数据拥有者
制度流程
数据治理基本制度 数据治理管理办法 数据治理实施细则 数据治理管控流程
技术平台
支持
数据标准管理 元数据管理
数据质量管理
资源目录体系
16
3、总体框架---人员组织
✓数据标准核对 ✓数据质量初审 ✓数据质量绩效执行
2、建设目标 1、数据管理目标：建设统一的数据管控体系，对整个集团各个项目的数据进行集 中化管理，保障数据质量。 2、数据应用目标
➢ DaaS：Data as a Service，使数据管理集中化管理，让更多的用户无需去 注意底层数据的问题，而将注意力完全放在如何使用这些数据。 ➢ BIaaS：Business Intelligence as a service，提供一系列数据分析、数据可 视化组件，作为一种敏捷的BI服务为项目提供支撑。
六 大数据分析
七 大数据共享
八 项目建议
11
数据存储架构
历 史 归 档 数 据
临 时 数 据 区
区
应用数据区 主题数据区
源数据区
索
沙
引
盘
数
演
据
练
区
区
12
一 项目概述
二 总体框架
目录
三 数据集成 四 大数据存储 五 大数据治理
六 大数据分析
七 大数据共享
八 项目建议
13
1、数据治理过程中遇到的问题 在业务需求方面：缺乏企业级通用的业务规则。各业务部门制定自己的业务标准， 部门之间的标准常常有矛盾或相互混淆。 在数据质量方面：以满足功能应用为主，未形成企业级的整体数据架构设计，数 据共享上比较困难，数据冗余、数据完整性、数据合规性、数据一致性等问题突出； 在组织管控方面：针对数据质量管控提升，业务部门与信息部门之间未达成共识， 职责划分不清，标准规范不统一，未形成企业级统一的管理体系、管理规范和执行 流程。 在数据发现方面：各部门建设了大量的业务系统，信息资源数量多、门类广、分 布分散、信息不对称的特性，没有统一的机制进行资源的发现和定位。
数据质量问题处理 流程
数据资源目录发布 流程
数据服务申请流程
数据访问流程
数据安全控制流程
18
3、总体框架---技术平台
19
4、数据治理：数据标准管理 什么是数据标准化：对分散在各系统中的数据提供一套统一的数据命名、数据定义、 数据类型、复制规则等的定义基准，并提供运维这套数据标准成功的科学流程。 有哪些数据标准类型：术语标准、代码标准（代码集）、层次代码标准、规则标准、 引用分类标准 数据标准化的目标是什么：通过统一信息标准制定、发布使用、制度约束、系统控 制等手段，实现信息的完整性、有效性、一致性、规范性、开放性和共享性管理， 提高信息化水平
OL AP分析
数据挖掘
全文检索
大数据基础平台
iPaaS
数据采集
数据清洗
数据服务
数据分发
数据库、文件、接口、协议适配
业务系统
APP应用
自动化运维
资源监控
事件管理
问题处理
运维服务
7
2、大数据平台关键技术
汇聚 存储
治理
分析
共享
数据适配 数据采集 数据清洗 数据校验
HDFS HBase 索引库
数据标准
即席分析
数据分析员 业务系统 数据管理员
5
一 项目概述
二 总体框架
目录
三 数据汇聚 四 大数据存储 五 大数据治理
六 大数据分析
七 大数据共享
八 项目建议
6
1、总体框架
数据应用
数据开放门户
平台管理门户
数据增值应用
业务应用
数据治理
数据标准 元数据
数据资源目录 数据质量监控
数据安全
数
据
分
析
即席分析
数据可视化
数据挖掘：通过数据挖掘工具分析结构化、非结构化数据， 通过数据模型挖掘隐藏的数据价值。
数据共享：访问数据平台汇聚的不同项目共享的数据。 数据分析：提供工具，实现数据的分析与可视化
数据管控：提供对数据标准、元数据、数据质量的管控体系 数据安全：对数据平台的数据进行安全访问控制和监控
决策层
业务人员
元数据
OLAP分析
数据资源目录 数据挖掘
数据质量
全文检索
数据安全
数据可视化
数据服务 数据分发 数据订阅
8
一 项目概述
二 总体框架
目录
三 数据汇聚 四 大数据存储 五 大数据治理
六 大数据分析
七 大数据共享
八 项目建议
9
数据汇聚过程
10
一 项目概述
二 总体框架
目录
三 数据集成 四 大数据存储 五 大数据治理
14
2、解决这些问题需要哪些手段？
我们需要一个尺度作为判断的依据来衡量 --- 建立数据标准体系 我们需要一个监测、报告、协助分析数据问题的系统 --- 数据质量管理 我们需要对数据问题的影响进行分析，对数据进行统一的版本管理和规范管理控 制 --- 元数据管理 我们需要有一套完整的定义、度量、分析、评估、执行的完整制度规范和流程 --管理规范和流程 我们需要业务人员、开发人员、数据管理员、数据治理人员等相关人员的通力合 作，各司其职对数据负责 --- 组织和角色职责 我们需要一种方式，对众多的分布分散的信息资源进行发现、定位和使用资源 --信息资源目录
数据治理制度规范
数据治理考核办法
数据 标准 管理
元数 据管 理
数据 质量 管理
数据 资源 目录
数据 安全 管理
数据标准需求管理 流程
数据标准制定流程
数据标准执行流程
数据标准维护流程
元数据需求管理流 元数据变更流程
数据质量需求管理 流程
数据质量核检定义 流程
数据质量问题排查 流程
数据 生产者
数据 使用者
✓理解数据标准、管理制度 ✓提出数据质量问题 ✓数据发现、定位、使用
数据治理
组织体系
✓执行数据标准化流程 ✓修复数据质量问题 ✓按照标准建设系统
数据 拥有者
数据 管理者
✓数据治理绩效评估 ✓日常数据管理维护 ✓数据安全防护
17
3、总体框架---制度流程
数据治理组织架构 与岗位职责
大数据平台交流
1
一 项目概述
二 总体框架
目录
三 数据汇聚 四 大数据存储 五 大数据治理
六 大数据分析
七 大数据共享
八 项目建议
2
1、总体思路 以大数据支撑平台建设为核心，为后续数据应用提供有力支撑 建立数据管控体系，汇聚集团所有数据，通过数据治理手段保障数据质量 提供一系列数据应用支撑组件，为项目人员、业务分析人员、数据分析员提供 可视化的数据应用机制。 以大数据平台为中心，建立系统之间的共享协同机制 选取一到两类示范业务作为试点，展示大数据平台的魅力
4
3、不同用户对数据平台的关注点
仪表盘：通过图表的方式对关键指标数据进行展示，为领导 决策提供直观的数据支持。 报表：按照预定义的格式，在线查询报表 即席查询：通过即席查询工具或者自定义SQL方式，完成业 务信息的检索 多维分析：从多个维度灵活组合进行分析，提供上下钻取等 信息检索：对文档数据进行全文搜索
15
3、数据治理框架
组织架构
数据生产者 数据使用者 数据管理者 数据拥有者
制度流程
数据治理基本制度 数据治理管理办法 数据治理实施细则 数据治理管控流程
技术平台
支持
数据标准管理 元数据管理
数据质量管理
资源目录体系
16
3、总体框架---人员组织
✓数据标准核对 ✓数据质量初审 ✓数据质量绩效执行