大数据时代的数据治理ppt课件
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
数据服务标准应用方式; 数据通道提供平台支撑。
基于数据地图形成全链路监控; 事前、事中、事后的数据质量检 查。
全局的数据资产监控 数据问题跟踪能力
亿信华辰-睿治普元-数据众包平台化、可视化、智能化
睿治是一款覆盖数据全生命周期的数据治理 平台,它通过对数据从创建到消亡全过程的 监控和治理,实现数据的统一管理,保证了 业务数据在采集、集中、转换、存储、应用 整个过程中的完整性、准确性、一致性和时 效性。
全配置、自部署、零干预;动态缺失数据探 查 多维接入,自动化血缘与影响力分析
数据团队
一站式的数据众包服务,可根据特定领域、 特定场景的客户需求,提供定制化的数据获 取与加工方案的设计与执行服务, 为客户交 付标准化结构化的可用数据,数据类型涵盖 文本、图像、音频、视频、网页等。
11
据全貌和数据关系 • 通过H5等流行的展现技术实现各浏览器的兼
容 • 支持界面的移植
关注用户诉求、结合使用场景
• 对业务人员:通过元数据管理的业务需求管理,能更 容易地和技术人员沟通,便于需求的技术落地
• 对开发人员:通过元数据管理能管控系统的开发上线、 提升开发规范性,自动生成上线脚本,降低开发工作 难度和出错几率
时间
数据不可知
数据不可控
数据不可取
数据不可联
用大数据治理连接大数据与业务创新
0 1
摸家底
全面梳理企业信息 自动构建数据资产库
0 2
建体系
建立数据标准 提升数据质量
0 3
促应用
形成企业知识图谱 为全企业提供数据价值
数据资产的自动 化采集、存储
解决各类元数据的采集;实现统一稳定的元数据存储;完成关系的获取和建立
• 对运维人员:通过元数据管理能让日常巡检、版本维 护等工作变得简单可控,辅助日常问题分析查找,简 化运维工作。
数据获取
找到数据 提供数据 使用数据 治理数据 数据运维
数据准备
数据服务开发
数据共享发布
自助化 自动化 规范化 可视化 智能化
业务元数据与技术元数据对接; 自助化数据申请和订阅。
基于数据目录的数据服务开发; 在线编辑数据模型,生成作业。
数据质量探查 和提升技术
通过合理的技术找出数据问题并找到问题数据;从各个维度监控数据问题,并能通 过最直观和快捷的方式反馈给相关责任人;实现问题发现、认责、处理、归档等数 据问题的闭环解决流程等
自助化数据服务构建技术
人工智能的知识图谱构建
1
单个工具
元数据 数据质量 主数据
···
2
集成平台
数据资产管理 数据治理平台 自助服务平台
···
全面的数据管理能力
• 元数据管理范畴:传统数据、大数据、工具、 模板
• 对资产信息的自动获取:自动数据信息采集、 自动服务信息采集与自动业务信息采集
• 支持一系列的采集器,并且多采用直连的方 式来采集相关信息。
清晰直观、操作便捷
• 能在一个界面全面了解到元数据信息 • 通过图像从更多维度、更直观地了解企业数
1
新一代数据平台
பைடு நூலகம்
数
据
难以基于海量数
平
据进行业务创新
台
发
大数据处理
展
情
跨平台数据传
况
数据使用者无法 理解数据模型
输困难
数据之间没 有统一标准
数据难以快速 集成和共享
“数据仓库”概 第一个DW 念提出
数据集市
Hadoop项目诞生
大数据计算
数据质量 问题堪忧
传统数据仓库兴起
1981 1988 1992 1996 1999 2003 2005 2007 2009 2011 2013 2019
基于数据地图形成全链路监控; 事前、事中、事后的数据质量检 查。
全局的数据资产监控 数据问题跟踪能力
亿信华辰-睿治普元-数据众包平台化、可视化、智能化
睿治是一款覆盖数据全生命周期的数据治理 平台,它通过对数据从创建到消亡全过程的 监控和治理,实现数据的统一管理,保证了 业务数据在采集、集中、转换、存储、应用 整个过程中的完整性、准确性、一致性和时 效性。
全配置、自部署、零干预;动态缺失数据探 查 多维接入,自动化血缘与影响力分析
数据团队
一站式的数据众包服务,可根据特定领域、 特定场景的客户需求,提供定制化的数据获 取与加工方案的设计与执行服务, 为客户交 付标准化结构化的可用数据,数据类型涵盖 文本、图像、音频、视频、网页等。
11
据全貌和数据关系 • 通过H5等流行的展现技术实现各浏览器的兼
容 • 支持界面的移植
关注用户诉求、结合使用场景
• 对业务人员:通过元数据管理的业务需求管理,能更 容易地和技术人员沟通,便于需求的技术落地
• 对开发人员:通过元数据管理能管控系统的开发上线、 提升开发规范性,自动生成上线脚本,降低开发工作 难度和出错几率
时间
数据不可知
数据不可控
数据不可取
数据不可联
用大数据治理连接大数据与业务创新
0 1
摸家底
全面梳理企业信息 自动构建数据资产库
0 2
建体系
建立数据标准 提升数据质量
0 3
促应用
形成企业知识图谱 为全企业提供数据价值
数据资产的自动 化采集、存储
解决各类元数据的采集;实现统一稳定的元数据存储;完成关系的获取和建立
• 对运维人员:通过元数据管理能让日常巡检、版本维 护等工作变得简单可控,辅助日常问题分析查找,简 化运维工作。
数据获取
找到数据 提供数据 使用数据 治理数据 数据运维
数据准备
数据服务开发
数据共享发布
自助化 自动化 规范化 可视化 智能化
业务元数据与技术元数据对接; 自助化数据申请和订阅。
基于数据目录的数据服务开发; 在线编辑数据模型,生成作业。
数据质量探查 和提升技术
通过合理的技术找出数据问题并找到问题数据;从各个维度监控数据问题,并能通 过最直观和快捷的方式反馈给相关责任人;实现问题发现、认责、处理、归档等数 据问题的闭环解决流程等
自助化数据服务构建技术
人工智能的知识图谱构建
1
单个工具
元数据 数据质量 主数据
···
2
集成平台
数据资产管理 数据治理平台 自助服务平台
···
全面的数据管理能力
• 元数据管理范畴:传统数据、大数据、工具、 模板
• 对资产信息的自动获取:自动数据信息采集、 自动服务信息采集与自动业务信息采集
• 支持一系列的采集器,并且多采用直连的方 式来采集相关信息。
清晰直观、操作便捷
• 能在一个界面全面了解到元数据信息 • 通过图像从更多维度、更直观地了解企业数
1
新一代数据平台
பைடு நூலகம்
数
据
难以基于海量数
平
据进行业务创新
台
发
大数据处理
展
情
跨平台数据传
况
数据使用者无法 理解数据模型
输困难
数据之间没 有统一标准
数据难以快速 集成和共享
“数据仓库”概 第一个DW 念提出
数据集市
Hadoop项目诞生
大数据计算
数据质量 问题堪忧
传统数据仓库兴起
1981 1988 1992 1996 1999 2003 2005 2007 2009 2011 2013 2019