大数据平台数据治理体系建设和管理方案
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
XXX企业级省大数据平台数据治理子系统的
建设和管理方案
目录
1.范围 (5)
2.规范性引用文件 (5)
3.术语、定义和缩略语 (17)
4.总体说明 (23)
4.1.概述 (23)
4.2.目标 (23)
4.3.原则 (24)
5.数据治理体系 (25)
5.1.总体框架 (25)
5.2.组织架构 (26)
5.2.1.组织构成 (27)
5.2.2.角色职责 (27)
5.3.系统架构 (29)
5.3.1.系统功能框架 (29)
5.3.2.系统模块流程 (32)
5.4.系统边界 (33)
5.4.1.与企业级省大数据平台关系 (34)
5.4.2.与对外能力开放平台关系 (34)
5.4.3.与平台运维系统关系 (35)
6.数据治理核心模块 (35)
6.1.数据标准管理 (35)
6.1.1.背景 (35)
6.1.2.目标及原则 (37)
6.1.3.业务分类和定义 (38)
6.1.4.技术功能要求 (46)
6.1.5.本期建设范围及内容 (51)
6.1.6.实施要求 (52)
6.2.元数据管理 (52)
6.2.1.背景 (52)
6.2.2.元数据运营模式 (55)
6.2.3.元模型标准 (55)
6.2.4.元数据运维 (62)
6.2.5.本期重点建设内容 (63)
6.3.数据质量管理 (64)
6.3.1.与传统经营分析系统的区别 (64)
6.3.2.范围和原则 (66)
6.3.3.与其它功能模块的关系 (67)
6.3.4.本期数据质量功能需求 (70)
6.3.5.本期数据质量运维要求 (72)
6.4.数据资产管理 (73)
6.4.1.数据资产概述 (73)
6.4.2.数据资产范围 (75)
6.4.3.与其它功能模块的关系 (77)
6.4.4.本期数据资产功能需求 (77)
6.4.5.本期建设内容 (81)
6.5.数据安全管理 (81)
6.5.1.数据安全概述 (81)
6.5.2.建设原则 (82)
6.5.3.建设内容 (82)
6.5.4.边界关系 (83)
6.5.5.技术功能 (84)
6.5.6.管理要求 (85)
7.数据治理场景 (91)
7.1.背景描述 (91)
7.2.场景一:银行伪卡交易判别 (92)
7.2.1.背景介绍 (92)
7.2.2.场景描述 (93)
7.3.场景二:银行手机贷业务 (94)
7.3.1.背景介绍 (94)
7.3.2.场景描述 (94)
8.附录 (96)
附录一:数据标准框架 (96)
附录二:数据标准体系定义内容示例 (97)
前言
本规范的制订是为了更好地实现XXX企业级省大数据平台数据治理子系统的建设和管理,为省大数据平台上的各类基础技术和应用提供支撑,加强省大数据平台上数据的管控力度,增强数据治理子系统自身管理能力。
本规范主要包括以下几方面的内容:总体说明、数据治理体系、数据治理核心模块、数据治理场景等。
1.范围
本规范规定了XXX企业级省大数据平台数据治理子系统的建设内容,适用于XXX各省(直辖市、自治区)公司企业级省大数据平台数据治理子系统的建设。
2.规范性引用文件
下列文件中的条款通过本规范的引用而成为本规范的条款。
凡是标注日期的引用文件,其随后所有的修改单(不包括勘误的内容)或修订版均不适用于本规范。
然而,鼓励根据本规范达成协议的各方对是否使用这些文件的最新版本进行研究。
凡是不标注日期的引用文件,其最新版本适用于本规范。
[《XXX省级经营分析XXX通
1]系统业务规范(v1.0)》信有限公司
[ 2]
《XXX省级经营分析
系统技术规范(v1.0)》
XXX通
信有限公司
[ 3]
QB-J-0
10-2006
《XXX省级经营分析
系统数据质量管理系统建
设方案(v1.5)》
XXX通
信有限公司
[ 4]
QB-J-0
06-2006
《XXX省级经营分析
系统数据仓库逻辑数据模
型说明(v1.5)》
XXX通
信有限公司
[ 5]
QB-J-0
07-2006
《XXX省级经营分析
系统数据集市业务技术规
范(v1.5)》
XXX通
信有限公司
[ 6]
QB-J-0
08-2006
《XXX省级经营分析
系统与源系统接口规范
(v1.5)》
XXX通
信有限公司
[ 7]
QB-J-0
09-2006
《XXX省级经营分析
系统与BOSS系统互动技
术规范(v1.5)》
XXX通
信有限公司
[ 8]
QB-J-0
03-2006
《XXX省级经营分析
系统业务规范(v1.5)—基
础业务分册》
XXX通
信有限公司
[QB-J-0《XXX省级经营分析XXX通
9]04-2006系统业务规范(v1.5)—数
据业务分册》
信有限公司
[ 10]
QB-J-0
05-2006
《XXX省级经营分析
系统业务规范(v1.5)—集
团客户分册》
XXX通
信有限公司
[1 1]
QB-J-0
01-2006
《XXX业务运营支撑
系统(BOSS)业务技术规
范营销资源管理分册(2.0
版)》
XXX通
信有限公司
[ 12]
QB-J-0
01-2006
《XXX业务运营支撑
系统(BOSS)业务技术规
范客服信息分册(2.0版)》
XXX通
信有限公司
[ 13]
QB-J-0
01-2006
《XXX业务运营支撑
系统(BOSS)业务技术规
范(2.0版)》
XXX通
信有限公司
[ 14]
QB-J-0
21-2007
《XXX省级经营分析
系统数据仓库逻辑数据模
型规范(v2.0)》
XXX通
信有限公司
[ 15]
QB-J-0
20-2007
《XXX省级经营分析
系统与源数据接口规范
(v2.0)》
XXX通
信有限公司
[QB-J-0《XXX省级经营分析XXX通
16]22-2007系统数据集市业务技术规
范(v2.0)》
信有限公司
[ 17]
QB-J-0
19-2007
《XXX省级经营分析
系统业务规范渠道运营管
理分析监控分册(v1.0)》
XXX通
信有限公司
[ 18]
QB-J-0
18-2007
《XXX省级经营分析
系统业务规范客户服务分
册(v2.0)》
XXX通
信有限公司
[ 19]
QB-J-0
17-2007
《XXX省级经营分析
系统业务规范集团客户分
册(v2.0》
XXX通
信有限公司
[ 20]
QB-J-0
16-2007
《XXX省级经营分析
系统数据质量管理系统业
务技术规范(V2.0)》
XXX通
信有限公司
[ 21]
《XXX业务支撑网
4A安全技术规范》
XXX通
信有限公司
[ 22]
《XXX省级经营分析
系统技术规范总册(v2.0
全量版)》
XXX通
信有限公司
[ 23]
《XXX省级经营分析
系统技术规范逻辑模型分
册(v2.0全量版)》
XXX通
信有限公司
[ 24]
《XXX省级经营分析
系统技术规范数据集市分
册(v2.0全量版)》
XXX通
信有限公司
[ 25]
《XXX省级经营分析
系统技术规范数据质量管
理子系统分册(v2.0全量
版)》
XXX通
信有限公司
[ 26]
《XXX省级经营分析
系统业务规范(v2.0全量
版)》
XXX通
信有限公司
[ 27]
《XXX省级经营分析
系统技术规范源系统接口
分册(v2.0全量版)》
XXX通
信有限公司
[ 28]
QB-J-0
02-2008
《XXX省级
NG1-BASS技术规范总册
(v1.0)》
XXX通
信集团公司
[ 29]
QB-J-0
03-2008
《XXX省级
NG1-BASS技术规范数据
集市分册(v1.0)》
XXX通
信集团公司
[ 30]
QB-J-0
04-2008
《XXX省级
NG1-BASS技术规范逻辑
模型分册(v1.0)》
XXX通
信集团公司
[ 31]
QB-J-0
05-2008
《XXX省级
NG1-BASS技术规范源系
统接口分册(v1.0)》
XXX通
信集团公司
[ 32]
QB-J-0
06-2008
《XXX省级
NG1-BASS技术规范元数
据管理分册(v1.0)》
XXX通
信集团公司
[ 33]
QB-J-0
07-2008
《XXX省级
NG1-BASS技术规范数据
质量管理子系统分册
(v1.0)》
XXX通
信集团公司
[ 34]
QB-J-0
08-2008
《XXX省级
NG1-BASS业务技术规范
客户分析及运营分册
(v1.0)》
XXX通
信集团公司
[ 35]
QB-J-0
01-2008
《XXX省级
NG1-BASS业务规范
(v1.0)》
XXX通
信集团公司
[ 36]
QB-Y-
003-2009
《XXX省级
NG1-BASS技术规范总册
(v2.0)》
XXX通
信集团公司
[ 37]
QB-Y-
004-2009
《XXX省级
NG1-BASS技术规范数据
XXX通
信集团公司
集市分册(v2.0)》
[ 38]
QB-Y-
005-2009
《XXX省级
NG1-BASS技术规范逻辑
模型分册(v2.0)》
XXX通
信集团公司
[ 39]
QB-Y-
006-2009
《XXX省级
NG1-BASS技术规范外部
接口分册(v2.0)》
XXX通
信集团公司
[ 40]
QB-Y-
007-2009
《XXX省级
NG1-BASS技术规范元数
据管理分册(v2.0)》
XXX通
信集团公司
[ 41]
QB-Y-
008-2009
《XXX省级
NG1-BASS技术规范数据
质量管理子系统分册
(v2.0)》
XXX通
信集团公司
[ 42]
QB-Y-
002-2009
《XXX省级
NG1-BASS业务规范
(v2.0)》
XXX通
信集团公司
[ 43]
QB-Y-
052-2010
《XXX省级
NG2-BASS(v3.0)业务规
范》
XXX通
信集团公司
[ 44]
QB-Y-
053-2010
《XXX省级
NG2-BASS(v3.0)技术规范
XXX通
信集团公司
总册》
[ 45]
QB-Y-
054-2010
《XXX省级
NG2-BASS(v3.0)技术规范
数据集市分册》
XXX通
信集团公司
[ 46]
QB-Y-
055-2010
《XXX省级
NG2-BASS(v3.0)技术规范
逻辑模型分册》
XXX通
信集团公司
[ 47]
QB-Y-
056-2010
《XXX省级
NG2-BASS(v3.0)技术规范
外部接口分册》
XXX通
信集团公司
[ 48]
QB-Y-
057-2010
《XXX省级
NG2-BASS(v3.0)技术规范
元数据管理分册》
XXX通
信集团公司
[ 49]
QB-Y-
058-2010
《XXX省级
NG2-BASS(v3.0)技术规范
数据质量管理子系统分册》
XXX通
信集团公司
[ 50]
QB-Y-
059-2010
《XXX省级
NG2-BASS(v3.0)技术规范
多OP能力交互分册》
XXX通
信集团公司
[ 51]
QB-Y-
060-2010
《XXX省级增值业务
综合运营平台业务规范
(v1.0)》
XXX通
信集团公司
[ 52]
QB-Y-
061-2010
《XXX省级增值业务
综合运营平台技术规范
(v1.0)》
XXX通
信集团公司
[ 53]
QB-Y-
062-2010
《XXX省级增值业务
综合运营平台技术规范-数
据管理分册(v1.0)》
XXX通
信集团公司
[ 54]
QB-Y-
063-2010
《XXX省级增值业务
综合运营平台接口规范》
XXX通
信集团公司
[ 55]
QB-Y-
039-2011
《XXX省级
NG2-BASS(v3.5)业务规
范》
XXX通
信集团公司
[ 56]
QB-Y-
038-2011
《XXX省级
NG2-BASS(v3.5)技术规范
总册》
XXX通
信集团公司
[ 57]
QB-Y-
040-2011
《XXX省级
NG2-BASS(v3.5)技术规范
数据集市分册》
XXX通
信集团公司
[ 58]
QB-Y-
041-2011
《XXX省级
NG2-BASS(v3.5)技术规范
逻辑模型分册》
XXX通
信集团公司
[ 59]
QB-Y-
042-2011
《XXX省级
NG2-BASS(v3.5)技术规范
XXX通
信集团公司
外部接口分册》
[ 60]
QB-Y-
043-2011
《XXX省级
NG2-BASS(v3.5)技术规范
元数据管理分册》
XXX通
信集团公司
[ 61]
QB-Y-
044-2011
《XXX省级
NG2-BASS(v3.5)技术规范
数据质量管理子系统分册》
XXX通
信集团公司
[ 62]
QB-Y-
045-2011
《XXX省级
NG2-BASS(v3.5)技术规范
OP能力交互分册》
XXX通
信集团公司
[ 63]
QB-Y-
046-2011
《XXX省级增值业务
综合运营平台业务规范
(v1.5)》
XXX通
信集团公司
[ 64]
QB-Y-
047-2011
《XXX省级增值业务
综合运营平台技术规范
(v1.5)》
XXX通
信集团公司
[ 65]
QB-Y-
048-2011
《XXX省级
NG2-BASS技术规范系统
安全管理分册(v1.5)》
XXX通
信集团公司
[ 66]
QB-Y-
044-2012
《XXX省级
NG2-BASS(v4.0)业务规
范》
XXX通
信集团公司
[ 67]
QB-Y-
045-2012
《XXX省级
NG2-BASS(v4.0)技术规范
总册》
XXX通
信集团公司
[ 68]
QB-Y-
045.1-2012
《XXX省级
NG2-BASS(v4.0)技术规范
数据集市分册》
XXX通
信集团公司
[ 69]
QB-Y-
045.2-2012
《XXX省级
NG2-BASS(v4.0)技术规范
逻辑模型分册》
XXX通
信集团公司
[ 70]
QB-Y-
045.3-2012
《XXX省级
NG2-BASS(v4.0)技术规范
外部接口分册》
XXX通
信集团公司
[ 72]
QB-Y-
045.4-2012
《XXX省级
NG2-BASS(v4.0)技术规范
元数据管理分册》
XXX通
信集团公司
[ 73]
QB-Y-
045.5-2012
《XXX省级
NG2-BASS(v4.0)技术规范
数据质量管理子系统分册》
XXX通
信集团公司
[ 74]
QB-Y-
046-2012
《XXX省级增值业务综
合运营平台业务规范
V2.0.0》
XXX通
信集团公司
[QB-Y-《XXX省级增值业务XXX通
75]047-2012综合运营平台技术规范
V2.0.0》
信集团公司
[ 76]
QB-Y-
047.1-2012
《XXX省级增值业务
综合运营平台技术规范数
据管理分册V2.0.0》
XXX通
信集团公司
[ 77]
QB-Y-
044-2013
《XXX省级
NG2-BASS(v4.5)业务规
范》
XXX通
信集团公司
[ 78]
QB-Y-
045-2013
《XXX省级
NG2-BASS(v4.5)技术规范
总册》
XXX通
信集团公司
[ 79]
QB-Y-
045.1-2013
《XXX省级
NG2-BASS(v4.5)技术规范
数据集市分册》
XXX通
信集团公司
[ 80]
QB-Y-
045.2-2013
《XXX省级
NG2-BASS(v4.5)技术规范
逻辑模型分册》
XXX通
信集团公司
[ 81]
QB-Y-
045.3-2013
《XXX省级
NG2-BASS(v4.5)技术规范
外部接口分册》
XXX通
信集团公司
[ 82]
QB-Y-
045.4-2013
《XXX省级
NG2-BASS(v4.5)技术规范
XXX通
信集团公司
元数据管理分册》
[ 83]
QB-Y-
045.5-2013
《XXX省级
NG2-BASS(v4.5)技术规范
数据质量管理子系统分册》
XXX通
信集团公司
[ 84]
QB-Y-
045.6-2013
《XXX省级
NG2-BASS(v4.5)技术规范
安全管理技术方案》
XXX通
信集团公司
[ 85]
QB-Y-
046-2013
《XXX省级增值业务
综合运营平台业务规范
V2.5.0》
XXX通
信集团公司
[ 86]
QB-Y-
047-2013
《XXX省级增值业务
综合运营平台技术规范
V2.5.0》
XXX通
信集团公司
[ 87]
QB-Y-
047.1-2013
《XXX省级增值业务
综合运营平台技术规范数
据管理分册V2.5.0》
XXX通
信集团公司
3.术语、定义和缩略语
下列术语、定义适用于本规范:
下列略缩语适用于本规范:
4.总体说明
4.1. 概述
本规范用于指导企业级省大数据平台数据治理子系统建设,规定了省大数据平台数据治理的范围和要求,明确了数据治理子系统的体系结构,制定了数据治理子系统的功能和处理流程。
数据治理子系统包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理等功能模块。
本方案借鉴资产管理的方法理论来管理数据,将数据作为一种特殊的资产,对进入平台的数据进行标准化的规范约束,并以元数据作为驱动,连接数据的标准管理、数据质量管理、数据数据安全管理的各个阶段,形成统一、完善的数据治理体系,以解决实际业务问题为导向,增强数据治理子系统对业务发展的支撑能力。
4.2. 目标
数据治理子系统的建设为数据治理工作提供强有力的系统
支撑。
本期规范建设目标是以元数据为驱动,建立省大数据平台
完整的数据治理体系。
从组织架构、系统功能等方面增强数据宏观管控,并实现精细化管理,具体包括:
●数据治理组织架构管理:定义数据治理所需人员组织上的
岗位和职责,从管理角度支撑数据治理工作的落地和执行。
●数据标准管理:建立企业级省大数据平台数据标准体系,
并制定数据标准运维管控制度和流程。
●元数据管理:降低元数据使用难度、提升用户体验,使大
数据平台各类用户均能参与到元数据运营维护当中。
●数据质量管理:为内、外部用户提供平台化的数据质量监
控;通过扩充和优化公共规则库、保证数据的完整性、一
致性、准确性、及时性、合法性,提升用户使用感知;并
提供数据质量应用满足个性化需求。
●数据资产管理:重点建设从规划、注册、运维到注销的全
流程管理体系,使数据资产管理系统化、可视化。
●数据安全管理:建立体系化的数据安全管控策略,通过用
户安全管理、数据安全管理实现全方位数据安全管控机制,通过技术手段与管理措施相结合的方式落实数据安全,做
到事前可管、事中可控、事后可查。
4.3. 原则
企业级省大数据平台数据治理子系统建设应遵循以下基本
原则:
1.有效性原则
体现大数据平台数据治理过程中数据的标准、质量、价值、管控的有效性、高效性。
2.价值化原则
体现数据治理过程中以数据资产为价值核心,最大化大数据平台的数据价值。
3.统一性原则
体现大数据平台架构统一、标准统一、元数据统一、质量流程统一、资产价值统一的一体化管控平台体系。
4.开放性原则
体现平台化、开放性运维思想,实现人人参与数据治理、人人参与数据运维。
5.产品化原则
体现大数据平台数据治理能力的显性化,通过产品化互联网思维服务大数据平台数据生态圈用户。
6.安全性原则
体现安全的重要性、必要性,保障大数据平台数据安全和数据治理过程中数据的安全可控。
5.数据治理体系
5.1. 总体框架
数据治理总体框架包括组织架构、数据治理模块、数据运维三部分。
通过组织架构建立管理办法,制定工作流程,确定角色职责。
数据治理模块主要包括数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理,各模块协同运营,确保大数据平台的数据一致、安全、有效。
数据运维贯穿整个数据治理体系的流程中,实现平台化的运维管理思路。
数据治理总体框架如图5-1所示:
图5-1数据治理体系框架
5.2. 组织架构
核心领域 大数据平台
数据治理工具
数据安全管理
数据资产管理
元数据管理
数据质量管理
数据标准管理
组织架构
组织
角色
规划
管理
数
维
数据治理组织的构建旨在通过建立数据治理组织架构明确各级角色和职责,保障数据治理的各项管理办法、工作流程的实施,推送数据治理工作的有序开展。
5.2.1.组织构成
数据治理组织架构主要由数据治理委员会、数据治理中心和各业务部门构成。
组织架构划分和角色设定如图5-2所示:
图5-2 数据治理组织架构图
5.2.2.角色职责
组织责任体系是数据治理责任落地的保障,数据治理组织架构通过明确各角色职责,实行认责制度,让数据治理工作更好的融入到数据日常使用和相关的工作中,从而推动数据运维自治的实现,如表5-1。
表5-1数据治理组织架构角色职责定义内容
5.3. 系统架构
5.3.1.系统功能框架
数据治理功能框架明确了数据治理在企业级省大数据平台
中的定位,并以合理的功能层次划分指导数据治理系统相关功能建设。
系统功能框架如图5-3所示。
图5-3数据治理功能框架图
●企业级省大数据平台门户:
企业级省大数据平台统一的访问接口,供企业内、外部用户、第三方独立开发者访问及使用数据治理相关产品或功能,并负责统一访问认证及日志记录。
●能力开放平台:
企业级省大数据平台统一的对外服务层,数据治理相关的产品及应用均通过这个层次进行注册、发布,并对内、外部开放。
●数据治理系统:
➢数据标准:在数据标准管理组织架构推动和指导下,遵循协商一致制定的数据标准规范,借助标准化管控
流程得以实施数据标准化的整个过程。
➢元数据:采用集中式管理模式进行元数据管理,全公司元数据逻辑集中,即元数据管理模块作为公司元数
据的统一发布源,集中管理元数据,提供元数据集中
创建、维护、查询功能。
➢数据质量:对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数
据质量问题,进行识别、度量、监控、预警等一系列
管理活动,并通过改善和提高组织的管理水平使得数
据质量获得进一步提高。
➢数据资产:规划、控制、提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、
政策、方案、项目、流程、方法和程序,从而控制、
保护、提高数据资产的价值。
➢数据安全:通过计划、制定、执行数据安全政策和安全策略措施,为企业级大数据平台的数据和信息提供
行之有效的认证、授权、访问和审计。
➢数据运维:包括数据资产运维、数据质量运维,借鉴互联网思维,通过产品化运维工具来整体提升企业级
大数据平台数据运维效率。
●企业级省大数据平台:
➢大数据基础平台,负责数据的接入、存储、管理、应用及相关基础功能支撑。
5.3.2.系统模块流程
图5-4数据治理系统功能各模块关系图
如图5-4所示,数据治理系统各模块之间,根据数据操作的流程产生相互关联,各模块业务流程关系说明如下:L1:数据标准管理模块将标准定义映射到元数据信息上,实现数据标准的规范要求落地。
L2:元数据管理模块为数据资产管理模块提供存储模型、属性信息查询服务。
L3:元数据管理模块为数据质量管理模块提供元数据相关属性信息。
L4:用户通过元数据定义大数据平台的数据结构。
L5:数据质量管理模块根据采集需求从大数据平台采集数据。
L6:数据质量管理模块将数据质量问题反馈给大数据平台。
L7:数据质量管理模块向资产模块提交数据质量评估结果。
L8:元数据管理模块为数据安全管理模块提供隐私级别定义服务。
L9:数据资产管理模块发起资产访问申请,由数据安全管理模块控制用户访问权限,控制数据资产的增加、删除、变更操作权限,对访问的数据内容、数据属性等操作进行管控。
L10:数据安全管理模块为大数据平台提供数据访问权限策略。
5.4. 系统边界
企业级省大数据平台数据治理子系统与其它子系统之间存
在数据交互、功能调用、流程穿插等关联。
数据治理子系统与大数据平台系统内其它子系统的关系示意如图5-5所示:
图5-5数据治理子系统与各子系统边界图
5.4.1. 与企业级省大数据平台关系
企业级省大数据平台上的数据资产是数据治理的主要对象;数据治理为企业级省大数据平台提供数据标准指导、元数据定义、数据质量监控、数据安全等方面的全面支撑,使大数据平台上的数据资产清晰、有序、安全、可控。
5.4.2. 与对外能力开放平台关系
数据治理
元数据管理 数据标准管理 数据质量管理 数据资产管理
数据安全管理
数据服务平台
企业级省大数据平台
平 台
运
维
数据治理为对外能力开放平台提供元数据查询、数据安全管理支持;对外能力开放平台为数据治理提供统一的数据治理产品及功能注册、发布、使用服务。
5.4.3.与平台运维系统关系
数据治理子系统支撑大数据平台的数据管控流程,并与平台运维交互协调,共同支撑大数据平台整体的安全运维、数据运维和管理运维。
6.数据治理核心模块
6.1. 数据标准管理
6.1.1.背景
XXX企业级省大数据平台数据标准是在经营分析系统数据管控要求基础之上,借鉴互联网企业数据治理的经验而提出的。
数据标准是指在XXX企业级省大数据平台下,保障企业内外部使用和交换数据的一致性和准确性,具有行业特点且共同使用的一种规范性约束。
数据标准是企业级省大数据平台数据治理的基础性工作,是数据治理建设中的首要环节。
首先,数据标准为企业级省大数据平台提供统一的数据标准定义和平台逻辑模型。
其次,数据标准是企业级省大数据平台进行数据治理的依据和根本。
再次,数据
标准是衡量企业级省大数据平台数据资产运营和管理的评估依据。
最后,XXX通过数据标准管理的实施,实现对企业级省大数据平台全网数据的统一运营管理。
企业级省大数据平台数据治理体系中数据标准管理如图6-1所示,包括制定数据标准的规范性文件、进行数据标准化管控及数据标准管理组织。
图6-1数据标准管理内容
企业级省大数据平台数据标准管理与原经营分析系统数据管控的区别如下表6-1所示:
表6-1企业级省大数据平台数据标准管理与原经营分析系统数据管控区别
6.1.2.目标及原则
数据标准管理的总体目标:通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现XXX企业级省大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理,提高企业级省大数据平台数据治理水平。
数据标准制定的原则:
●开放性:标准制定人人参与。
●共享性:数据标准化信息在大数据生态圈共享使用。
●完整性:涵盖客户、产品、服务、帐务、资源、网络等全
部重要数据信息。
●有效性:信息准确度高、理解上不存在歧义。
●一致性:做到“五统一”,定义统一、口径统一、名称统一、
来源统一、参照统一。
●规范性:制度规范、流程控制、系统管理等。
6.1.3.业务分类和定义
6.1.3.1. 数据标准体系分类
数据标准制定如图6-2所示,包括数据标准体系划分和数据标准内容制定,数据标准体系可分为基础类数据标准和指标类数据标准。
图6-2数据标准体系划分
6.1.3.2. 数据标准内容制定
数据标准内容的制定按照数据标准体系分类的要求分别给出数据标准制定的规范要求。
1、基础类数据标准。