数据治理一体化平台

数据治理一体化平台
1、背景
从全球范围的联合国“数据脉动”计划、美国“大数据”战略、英国“数据权”运动、日本“面向2020年的ICT综合战略”、韩国“大数据中心战略”、新加坡“五大系统大数据建设”等先后实施了“国际大数据战略的国家行动”，到国家战略“中国制造2025”以及国务院印发的《“十三五”国家战略性新兴产业发展规划(2016-2020年)》中明确提出了“实施国家大数据战略”的发展规划，无不体现大数据产业发生了深刻变革，成为推动经济社会发展的新动能和新增长点。

为贯彻落实国务院的工作部署，并根据国务院《关于积极推进“互联网+”行动指导意见》、《促进大数据发展行动纲要》、《“十三五”国家政务信息化工程建设规划》《政务信息资源共享管理暂行办法》、《加快推进“互联网+政务服务”工作的指导意见》《政务信息系统整合共享实施方案》等文件，以及创建智慧城市国家试点、信息惠民国家试点城市的要求，加快构建统一的政务数据汇聚共享应用公共服务平台，实现各部门的数据治理、部门间的业务协同和信息共享，逐步实现公共服务事项和社会信息服务的全人群覆盖、全天候受理和“一站式”办理。

数据的治理是大数据的基石，中国代表在2015年已经前瞻性地提出《数据治理白皮书》国际标准研究报告中就明确指示，中国要建立数据治理国际标准体系。

从全球到我省各行各业在大数据的应用项目越来越多，但真正取得预期效果的项目少之又少，究其一重要的原
因就是数据质量问题导致许多预期需求无法实现。

任何行业如果没有通过数据治理保证数据质量，也就无法进行准确的挖掘分析场景，更无法实现理想的深度学习以及人工智能，那么再多的业务和技术投入将是徒劳。

2、产品功能
数据治理一体化平台是利用大数据、微服务、云计算等技术手段，实现各机构资源信息共享。

通过数据处理、数据标准、资源目录、元数据、规则指标、数据质量、数据开放、数据共享、数据挖掘、画像、可视化等系统，实现高质量的数据统一管理、消除数据孤岛现象、完善数据生命周期管理，实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理服务，提高社会管理能力和公共服务水平，为公众事项办理、工作人员业务开展、领导决策提供全方位的数据支撑。

总体架构
数据治理一体化平台产品功能：
➢数据集成处理系统：拥有一个可视化界面，通过拖拉界面的组件来设计、构建、部署和管理数据流。

使用者可以通过构
建流分析应用来分析相关事件、复杂模型匹配、事件聚合以
及当特定事件发生时发送通知或警告。

➢数据标准化管理系统：依据国家、行业和地方标准，结合对实际业务全面分析和梳理，通过数据元、数据模型标准化和
信息资源模板化，提供数据标准规范，实现对数据全生命周
期标准化支持。

➢资源目录管理系统：依据国家相关政策标准，实现资源目录的梳理、编目、审核和发布等规范流程，内置资源目录知识
库，可快速构建资源目录体系，支持统建、分建等多种建设
模式。

➢规则指标系统：依赖于大数据平台的通用以及行业规则。

➢元数据系统：对所有数据的元数据进行统一要求管理，包括元数据模型、元数据接口、元数据指标，并且提供血统分析
与影响分析，可快速定位数据质量问题。

➢数据质量系统：数据是企业最具有价值的资产之一，数据质量管理主要是保证数据的正确性，不仅为企业提供经营决策
支撑，还为一线营销提供支撑。

数据质量系统基于元数据系
统并对已定义的标准规则进行分析以及检核，从而发现质量
问题并生成一系列的质量提升报告及建议。

数据集成处理系统将各种来源数据采集，基于数据标准管理系统的数据标准，对各数据元的数据进行数据质量检测，数据资源注册到资源目录管理平台形成统一的资源目录，并注册资源服务到共享云服
务平台提供共享服务，基于资源目录管理平台和共享云服务平台将数据在开放平台对外开放共享，最后通过大数据分析可视化平台对数据资源进行挖掘分析发现数据价值。

业务流程图
3、产品价值
➢支持工作流式处理：通过可视化组件拖拽的方式，灵活定义数据处理工作流，满足不同的业务场景，改变原有通过程序
固化无法实时按实际业务场景进行调整的问题。

➢提供数据标准的执行和服务接口，解决标准落地慢，落地难的问题。

➢提供信息资源，构建目录体系，解决全局信息资源情况掌握不全问题。

➢提供端到端的统一视图来追踪数据沿袭：为用户快速定位数据质量问题，提供血统分析与影响分析。

➢提升用户工作效率：实时值守的数据质量检测，提供数据质
量结果可视化、可监控，当检测到问题时，及时发出警报，
提升用户工作效率。

➢积累行业规则库：支持用户充分利用自身丰富的行业工作经验，积累大量的行业数据标准，通过不断的完善标准、积累
行业规则库，为数据质量提供检测规则。

4、产品亮点
➢数据治理一体化：数据治理一体平台包含六个核心子系统，各子系统均有开放第三方调研接口，因此各系统既可以单独
部署，也可以集成部署。

客户可以根据自身情况，选择部署
一个或多个系统，同时也方便销售人员制定灵活的销售方案。

➢快速数据流处理：数据流处理提供了一系列算子，包括融合、转换、过滤、脱敏、加密、解密等操作，来快速处理流式数
据，最终将理想的数据输出或者通过服务开放。

➢任务级别的调度：系统支持离线批处理任务级别的控制，即对整个工作流暂停或继续，暂停时能够保存工作流的中间任
务结果，启动时又可以从中间任务点继续运行。

这种操作方
式可以支持管理员灵活调配系统运行时的资源，而不会浪费
任务之前运行的结果，极大的方便了系统的运维工作。

➢统一元数据管理：完善的数据生命周期管理，自动化的实现数据中心的各类数据在整个生命周期内的各个环节变迁，并
建立数据之间的关系，方便定位数据问题。

➢元数据值守采集：针对Hadoop生态下的开源大数据框架开发
值守式（Hook）元数据采集器，能够是准实时的捕捉源系统的变化情况、不仅采集元数据变化的前后状态，还捕获状态变化的具体过程，包括创建、转换、删除、插入等。

➢行业数据标准化：提供数据标准规范化、模板化、本地化和服务化；内置丰富的资源目录和知识库。

为用户提供数据标准查阅、数据标准梳理、数据标准管理、数据标准应用、数据标准分析等数据标准化解决方案，构建统一规范的数据标准体系。

➢数据问题知识库：积累形成数据质量优化知识库，专门针对各种数据质量问题，提出对应的数据质量优化方案，提高工作效率。

➢海量数据多维检索：大数据全文检索，支持多级索引，特别是大数据量的多维检索上，能够高效响应用户的检索需求，快速精准定位，快速反馈查询结果。

➢完整的数据治理闭环：平台功能覆盖了数据治理全流程中的各个环节，形成从数据接入、到质检结果输出，再到治理跟踪、质检评分的治理闭环。

形成一套标准化的数据治理支撑体系，更加系统性、规范性地配合数据治理人员开展工作。

➢自定义拖拽式工作流：数据治理人员可以通过拖拽的方式，可视化自定义数据处理工作流，无论是批量离线数据还是流式数据，均能集成统一处理。

操作过程全程零代码操作，治理人员只需要关注业务本身，不需要关注技术，大大提高了
工作人员的效率。

➢丰富的基础规则云库：平台集成了丰富的基础校验规则，包括了一致性、完整性、有效性、规范性和精确性五项维度，拥有更细粒度的规则计算因子和规则算法库，并通过Jar包的方式，开放给第三方系统调用。

➢客观的质量定量描述：采用“后向登记”的方法，即先规划数据质量检测方案，然后再对数据质量进行检测，从而更加客观、符合业务需求的进行评分。

这样既有利于数据质量检测任务的角色划分，也避免了检测内容的缺漏、错误。

同时平台能够更加智能化的根据标准元数据和行业规则，自动生成质量校验任务，数据治理人员只需要简单的调整即可，大大提高了工作效率。