大数据平台数据治理项目建设方案
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1、构建统一的、层次合理的、灵活的企业级数据模型，整合各业务系统数据，形成集团统一的数据视图，建设成为贵公司系统应用的基础数据平台。
2、建设统一数据应用平台，在实现基础数据平台的基础上实现统一报表平台，为贵公司业务分析和经验决策提供全面的支持。
项目
本次项目建设遵循的技术原则如下：
数据平台的正确建立和合理利用将直接影响到贵公司的未来信息化发展，贵公司数据平台建设应参考以下架构原则，指导和规范未来的数据平台信息化建设和管理，在项目方案中应该能够体现以下原则：
业务范围
本项目的业务范围以贵公司零售、公司业务条线为主，计财、绩效、运营等为辅。
组织范围
本项目业务涵盖的组织范围为贵公司及辖内二级集团、支行。
数据范围
本项目的源系统范围包括目前贵公司的主要业务系统，并需要满足本期数据平台主题应用的数据需求。
项目ቤተ መጻሕፍቲ ባይዱ设内容
基础数据平台
基础数据平台技术架构搭建
从总体上规划企业级的基础数据平台，平台将包含历史数据存储、基础数据平台、统一报表平台、自动调度监控等内容组成，数据平台要采用统一的数据标准规范；
基础数据平台数据补录功能
提供数据补录平台功能，包括补录流程管理、补录模版管理、单笔补录、批量补录等。通过补录平台实现数据平台无法自动获取的具备分析价值的数据。
本期基础数据平台数据标准涵盖以下工作内容：
接口标准：规范数据平台加载数据接口、卸出数据格式及校验标准
公共代码标准：参考总行ODS与数据仓库标准与集团特色数据标准；
3.数据管理集团统一原则：
统一的存储管理，统一规划使用存储资源，提高存储资源使用效率。统一的性能管理，根据实际业务需求，合理分配资源，确保对数据的访问性能能够满足业务的需要。统一标准的安全管理，提高数据访问控制能力，降低关键业务数据的安全隐患。
4.降低数据冗余和数据复制原则：
减低集团级数据的冗余度，降低数据对存储资源的需求。各业务系统根据自身业务处理实际需求，确定对属于其它系统数据的同步需求，制订出相应的数据复制同步策略并统一进行实施。
本次数据报表平台项目承担了集团主要业务数据的集中和整合及报表应用展示的功能。通过数据平台的建设，将为零售、公司、同业、绩效、人力资源、运营等业务提供统一准确的数据支持，是贵公司业务精细化管理能力的重要基础类系统。数据平台从中远期角度来看，将成为贵公司管理层/经营层洞察经营全貌、优化经营管控水平、推进战略决策效能、支撑综合运营分析的数据分析平台。通过数据的集中化、标准化管理，实现集团数据的信息共享，构建实现企业数据平台及相关的管理决策分析应用。
数据质量管控
数据质量管控是一个长期的过程，依托于数据管控组织机构、流程的建立和完善。数据平台一期进行数据质量管控体系的初步探索，主要完成如下目标：
（1）、建立初步的数据质量管理检查规则，包括功能性和非功能性规则。功能性规则主要包括：完整性、唯一性、合法性、准确性等；非功能性主要包括信息的完整性、一致性、业务稽核等；
第2章
项目
数据平台的建设对于贵公司是一个非常重要的系统工程，承担着贵公司企业数据整合、数据交换以及数据服务的重任，通过数据平台的建设使得贵公司将自身信息资产切实、有效的管理起来，形成企业统一信息视图，搭建企业数据治理的框架，并为统一报表系统提供有效的数据支撑。
项目
贵公司数据平台本期项目建设范围，可以从涉及到的业务范围、涵盖到的组织范围以及数据平台需要接入的源系统范围三个角度来分析。
大数据平台数据治理项目
建
设
方
案
第1章
前言
我们衷心感谢贵公司给予我们这样一个很好的机会，可以为贵公司的数据平台建设提供技术解决方案和项目实施方案的建议书，并通过我们的方案建议书为及其应用系统的建设提供帮助。
我们期盼与贵公司共同努力，以我们在兄弟集团和其他银行实施同类项目的经验以及我们使您的愿景变成现实的能力，为贵公司IT建设增添一个新的里程碑，也为我们与贵公司的真诚合作启动一个良好的开端。
该项目除了可以用宇信易诚所具有的经验和技术为贵公司提供帮助外，我们认为这也是一个与贵公司建立长期战略合作关系的宝贵机会。我们为这个目标所做出的努力正反映了这一点，我们愿意建立一个灵活的商务策略，和服务质量有竞争力的专家团队来满足贵公司的需要。
项目背景
随着贵公司业务的快速发展，信息系统不断增多，业务数据量的规模也在急速膨胀。集团数据整合平台作为贵公司的数据整合中心，需紧密衔接总行ODS、数据仓库及集团特色系统、并且需考虑到贵公司未来将要建设的系统的接入问题。根据贵公司业务的拓展和条线管理的需要，各业务部门对决策信息依赖程度不断提高，经常会有一些高灵活性、多变性、高及时性的信息需求。贵公司目前需要能够满足业务需求快速响应的统一数据平台，仅依靠传统的数据加工模式对源数据进行抽取加工操作，由于业务口径的不一致性、数据质量低下、以及缺乏良好的数据统计分析手段等问题导致集团范围的决策分析成为难题，不能充分发挥业务积累的相关数据的作用数据的及时性和准确性难以保证，给管理和营销增加了难度。
基础数据平台ETL监控、调度功能，完成从原数据仓库数据移植到新数据平台的工作。
ETL子系统实现将各业务系统的数据抽取至数据平台，并进行数据的清洗、转化、加载等操作，形成数据分析、决策所需的各种汇总数据模型、分析模型，最终形成各种报表、查询以及KPI指标。ETL子系统实现自动化的数据抽取、数据加载、数据转化、数据卸载、自动化数据重新加载、加载错误自动处理、脏数据识别等功能。
1.数据集中原则：
将总行ODS、数据仓库数据、集团特色数据和应用统一进行管理和运维，保证资源的高度利用以及通过相关的技术保证数据和应用的绝对安全和稳定。
2.数据标准集团统一原则：
依据总行的数据字典，减少数据定义的二义性。未来集团特色应用系统的数据结构是集团数据结构模型的子集。对集团级数据实行单点维护，确保集团级数据的可靠性和一致性。
项目目标
贵公司数据平台建设项目是搭建一个对接总行ODS、数据仓库、衔接集团特色业务的数据平台。从底层的数据平台、DW到上层的BI（商业智能）展现，数据平台在各交易系统之间、交易系统和报表分析系统之间实现数据交换，通过数据的加工、整合实现报表统计和分析。建立基础数据模型、ETL 平台、ETL 管理调度平台、确保数据采集完整、保证ETL数据质量、形成统一的数据展现。具体目标为：
2、建设统一数据应用平台，在实现基础数据平台的基础上实现统一报表平台，为贵公司业务分析和经验决策提供全面的支持。
项目
本次项目建设遵循的技术原则如下：
数据平台的正确建立和合理利用将直接影响到贵公司的未来信息化发展，贵公司数据平台建设应参考以下架构原则，指导和规范未来的数据平台信息化建设和管理，在项目方案中应该能够体现以下原则：
业务范围
本项目的业务范围以贵公司零售、公司业务条线为主，计财、绩效、运营等为辅。
组织范围
本项目业务涵盖的组织范围为贵公司及辖内二级集团、支行。
数据范围
本项目的源系统范围包括目前贵公司的主要业务系统，并需要满足本期数据平台主题应用的数据需求。
项目ቤተ መጻሕፍቲ ባይዱ设内容
基础数据平台
基础数据平台技术架构搭建
从总体上规划企业级的基础数据平台，平台将包含历史数据存储、基础数据平台、统一报表平台、自动调度监控等内容组成，数据平台要采用统一的数据标准规范；
基础数据平台数据补录功能
提供数据补录平台功能，包括补录流程管理、补录模版管理、单笔补录、批量补录等。通过补录平台实现数据平台无法自动获取的具备分析价值的数据。
本期基础数据平台数据标准涵盖以下工作内容：
接口标准：规范数据平台加载数据接口、卸出数据格式及校验标准
公共代码标准：参考总行ODS与数据仓库标准与集团特色数据标准；
3.数据管理集团统一原则：
统一的存储管理，统一规划使用存储资源，提高存储资源使用效率。统一的性能管理，根据实际业务需求，合理分配资源，确保对数据的访问性能能够满足业务的需要。统一标准的安全管理，提高数据访问控制能力，降低关键业务数据的安全隐患。
4.降低数据冗余和数据复制原则：
减低集团级数据的冗余度，降低数据对存储资源的需求。各业务系统根据自身业务处理实际需求，确定对属于其它系统数据的同步需求，制订出相应的数据复制同步策略并统一进行实施。
本次数据报表平台项目承担了集团主要业务数据的集中和整合及报表应用展示的功能。通过数据平台的建设，将为零售、公司、同业、绩效、人力资源、运营等业务提供统一准确的数据支持，是贵公司业务精细化管理能力的重要基础类系统。数据平台从中远期角度来看，将成为贵公司管理层/经营层洞察经营全貌、优化经营管控水平、推进战略决策效能、支撑综合运营分析的数据分析平台。通过数据的集中化、标准化管理，实现集团数据的信息共享，构建实现企业数据平台及相关的管理决策分析应用。
数据质量管控
数据质量管控是一个长期的过程，依托于数据管控组织机构、流程的建立和完善。数据平台一期进行数据质量管控体系的初步探索，主要完成如下目标：
（1）、建立初步的数据质量管理检查规则，包括功能性和非功能性规则。功能性规则主要包括：完整性、唯一性、合法性、准确性等；非功能性主要包括信息的完整性、一致性、业务稽核等；
第2章
项目
数据平台的建设对于贵公司是一个非常重要的系统工程，承担着贵公司企业数据整合、数据交换以及数据服务的重任，通过数据平台的建设使得贵公司将自身信息资产切实、有效的管理起来，形成企业统一信息视图，搭建企业数据治理的框架，并为统一报表系统提供有效的数据支撑。
项目
贵公司数据平台本期项目建设范围，可以从涉及到的业务范围、涵盖到的组织范围以及数据平台需要接入的源系统范围三个角度来分析。
大数据平台数据治理项目
建
设
方
案
第1章
前言
我们衷心感谢贵公司给予我们这样一个很好的机会，可以为贵公司的数据平台建设提供技术解决方案和项目实施方案的建议书，并通过我们的方案建议书为及其应用系统的建设提供帮助。
我们期盼与贵公司共同努力，以我们在兄弟集团和其他银行实施同类项目的经验以及我们使您的愿景变成现实的能力，为贵公司IT建设增添一个新的里程碑，也为我们与贵公司的真诚合作启动一个良好的开端。
该项目除了可以用宇信易诚所具有的经验和技术为贵公司提供帮助外，我们认为这也是一个与贵公司建立长期战略合作关系的宝贵机会。我们为这个目标所做出的努力正反映了这一点，我们愿意建立一个灵活的商务策略，和服务质量有竞争力的专家团队来满足贵公司的需要。
项目背景
随着贵公司业务的快速发展，信息系统不断增多，业务数据量的规模也在急速膨胀。集团数据整合平台作为贵公司的数据整合中心，需紧密衔接总行ODS、数据仓库及集团特色系统、并且需考虑到贵公司未来将要建设的系统的接入问题。根据贵公司业务的拓展和条线管理的需要，各业务部门对决策信息依赖程度不断提高，经常会有一些高灵活性、多变性、高及时性的信息需求。贵公司目前需要能够满足业务需求快速响应的统一数据平台，仅依靠传统的数据加工模式对源数据进行抽取加工操作，由于业务口径的不一致性、数据质量低下、以及缺乏良好的数据统计分析手段等问题导致集团范围的决策分析成为难题，不能充分发挥业务积累的相关数据的作用数据的及时性和准确性难以保证，给管理和营销增加了难度。
基础数据平台ETL监控、调度功能，完成从原数据仓库数据移植到新数据平台的工作。
ETL子系统实现将各业务系统的数据抽取至数据平台，并进行数据的清洗、转化、加载等操作，形成数据分析、决策所需的各种汇总数据模型、分析模型，最终形成各种报表、查询以及KPI指标。ETL子系统实现自动化的数据抽取、数据加载、数据转化、数据卸载、自动化数据重新加载、加载错误自动处理、脏数据识别等功能。
1.数据集中原则：
将总行ODS、数据仓库数据、集团特色数据和应用统一进行管理和运维，保证资源的高度利用以及通过相关的技术保证数据和应用的绝对安全和稳定。
2.数据标准集团统一原则：
依据总行的数据字典，减少数据定义的二义性。未来集团特色应用系统的数据结构是集团数据结构模型的子集。对集团级数据实行单点维护，确保集团级数据的可靠性和一致性。
项目目标
贵公司数据平台建设项目是搭建一个对接总行ODS、数据仓库、衔接集团特色业务的数据平台。从底层的数据平台、DW到上层的BI（商业智能）展现，数据平台在各交易系统之间、交易系统和报表分析系统之间实现数据交换，通过数据的加工、整合实现报表统计和分析。建立基础数据模型、ETL 平台、ETL 管理调度平台、确保数据采集完整、保证ETL数据质量、形成统一的数据展现。具体目标为：