数据平台系统项目-技术方案

3.ETL管理：建设ETL管理平台，将其纳入贵行的ETL管理体系，形成有贵行特色的ETL管理制度。
开放性
系统建设遵循开放原则，适应未来业务和技术发展，与现有系统进行有序的数据交互。
1.数据模型：数据模型的Biblioteka Baidu计尽量接口化，关系与抽象并存。应对新出现的业务种类，同时能够兼容与现有系统进行数据交互，完成输入与输出系统的角色。
二期项目中可以集成计财、运营、人力资源等系统报表;
支持数据图表展示、SQL查询等个性化查询需求；
将更多的管理应用系统的数据源迁移至数据平台；
建立并推广一套完整的需求与技术落地标准与体系。
可以预见，随着数据平台的不断成熟，业务部门对数据平台的认知不断提高，会有源源不断的需求基于数据平台提出，这种变化将使得数据平台由前期技术部门“推”转变为业务部门的“拉”，让业务需求作为数据平台持续良好发展的源动力。
1、构建统一的、层次合理的、灵活的企业级数据模型，整合各业务系统数据，形成分行统一的数据视图，建设成为贵行系统应用的基础数据平台。
2、建设统一数据应用平台，在实现基础数据平台的基础上实现统一报表平台，为贵行业务分析和经验决策提供全面的支持。
项目
本次项目建设遵循的技术原则如下：
数据平台的正确建立和合理利用将直接影响到贵行的未来信息化发展，贵行数据平台建设应参考以下架构原则，指导和规范未来的数据平台信息化建设和管理，在项目方案中应该能够体现以下原则：
1.数据集中原则：
将总行ODS、数据仓库数据、分行特色数据和应用统一进行管理和运维，保证资源的高度利用以及通过相关的技术保证数据和应用的绝对安全和稳定。
2.数据标准分行统一原则：
依据总行的数据字典，减少数据定义的二义性。未来分行特色应用系统的数据结构是分行数据结构模型的子集。对分行级数据实行单点维护，确保分行级数据的可靠性和一致性。
3.数据管理分行统一原则：
统一的存储管理，统一规划使用存储资源，提高存储资源使用效率。统一的性能管理，根据实际业务需求，合理分配资源，确保对数据的访问性能能够满足业务的需要。统一标准的安全管理，提高数据访问控制能力，降低关键业务数据的安全隐患。
4.降低数据冗余和数据复制原则：
减低分行级数据的冗余度，降低数据对存储资源的需求。各业务系统根据自身业务处理实际需求，确定对属于其它系统数据的同步需求，制订出相应的数据复制同步策略并统一进行实施。
1.ETL处理：在进行ETL设计时，需要考虑大数据量条件下的处理效率，确保在规定的时间窗口内完成ETL处理，特别是一些特殊日期的ETL处理，例如结息日、月底等。
2.数据交换平台：需要考虑在大数据量条件下的文件传输效率，主要也是体现在一些特殊日期条件下的文件传输，以及特殊情况下的全量文件传输。
3.数据库设计：对一些海量数据表或频繁访问的数据表，在数据库设计的时候需要从数据库设计的角度考虑性能优化机制。
2.ETL处理：ETL程序处理逻辑规则模块化，应对日益更新的技术发展及业务变更。
3.相关产品：项目开发过程中使用的宇信易诚工具类产品可以提供客户相关开发源码进行二次开发。
4.后续开发：项目组再实施过程中，会对客户方科技人员进行相关的技术培训，使科技人员能够独立的进行ETL程序的开发、报表开发、数据分发的设置、数据源配置等等
数据平台项目
贵行数据平台建设项目是搭建一个对接总行ODS、数据仓库、衔接分行特色业务的数据平台。从底层的数据平台、DW到上层的BI（商业智能）展现，数据平台在各交易系统之间、交易系统和报表分析系统之间实现数据交换，通过数据的加工、整合实现报表统计和分析。建立基础数据模型、ETL平台、ETL管理调度平台、确保数据采集完整、保证ETL数据质量、形成统一的数据展现。具体目标为：
2、建设统一数据应用平台，在实现基础数据平台的基础上实现统一报表平台，为贵行业务分析和经验决策提供全面的支持。
3、集成现有对公、零售主要系统业务固定报表，支撑业务数据使用需求。
4、指标数据按照图表样式进行区间查询展示数据趋向，波动。
5、将分行原指标体系按照新指标体系进行平移；
分行
鉴于一期建设主要是搭建主体平台，二期的信息化建设目标是继续完善平台，丰富平台应用效果，全面覆盖现有旧综合平台，将重要数据迁移。具体目标如下：
可扩展性
可扩展性是指数据平台能够支持贵行业务系统和应用系统发展的需要。在本项目中，具体要从以下几个方面考虑系统的可扩展性：
1.数据模型：设计基础数据层和数据预处理层模型时应充分考虑，除了能够容纳现有源系统的结构设计，还应该尽可能满足即将要上线的业务系统数据模型，同时还需要制定一套合理的模型设计规范，使得新上线的业务系统数据模型能很方便地扩展到数据平台。
技术架构是用于支撑贵行数据平台的数据分布和流动的技术框架，用到的技术有数据库技术、数据平台技术、ETL技术、多维计算技术、数据展现技术等。
作为最底层的物理架构，是对贵行数据平台物理设备和网络的合理规划部署，它通过有效地利用硬件和网络，并能够添加硬件设备进行扩展为上层架构（技术架构、数据架构、逻辑架构）提供支撑能力。
贵行数据平台架构方法立体视图
设计原则
根据贵行数据平台提出的系统建议的总体原则，总结我们在多家金融机构建设数据平台经验，贵行数据平台的设计原则体现如下原则：标准规范，可扩展，开放，前瞻，高性能，稳定，安全，易维护，实用，可管理，高可用，可重用。
系统设计原则
标准规范
建立标准的ETL开发流程，制定符合贵行数据平台的代码标准化统一规范，设计应对有高效数据处理要求及日常低能耗操作的兼容性数据模型，建设符合贵行数据平台远景目标利益的技术管理体系。
4.服务器：平台中的每一种服务器都使用集群扩展模式，可以通过对服务器数量的增加获得更好的数据处理和查询能力。
高性能
高性能是指在硬件资源有限的情况下，数据平台应尽可能的支持尽量多的数据服务需求，还能承受用户峰值时间段压力，使得数据平台能够满足分行范围内的使用者。在本项目中，高性能的设计主要体现在以下几个方面：
2.ETL处理：需要考虑两个方面的扩展性，增加新的ETL任务处理以及原有任务所处理的数据规模加大，ETL处理架构必须能适应新的变化，需要考虑通过集群的方式来扩展。
3.数据交换平台：在设计时应考虑，随着分发数据规模的扩大和推送节点的增多，对交换处理和传输处理的性能要求会越来越高，必须支持集群的方式进行扩展。此外，数据交换平台还必须提供二次开发接口，支持SOA服务模式，可以进行应用级的扩展。
1.数据模型：制定表名、字段名命名规范标准。设计基础标准模型及基于基础数据模型之上的未来建设的应用系统的模型标准。建立数据质量管理机制，提高贵行数据平台的数据质量，也是数据平台迈向标准化规范化管理的重要环节。
2.ETL处理：将ETL处理程序分类化，整理规范出各种ETL处理策略。确保ETL开发人员所开发的ETL程序遵循中信总行的规范。
统一报表
构建统一报表平台，实现分行业务应用报表的集中化管理、一体化服务；具有报表定制、管理、维护功能；构建分行用户及权限管理体系，支撑分行业务用户报表应用需求。能够快速响应各级业务应用人员的报表需求，满足报表批量分类存档的需要。
分行
分行
基于对贵行系统现状的了解，贵行数据平台一期的建设目标是：
1、构建统一的、层次合理的、灵活的企业级数据模型，整合各业务系统数据，形成分行统一的数据视图，建设成为贵行数据集中管理和应用的基础数据平台。
业务范围
本项目的业务范围以贵行零售、公司业务条线为主，计财、绩效、运营等为辅。
组织范围
本项目业务涵盖的组织范围为贵行及辖内二级分行、支行。
数据范围
本项目的源系统范围包括目前贵行的主要业务系统，并需要满足本期数据平台主题应用的数据需求。
项目建设内容
基础数据平台
基础数据平台技术架构搭建
从总体上规划企业级的基础数据平台，平台将包含历史数据存储、基础数据平台、统一报表平台、自动调度监控等内容组成，数据平台要采用统一的数据标准规范；
（2）、根据建立的初步检查规则，进行数据质量的监测，出具初步的数据质量检查报告；
（3）、根据数据质量检查报告，提出数据质量提升的解决方案。
分行级
借鉴与参考总行统一报表指标体系成果，在此基础上建立满足分行口径指标体系，扩展分行指标；满足业务日常固定报表使用的同时提供多样化的报表展现界面，包括表格展现，各类图形展现；要求界面友好，易用性强，并能够提供具性化应用风格支持。
逻辑（应用）架构是贵行数据平台项目承载的应用体系，它描述了贵行数据平台项目所要实现的应用需求，以及支撑这些应用需求所必须的公共模块，如调度、监控和元数据管理等工具组件。
数据架构承载了支撑应用架构所必须的业务实体关系的分布，它通过数据模型的方式进行组织，主要分为缓冲数据层(ODS)、基础数据层（FDM）、加工汇总层(ADM)和数据集市层(MDM)等四个层次。
数据质量管控
数据质量管控是一个长期的过程，依托于数据管控组织机构、流程的建立和完善。数据平台一期进行数据质量管控体系的初步探索，主要完成如下目标：
（1）、建立初步的数据质量管理检查规则，包括功能性和非功能性规则。功能性规则主要包括：完整性、唯一性、合法性、准确性等；非功能性主要包括信息的完整性、一致性、业务稽核等；
2.数据管控：在总体设计时，应充分考虑数据的复杂性，必须能做到多而不乱，能够清楚了解系统每一个应用的转换逻辑和数据含义，在任何环节有变动时，能迅速的反馈变动产生的影响。
3.数据交换平台：在总体设计时，需要充分考虑数据交换任务易于配置，传输结果易于监控。
高可用性
高可用性是指系统在一些特殊情况发生时，依靠架构的有效设计，仍然能保证正常运行。在本项目中，高可用性的设计主要体现在以下几个方面：
第1章
项目
数据平台的建设对于贵行是一个非常重要的系统工程，承担着贵行企业数据整合、数据交换以及数据服务的重任，通过数据平台的建设使得贵行将自身信息资产切实、有效的管理起来，形成企业统一信息视图，搭建企业数据治理的框架，并为统一报表系统提供有效的数据支撑。
项目
贵行数据平台本期项目建设范围，可以从涉及到的业务范围、涵盖到的组织范围以及数据平台需要接入的源系统范围三个角度来分析。
基础数据平台数据补录功能
提供数据补录平台功能，包括补录流程管理、补录模版管理、单笔补录、批量补录等。通过补录平台实现数据平台无法自动获取的具备分析价值的数据。
本期基础数据平台数据标准涵盖以下工作内容：
接口标准：规范数据平台加载数据接口、卸出数据格式及校验标准
公共代码标准：参考总行ODS与数据仓库标准与分行特色数据标准；
基础数据平台ETL监控、调度功能，完成从原数据仓库数据移植到新数据平台的工作。
ETL子系统实现将各业务系统的数据抽取至数据平台，并进行数据的清洗、转化、加载等操作，形成数据分析、决策所需的各种汇总数据模型、分析模型，最终形成各种报表、查询以及KPI指标。ETL子系统实现自动化的数据抽取、数据加载、数据转化、数据卸载、自动化数据重新加载、加载错误自动处理、脏数据识别等功能。
可管理性
这里所说的可管理性主要是指系统运维的可管理性。比如：在实际运行过程中，系统能很方便地对系统的运行状态进行监控，查看数据质量情况；出现系统异常时，能及时收到消息通知，并有一套完善的流程来处理数据或系统方面的异常等等。在本项目中，可管理性的设计具体表现在以下几个方面：
1.ETL处理：在ETL的总体设计时，确保系统可以监控全过程的运行状态，并能对异常情况及时提醒，保存完整的处理日志信息，并设计相应的错误处理流程。另外，还需要考虑ETL任务配置的直观图形化。
第2章
系统设计方法论
方法论
数据平台的项目是一个长期的循序渐进的过程，也是一个不断创新、修复、完善的过程，其伴随着应用系统的发展而发展。根据贵行的业务特点以及企业系统建设的现状和未来发展蓝图，致力打造一个可扩展的、高可用性的、安全的、高效的、跨部门的可以快速处理海量数据的数据平台。
在贵行数据平台建设方面依据可重用性、安全性、高可用性、可管理性、可扩展性、高性能的设计原则采取总体规划，分层实现的方式。纵向层面自上而下看，贵行数据平台的架构由逻辑（应用）架构、数据架构、技术架构和物理架构四个层次组成，每个层次内部又根据设计需要进行抽象分层，从而形成立体的贵行数据平台项目架构方法。