数据仓库技术制定方案

数据仓库制定方案

在当下的数据仓库系统安全控制模块中，我国数据仓库安全分为不同的等级。总体来说，我国的数据仓库安全性是比较低。为更好的健全计算机数据仓库体系，进行数据仓库安全体系的研究是必要的。很多软件都是因为其比较缺乏安全性而得不到较大范围的应用，归根结底是数据仓库安全性级别比较低。为满足现阶段数据仓库安全工作的需要，有利于数据仓库保密性的控制，保证这些数据存储与调用的一致性。

当前数据仓库安全控制过程中，首先需要对这些数据进行可用性的分析，从而有利于避免数据仓库遭到破坏，更有利于进行数据仓库的损坏控制及其修复。其次为了保证数据仓库的安全性、效益性，也离不开对数据仓库整体安全性方案的应用。最后必须对数据仓库进行的一切操作进行跟踪记录，以实现对修改和访问数据仓库的用户进行追踪，从而方便追查并防止非法用户对数据仓库进行操作。

2.1数据仓库安全整体规划

本方案通过对电力行业敏感信息泄露安全威胁的分析，对数据仓库安全进行整体设计与规划，通过全系列数据仓库安全产品相互之间分工协作，共同形成整体的防护体系，覆盖了数据仓库安全防护的事前诊断、事中控制和事后分析。

制定严密可行的实施计划，整个工程严格按照计划进行；公司质量控制部利用ISO9000质量管理规范对工程的软件开发及实施全过程进行监督和控制；建立完善的软件开发和工程实施的文档体系。对程序进行测试，对各个模块之间的关联情况下可能出现的问题进行严密的测试，并不断完善在测试过程中暴露出来的问题。在这过程中质量控制小组将全程参与，确保软件质量。

需求调研是数据仓库开发的最重要的环节之一，在调研的过程中能否真实、准确地描述客户的需求，对于数据仓库的开发有着举足轻重的影响。与客户沟通不够导致对同一个事物的描述或者理解有分歧和差异，或者调研过程中流于表面文字，而没有进入实际的操作，都可能造成在需求调研的过程中造成对需求不精确的理解。失之毫厘，谬之千里，需求调研的微小差异可能会在软件的开发过程中造成较大的偏差，直接影响了工程的建设质量。为此我们为需求调研工作分配了充裕的人力的时间，制定了完善的调研方案，对需求调研的深度和广度做了规

范性的描述。确保需求调研的工作质量。

2.2数据仓库开发阶段划分与目标

2.2.1、需求分析阶段

主要对供电公司的需求、软硬件条件、数据状况等情况进行调研，对需求调研的结果进行分析，同时考虑需求的广泛适用性，归结出其中共同的部分和相异的部分，以便下一步根据需求完成系统软件开发。

2.2.2、物理建模阶段

依照需求分析得到的逻辑模式，设计数据仓库中的数据仓库，开发数据仓库中数据的物理存储结构，即设计多维数据结构的事实表和维表。

2.2.3、数据转换阶段

此阶段实现从多个源系统中抽取、清理、一致化、综合、装载数据等过程的设计和编码。

2.2.4、生成多维模式并搭建立方体阶段

在已创建的仓库模式的基础上，对维定义了层和层次；创建了需要预计算的量度；利用优化器根据业务进行了切片优化和预处理，生成MQT（物化视图）；在模式中建立立方体，供查询和多维分析使用。

2.2.5、多维分析及展现阶段

使用数据分析和展现工具，开发多维分析程序以及展现页面。

2.2.6、数据挖掘阶段

使用数据挖掘建模工具进行聚类、关联、分类、预测，使用数据挖掘模型图示化工具，使用图形展示挖掘结果。

2.2.7、数据仓库项目目标

使数据仓库达到一致性、有效性、易用性、便携性、安全性、共享、纠错、速度、原子事物处理、持久性和备份、降低成本和可扩展性、复杂的计算、CRUD 把信息系统中大量的数据按一定的模型组织起来，提供储存、维护、检索数据的功能，使信息系统可以方便、及时、准确地从数据仓库中获得所需的信息。2.3数据仓库技术要求和范围

项目方案要面向未来，技术必须具有合理性和前瞻性，应当符合以下几点要

求：

2.3.1可扩展性

系统的数据仓库技术方案要能将现有各种资源和应用系统有效地集成在一起，系统数据仓库的结构要合理，要具有良好的可扩展性，由于IT 领域技术发展十分迅速，应用环境，系统硬件及系统软件都会不可避免将被更新，因此系统的可扩充性及版本的兼容性好坏，直接影响着应用系统和用户需求的发展和功能的提升。另一方面，它还要有与其它系统的接口能力，利用各系统功能之长，进行优势互补。

2.3.2标准化

现有信息技术的发展越来越快，为了使该系统在未来运行过程中其技术能和整个信息技术的发展同步，系统数据仓库应具有备灵活适应性和良好的可扩展性，系统的结构设计和产品选型要坚持标准化，首先采用国家标准和国际标准，其次采用广为流传的实用化工业标准。

2.3.3可管理性

本系统数据仓库是一个比较大、较复杂的系统，它包含大量硬件设备、软件系统和数据信息资源，这些资源分布在各个不同的地点，因此系统的技术方案要提供多层次、方便、有效的管理手段，为系统正常运行提供技术管理保障。

2.3.4可配臵性

由于整个系统数据仓库涉及的系统比较多，业务种类比较复杂，因此系统的灵活配臵性就显得非常重要，系统的可配臵性应包括部门配臵、人员角色配臵、公文样式配臵、处理流程配臵等。

2.3.5数据仓库项目范围

1、数据仓库是信息系统的核心和基础

2、数据仓库是信息系统的各个部分是否能紧密地结合在一起以及如何结合的关键所在。

3、数据仓库设计是信息系统开发和建设的重要组成部分

2.4开发过程和结构选择

2.4.1.结构开发

在数据仓库规划中一般需要经历这样几个过程：选择实现策略、确定数据仓

库的开发目标和实现范围、选择数据仓库体系结构、建立商业和项目规划预算。

当数据仓库规划完成后，需要编制相应的数据仓库规划说明书，说明数据仓库与企业战略的关系，以及与企业急需处理的、范围相对有限的开发机会，重点支持的职能部门和今后数据仓库开发工作的建议，实际使用方案和开发预算，作为数据仓库实际开发的依据。

2.4.2.结构选择

数据仓库的结构可以进行灵活的选择，可将组织所使用的各种平台进行恰当的分割，把数据源、数据仓库和最终用户使用的工作站分割开来进行恰当的设计。

2.5数据仓库的应用结构

基于业务处理系统的数据仓库在这种结构中，将运作的数据用于无需修改数据的只读应用程序中。具有这种结构的数据仓库元数据仓库是一种虚库，而不是数据仓库自身的元数据。在数据仓库元数据仓库的直接指导下，对数据仓库的查询就是简单的从数据仓库中抽取数据。

单纯数据仓库

利用在数据仓库中的数据源净化、集成、概括和集成等操作，将数据源从业务处理系统中传输进集中的数据仓库，各部门的数据仓库应用只在数据仓库中进行。这种结构经常发生在多部门、少用户使用数据仓库的情况下。这里的集中仅仅是逻辑上的，物理上可能是分散的。

单纯数据集市

数据集市是指在部门中使用的数据仓库，因为企业中的各个职能部门都有自己的特殊需要，而统一的数据仓库可能不能满足这些部门的特殊要求。这种体系结构经常发生在个别部门对数据仓库的应用感兴趣，而组织中其他部门却对数据仓库的应用十分冷漠之时，由热心的部门单独开发式所采用。

数据仓库和数据集市

企业各部门拥有满足自己需要的数据集市，其数据从企业数据仓库中获取，而数据仓库从企业各种数据源中收集和分配。这种体系结构是一种较为完善的数据仓库体系结构，往往发生在组织整体对数据仓库应用感兴趣之时所采用的体系结构。