数据仓库解决方案v1.0

数据仓库解决方案

深圳太极云软技术股份有限公司

2016年1月

目录

(一)概述 (3)

一. 国内信息化的现状 (3)

二. 以应用驱动，数据仓库建设应由后向前规划 (3)

三.“想大做小”（整体设计、分布实施） (4)

(二)系统架构 (5)

数据仓库架构 (6)

系统功能架构 (7)

(三)数据仓库建设方法 (8)

数据仓库建设8大步骤 (9)

1.系统分析，确定主题 (9)

2.选择满足数据仓库系统要求的软件平台 (10)

3.建立数据仓库的逻辑模型 (10)

4.逻辑数据模型转化为数据仓库数据模型 (11)

5.数据仓库数据模型优化 (12)

6.数据清洗转换和传输 (13)

7.开发数据仓库的分析应用 (14)

8.数据仓库的管理 (15)

(四)系统功能详细介绍 (16)

企业数据门户 (16)

主题分析 (17)

即席查询 (18)

多维分析工具 (19)

ETL工具 (19)

报表工具 (21)

(一)概述

一.国内信息化的现状

1.信息化建设的发展历史：

在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。

2.为何要建立数据仓库：

根据现状业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。

二.以应用驱动，数据仓库建设应由后向前规划

数据仓库到底应该怎么建设?我一贯的主张是应用驱动。什么样的应用呢？应用是应考虑政府管理的现状和决策层最关心的问题入手。分利用现有信息系统资源，进一步细化、量化权力清单，固化权

力运行流程和办理环节，达到规范业务流程、监督个体行为、记录执法诚信、科学考核评价和提升管理精度，最终使群众的合法权益得到保护，实现权力有效监督和提升政府效能。通过分析经济发展、卫生健康、教育科技、道路交通、机构团体、生活服务、文体娱乐、安全避险、资源环境、社保就业、财税金融、法律服务等这些主题的分析是否可行，应该先进行评估。这样从应用主题入手，就可以知道需要什么样的数据，来自那些业务系统和数据源，这些数据的全体进行一定的整合，按照分析的要求存储就组成了一个个数据集市（Data Mart）。

三.“想大做小”（整体设计、分布实施）

为了避免原有业务系统相对独立而形成的一个个信息孤岛，以应用驱动建设数据仓库，往往会造成新的信息孤岛。这是因为应用往往是部门级的或者是某一方面的应用，不能完全覆盖企业级的所有应用。当然我们这里不提倡一次建设的应用。如何避免这个问题，是我这里着重要要强调的。这里分两种情形进行设计，系统作用

1. 整合业务数据

在各业务系统中，数据不流通，形成信息孤岛，商业智能解决方案建立统一数据仓库，整合业务数据，给管理者提供统一视图，统一决策界面。

2. 支撑决策

从数据中分析企业发展趋势，挖掘新的机会方法，根据数据决策，

提高决策的及时性及准确率。

3. 提供管理效能，量化办事效率

基于系统分析内容，管理者能了解细化、量化权力清单，固化权力运行流程和办理环节，达到规范业务流程、监督个体行为、记录执法诚信、科学考核评价和提升管理精度，最终使群众的合法权益得到保护，实现权力有效监督和提升政府效能。

(二)系统架构

系统架构图

在建立数据仓库，数据仓库按主题域存储各业务数据。数据来源主要是政府

管理结构的不同业务管理系统。通过数据交换平台定期采集各管理机构的业务数据，后台数据处理工具ETL抽取、清洗数据，并加载入数据仓库中。

架构于数据仓库上的系统功能主要包括大数据门户、专题主题分析、即系查询、多维分析、自助报表的功能模块，通过这些功能模块为管理者获取数据和分析数据提供简单易用、功能强大的方法，为管理者决策及提升管理精度，最终实现权力有效监督和提升政府效能。

数据仓库架构

数据仓库是一个建设过程，而不是产品。数据仓库是通过对来自不同的数据源进行统一的处理及管理，通过灵活的展示方法来帮助决策支持。

➢数据获取层

实现如何从所有源系统中获得原始的业务数据，并对其进行一定的数据处理，按主题进行数据重组和格式转换，然后传送并装载到数据仓库系统中。

数据仓库系统需要从多个源数据系统中抽取和汇总各个业务数据，这些数据源系统是数据仓库系统的数据来源。

把上述数据源系统中的数据按照主题进行划分和组织，然后抽取并装载到数据仓库系统中。

数据需要经过三个过程：数据抽取、数据转换、数据装载。这三个过程是在保证各个数据源系统与数据仓库系统能够成功连接（包括网络协议标准的转换、不同平台之间的接口）的前提下实现的。保证把来自不同的源数据系统的同类数据的一致性和完整性，转换完成的

数据装载到数据仓库系统中。

➢数据管理层

把数据存储到企业级数据仓库系统中进行集中管理。在数据存储层，数据是存放在两类数据库中：关系型数据库和多维数据库。数据存储是数据仓库系统的中心。取自多个数据源系统的明细数据，以及用于分析的集成汇总数据都存储在这个中心。它在逻辑上是一个完整的库。

➢数据使用层

把数据仓库系统中的数据和分析结果提供给最终用户。按照用户的分析需求、使用报表、随即查询、多维度分析和数据挖掘进行数据展现。

数据输出层的功能是使最终用户通过报表、图形和其他分析工具的方式简便、快捷地访问数据仓库系统中的各种数据，得到分析结果。

提供多种数据分析方法，包括标准报表、即席查询报表、动态分析报表、多维分析、趋势预测、假设分析和数据挖掘等。

系统功能架构

多维分析OLDP多角度、立体化、灵活动态的分析业务数据。产品简单易用，无需编写任何的代码，用户只需要通过语义层的定义就可以轻松搭建自己的多维数据模型。

即席查询统计报表、指标的快速检索，帮助业务分析人员快速获得所需要的数据和统计信息。

数据门户Data Portal进行统一展现，展现方式包括仪表盘、表格、报表、日历等内容，并支持用户个性化定制内容、指标等功能，