消防数据仓库与消防信息化建设的探讨

消防数据仓库与消防信息化建设的探讨

目前，基于数据仓库及数据分析新技术的决策支持系统，在国内的金融、销售、制造等行业已初步显现了成效。但在消防这一特殊领域，却应用不多。为了能够使信息化手段为消防业务工作提供帮助，现根据消防工作的性质和特点，研究建立消防决策支持系统。本文以消防业务数据为基础，通过需求分析、框架设计、数据建模、系统实现等步骤，对基于数据仓库和消防信息化建设进行了研究。

标签消防数据；信息化建设；指挥

一、前言

利用先进的数据仓库技术构建消防指挥信息系统，把各个孤立的“信息孤岛”构建成一个符合标准的数据仓库，然后从相关的数据源中采集数据，赋予度量值，再根据系统内嵌的模型和算法处理这些维度和度量值，并进行联机在线分析和数据挖掘，最终以可视化的结果呈现给消防指挥人员，辅助日常管理工作和现场指挥决策。

经过多年来在信息化建设方面的努力，消防领域已经拥有了许多大型的信息处理系统。这些系统在其日常运行中积累了大量的历史数据。众所周知，历史数据是产生知识的金矿。而蕴藏在消防业务运行数据中的知识对于处于信息需求日益增加的消防部队各级指挥员来说是很有价值的。

如何将现有的数据和指挥作战相关数据进行组织和利用，将其真正转化为知识，为消防部队决策层进行指挥决策、制定作战计划、做出及时有效的处置方案提供支持，就成了摆在消防部门面前的一项重大课题。这也是随着C/S技术的成熟和并行数据库的发展，出现的信息处理技术发展趋势：从大量的事务型数据库中抽取数据，并将其清理、转换为新的存储格式，即为决策目标把数据聚合在一种特殊的格式中。随着此过程的发展和完善，这种支持决策的、特殊的数据存储即被称为数据仓库（Data Warehouse，DW）。数据仓库作为一种新型的数据管理技术，同时也是基于数据库的数据挖掘（Data Mining）和知识获取（Knowledge Discovering Data base，KDD）的数据基础。

需要指出的是，这种新的需求既要求联机服务，又涉及空前大量的决策数据，因而传统的数据库系统已无法满足这种需求。具体体现在三个方面：

1.历史数据量很大；

2.辅助决策信息涉及许多部门的数据，而不同系统的数据难以集成；

3.由于访问数据的能力不足，传统数据库系统对大量数据的访问性能明显下降。

作为前言的结束，这里给出数据仓库之父Bill Inmon对数据仓库的定义：“数据仓库是面向主题的、集成化的、稳定的、随时间变化的数据集合，用于支持管理决策的过程。”

二、数据仓库系统的基本特征和体系结构

数据仓库是存储供查询和决策分析用的集成化信息仓库。数据仓库的信息来自不同地点的数据库或其他信息源（以下统称信息源）。数据仓库的信息源具有分布和异构的特点，其中的主要信息可以视为定义在信息源上的实体化视图集合。实体化视图与通常所说的视图不同。数据仓库管理系统预先把实体化视图对应的数据从信息源中提取出来，物理地存储到数据仓库中，使这些视图成为物理存储的数据实体。数据仓库系统具有两个主要功能：

1、从各信息源提取所需数据，加工處理后，存储到数据仓库；

2、直接在数据仓库上处理用户的查询和决策分析请求，尽量避免访问信息源。

数据仓库主要应用在两个方面：

1、使用浏览分析工具在数据仓库中寻找有用的信息；

2、数据仓库系统支持在数据仓库上的应用，形成决策支持系统（DSS）。

虽然数据仓库的概念在80年代初就已提出，但直到目前随着网络技术的发展和大量客户机/服务器（C/S）应用的建设，才为数据仓库的兴起创造了需求和技术基础。要指出的是，数据仓库是一种体系结构，而不是一种产品，用户无法购买现成的数据仓库，而必须构造本行业的专用数据仓库。数据仓库由以下几个部分构成：数据的收集、数据存储和管理、联机分析处理和决策支持开发应用环境。除各个部分硬件平台的选择外，对数据仓库的基础设施的选择，也就是对以下4个部分各种软件的选择。

1、数据的收集—数据的抽取、清洗和装载本来从业务数据库中抽取、清洗和装载DSS数据并不具有很大的技术挑战性，但由于数据仓库需要收集分布的、异构的历史数据的原因，这一过程是相当复杂的，甚至有时成为建设数据仓库最耗费时间和资金的部分。数据收集软件要求能够处理在多年的信息业务发展历史中出现的各种各样的数据格式，如关系型、非关系型、甚至特殊的文本格式数据文件。

2、OLAP—联机分析处理

现有OLTP系统中的数据处理是高度结构化的复杂数据模型操作，每一次事务处理通常只涉及一两张表，并且只对一行记录进行操作。这说明复杂的表关系不会影响到系统的性能。而DSS系统的处理正相反，它的一次操作要涉及几百

张表的上千行数据。在这种情况下，复杂的表连接会严重影响性能。所以，性能是传统的实体——关系（ER）模型不能满足决策支持环境的重要原因之一。

第二个原因是典型的ER模式过于复杂且难以导航。在OLTP系统中，这不是一个问题，使用和访问数据的路径非常明了，应用可以硬编码来使用特殊的数据结构。但在DSS环境下，数据的使用是非结构化的；用户仅仅在分析的时候才查找有关数据，查找条件是随机的。由于传统的数据分析软件不适用于动态数据分析，而关系数据库虽然具有一定的数据视图选取、比较和综合的能力，但它仍然受到数据分析能力的制约，所以产生了一种针对特定问题的联机数据访问和数据分析的技术，E.F.Codd将这种技术定义为“OLAP”。

三、数据仓库的建立

数据仓库的建立，必须深入地理解行业规则与政策，包括对现有业务系统的分析，以便了解如何转化、综合数据。其过程是：对数据来源的分析、对数据的转化与缩合过程的定义、构造数据仓库以及建立用户赖以获得数据的工具。实施步骤大致分为：

1、确定用户需要，进行数据建模；

2、筛选已有数据源；

3、分析数据来源和系统的功能和处理过程；

4、实现对源数据到数据仓库的数据模型必须的转化综合逻辑；

5、生成中间数据；

6、生成物理的数据仓库数据库；

7、生成必需的应用软件。

总之，传统的数据处理，其目的仅是为维持业务的日常运行与操作保持足够的数据。而实现数据应用的数据仓库则尽可能把原始的、有意义的历史数据保存下来。使之对即将发生的决策分析提供坚实的数据基础。

四、消防业务信息数据仓库的意义

同数据仓库在其他领域中应用的情况一样，消防业务信息数据仓库将为消防指挥决策提供重要的技术手段。这主要表现在以下的几个方面：

1、通过一个受到日常维护的、完整的、可信的、集中的中央数据仓库，可以为整个消防决策工作提供至关重要的及时、准确、一致和全面的信息。当前各级指挥决策部门都明确感受到需要这样的信息支持来完成决策工作。