关于大情报系统体系架构优化调整和技术发展方向的思考

关于“大情报”系统体系架构优化调整

和技术发展方向的思考

摘要：面对公安行业信息化日益增长的业务需求，构建高性能、高可靠性、高可伸缩性的系统架构迫在眉睫，借鉴和利用互联网先进的“云计算”相关技术及理念为公安信息化建设服务是必然趋势，也必将继续推动公安信息化朝着高效、稳定、良性的方向发展。

关键词：海量数据，分布式，云计算，云服务，情报云，IPaaS

一、引言，情报平台架构的瓶颈（目前核心的问题）

在当前公安行业信息化建设过程中，以“大情报”平台为代表的公安信息化建设工程，作为公安信息化的重点建设项目，在公安工作中已经发挥了重要作用。在“大情报”系统建设产生巨大的应用效益，发挥极其重要作用的同时，公安行业所需要处理的业务量快速增长，各类应用系统越来越多，业务需求越来复杂，现有系统存在的各种问题慢慢凸显出来。应用系统产生的海量数据：如情报文本信息、车辆轨迹及图片数据、各类人员轨迹数据，以及社会资源数据等，呈现出几何级数增长趋势。特别是各业务系统大数据量的汇聚与存储，如省320工程车辆相关数据的汇聚将达到每年更新数百条亿，现有系统架构的存储处理能力面临着严峻的考验。同时，应用系统需要处理这些日益增长的数据，处理更多，更复杂的业务模型，比如由以前较简单的比对模型，上升为复杂的多维度的研判模型、积分模型；由以前简单的全文检索，提高到海量情报文本信息的串并分析，这无疑给现有系统造成更多负载和压力，现有系统已经出现了性能瓶颈，甚至出现无法满足当前警务工作需要的现象。由于当前系统技术架构在设计上可伸缩性差，

不能适应需求的快速变化，经常出现以增加硬件设施来弥补软件上的不足，导致数据中心硬件建设和管理维护成本不断上升，加上当前基本上都采用集中式存储方式进行数据存储，系统容灾能力非常有限。

在资源共享及对外服务方面，仅停留在简单的请求服务、指令联动、积分结果对接的层面，不能真正意义上的实现全网资源实时共享：如目前大多应用系统为部省市三级的纵向、单向联系、数据存储独立，应用系统之间互访困难，造成信息共享程度差，对跨警种，跨地域的信息支撑反应速度慢，不能满足公安机关联合作战的要求，难以实现对跨地域数据的深度挖掘和自定义模型分析，无法开发信息资源的深层价值。

所面临的这些问题，主要是因为当前的系统架构不能满足日益增长的业务发展需求。如何处理海量数据与复杂业务，如何有效的为警务工作人员提供方便、快捷的应用服务，构建具有高性能、可伸缩的系统架构成为公安信息化发展面临的一个首要问题。

随着“云计算”的出现，“云”改变了全球IT领域发展的格局，也影响着世界各行各业信息化发展的未来。“云计算”是在网格计算的基础上提出的一种新型计算模型，是下一代网络计算平台的核心技术，他提供安全可靠的数据存储，方便快捷的网络服务和强大的计算能力，改变了传统以PC机为基础的生产模式，最终改变人们获取信息、分享资源和互相沟通的方式。

“云计算”的出现，也为公安行业信息化建设带来新的思考。利用先进的“云计算”技术服务于“大情报”建设，是我们下一步公安信息化建设需要考虑的目标和应用方向，充分借鉴和利用这一先进技术及理念必将推动公安行业信息化建设朝着高效、稳定、良性的方向发展。

二、互联网“云计算”平台的成功

随着互联网新技术的发展，以谷歌、亚马逊以及国的淘宝为代表互联网公司，在业界创造了惊人的业绩。

以淘宝为例：2010年淘宝网注册用户达到3.7亿，在线商品数达到8亿，最多的时候每天6000万人访问淘宝网，平均每分钟出售4.8万件商品；同时，以淘宝商城为代表的B2C业务交易额在2010年翻了4倍，是什么样的技术在支撑他们的业务快速扩，是什么架构在支撑他们分析处理每天产生的海量数据？这当然离不开淘宝云梯分布式计算平台架构的功劳。

以谷歌为例：Google存储着海量的资讯、几百亿个网页、数十亿图片，每天处理请求超过数百亿次，而响应时间却总是停留在1秒。是什么样系统能够支撑如此大的存储量和请求量？据了解，Google一直的目标就是构建高性能高伸缩性的基础组织来支持它们的“云计算”平台，这种平台并不需要大量昂贵的大型或巨型计算机，只是由100万台分布在全球不同地方的PC级别服务器搭建起来的系统，就是这样的系统架构完成了每天海量数据的处理。这些看起来便宜、不牢靠的PC级服务器，它们有机的集成却成为了全球最完善、最稳定的系统之一。在服务器采购方面，Google从未一次性大量购买，都是有了需求再选购，有效的节约了硬件成本。

以上两个成功案例可以看出，它们的能够持续健康发展，很重要的一个原因是他们把握住了新技术潮流，都拥有自己先进的“云计算”平台，其系统架构共同的特点是：系统架构都采用了分布式应用，不需要昂贵的硬件支持，但都具有高效的计算能力与强大的存储能力，以及复杂的业务处理能力，并通过简单可靠的方式对外提供服务。

当今世界是一个信息高速发展的时代，可以预见公安行业信息化发展在未来几年里，数据将以每年30%到50%的速度爆炸式增长；另外，因业务需要也要求延长数据的保留期；此外，从海量数据中分析有价值的信息，并进行分析统计，形成公安行业各种决策的依据；这些都要求一种全新的数据存储和数据处理方案。随之我们发现了一种新的趋势，可以解决公安行业的数据存储之痛，那就是与数据存储有关的各种云计算。

三、“云计算”在公安信息化中的应用

就目前公安信息化发展趋势，来论证公安行业信息化为何要建设自己的“云计算”平台以及如何构建“云计算”平台。

前面已分析，目前“大情报”系统的数据量越来越大，业务也越来越复杂，要求也越来越具体，现有的系统架构或将不能满足日益增长的需求，无法真正实现分布式应用，不能满足超大数据的汇聚与存储，无法支撑大量并发访问的复杂业务模型，多任务计算的能力有限，系统几乎没有服务共享的概念。但通过对互联网“云计算”平台分析可以得出，公安行业应用与互联网行业应用在技术层面的需求有着共同的地方，下一步的情报平台系统架构完全可以采纳互联网“云计算”技术来打造公安行业的“情报云”平台，借鉴云存储、云计算、云服务的思想，来解决公安行业系统架构所面临的问题。

1、云存储方面

在海量数据存储上，现有的情报平台的架构，数据基本上都采用集中式存储方式存储，数据汇聚难度大、甚至存在遗漏现象、实时性差、数据检索效率低。由于运算能力集中，导致数据库对硬件要求极高。数据存储的集中，也造成数据访问集中，这给数据库造成巨大压力，导致应用系统运行效率低下，由于容易出