城市智慧交通建设关键技术

智慧交通产品解决方案

关键技术

【面向城市交通】

公安交警视角创新智慧交通实践

目录

1.关键技术 (3)

1.1.交通大数据处理及应用技术 (3)

1.1.1.海量数据分布式存储技术 (4)

1.1.2.高可靠性分布式计算技术 (5)

1.1.3.内存数据库技术 (6)

1.1.4.Web服务器集群和负载均衡技术 (7)

1.1.5.数据分级存储 (7)

1.2.图像智能分析应用技术 (8)

1.3.支持多种载体的应用技术 (9)

1.4.系统通用集成框架技术 (10)

1.5.面向多源数据的交通管理GIS应用平台 (10)

1.6.多源交通数据融合技术 (12)

1.7.多源视频集成应用技术 (13)

1.8.支持多层次多元化协同指挥调度模式 (13)

1.9.基于可视化的方案预案推演技术 (15)

1.关键技术

1.1.交通大数据处理及应用技术

社会经济的快速发展促使城市机动车辆的数量大幅增加，城镇化的加速

打破了城市道路系统的均衡状态。当前各种交通信息采集技术（如微波、视频、环形感应线圈等）已被广泛地运用于城市、高速等交通路段或卡口，并

且这些交通信息采集系统每天都会产生海量的实时交通数据。实时交通数据

以数据流的形式记录着随时间变化的空间（位置、区域等）信息，具有大量、连续、不断变化和要求即时响应的特点。典型的包括：1）交通设备上报的各类实时数据：包括卡口通行车辆数据、交通流量数据、GPS警车及单警数据等；2）通信息服务者产生的互动数据：包括微信、微博、短信等途径交互的各类交通信息数据；3）系统运行的各类信息，包括状态数据、运行日志数据、操作日志数据。这些数据的特点也发生了较大的变化：

1）规模性

数据的规模从TB级别向PB，甚至ZB级别跃进；

2）多样性

除了传统的关系型数据，如视频、音频和图片等非关系型数据量也越来

越大；

3）高速性

大数据处理对时效性的要求非常的高，如布控车辆的比对需秒级响应；

4）价值性

需从这些海量数据中提取有效的信息，为交通管理者提供辅助决策支持。

在社会经济高速发展的今天，在数据为王的互联网时代，交通领域正面

临着异常严峻的挑战。传统的交通管理信息系统难以满足当前复杂的交通需求，如何通过大数据构建合理高效的城市交通管理体系已经成为交通管理者

当前迫切需要解决的关键问题。我公司依托Hadoop分布式存储系统，通过多年的实战应用积累，构架了一套基于交通的有效地实时采集、处理和分析的系统架构与实现方法，目前已在城市治安防控中发挥着日益重大的作用。

1.1.1.海量数据分布式存储技术

针对海量图片和非结构化数据存储需求，分布式存储系统采用Hadoop存储解决方案，实现图片和文本历史数据统一存储和高效管理。

1、Hadoop存储系统特色

实现了一个分布式文件系统（Hadoop Distributed File System，HDFS），容错性高，具备高速缓存集群能力，可进行分布式数据存储。

●高速缓存：具备百万级数据处理能力，毫秒级响应速度。

●关系数据库处理：具备千万级数据处理能力和秒级响应速度。

●分布式数据存储：具备海量数据存储能力，功能简单，响应速度秒级

到分钟级。

●高容错性：自动保存多个副本，自动将失败的任务重新分配，保证系

统可靠性。

●高扩展性：Hadoop是在可用的计算机集簇间分配数据并完成计算任

务的，这些集簇可以方便地扩展到数以千计的节点中。

2、技术架构

图1-1架构示意图

前端数据转发：前端设备采集基础数据，突破结构化文本信息，通过数据总线，并发写入到后端的分布式存储系统中。

Hadoop存储平台：接收前端数据转发的图片和文本，与业务平台对接，进行数据交换，同时将文件分块复制到多个存储模块中。

1.1.

2.高可靠性分布式计算技术

基于对系统的多用户、高并发、大数据、高性能的特点和要求，系统采用大量的分布式计算技术。分布式计算为了能极高效地发挥计算机的性能，采用低成本软硬件资源，把庞大的工程分割成适合小部件软硬件需要完成的模块，分配给不同的计算机进行处理，并把这些分别单独运算的计算结果整合起来起来，得到最终的结果。

Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小。它提供了具有有用差异的一个新的集群计算框架。首先，Spark是为集群计算中的特定类型的工作负载而设计，即那些在并行操作之间重用工作数据集（比如机器学习算法）的工作负载。为了优化这些类型的工作负载，Spark引进了内存集群计算的概念，可在内存集群计算中将数据集缓存在内存中，以缩短访问延迟。Spark 是基于map reduce算法实现的分布式计算，不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。Spark分布式计算的一些特点如下：

●效率更高：Spark的中间数据放到内存中，对于迭代运算效率更高。

●通用型好：Spark提供了比MapReduce更多的数据集操作类型，这些多种多样的数据集操作类型，给开发上层应用的用户提供了方便。各个处理节点之间的通信模型不再像是唯一的Data Shuffle一种模式。用户可以命名，物化，控制中间结果的存储、分区等。可以说编程模型更灵活。