基于云技术的城市海量浮动车数据处理分析

基于云技术的城市海量浮动车数据处理分析

Massive urban floating car data analysis

using cloud technologies

张彤

李清泉 余洋 Tong Zhang

武汉大学 Wuhan University Qingquan Li Yang Yu 武汉大学 武汉大学

Wuhan University Wuhan University

摘要

当前各种地理数据采集技术的飞速发展使得研究数据密集型(data-intensive)地理计算变得越来越重要。装载全球卫星定位系统的城市机动车辆，即浮动车(floating car)可以实时收集大量城市路况信息。 海量浮动车数据，如果能够及时处理与分析， 可为监控城市大范围道路交通状态和交通智能管理提供高时空覆盖的基础信息。 然而现有的网络地理信息服务架构和技术不能满足城市海量浮动车及时处理与分析的应用需求。 本文基于城市海量浮动车数据的组织、处理、管理与计算等方面的需求， 提出了云计算环境下地理数据密集型计算的新架构。文章从基于Bigtable 的非关系数据库技术出发，研究海量浮动车数据的存储、分布式管理和索引， 从MapReduce 技术出发， 研究浮动车数据实时地图匹配和路段平均速度计算，分析在城市交通地理信息系统中应用云技术的优缺点。 通过Amazon Elastic Compute Cloud (EC2)云计算环境进行的数据查询、地图匹配和交通参数计算等实验初步证明了新架构的有效性。

Abstract

Data-intensive geocomputation gains importance with the rapid development of various geospatial data collection techniques. Floating cars, which are equipped with global positioning systems, can collect a large amount of traffic data in real-time. Massive floating car data (FCD), if processed and analyzed responsively, can offer valuable basic information for urban traffic monitoring and surveillance with high spatio-temporal coverage. However, current Internet geographic information services cannot accommodate the needs of FCD analysis. This paper, in response to the requirements of massive FCD storage, processing, management and computation, proposes a new architecture of data-intensive geocomputation under cloud environments. We study distributed storage, management and indexing techniques of massive FCD using Bigtable and investigate real-time map matching and speed computation with MapReduce.

The pros and cons of using cloud technologies in the context of GIS-T (geographic information systems for transportation) are discussed. The effectiveness of the new architecture is demonstrated via preliminary experiments of data query, map matching and speed computation using Amazon Elastic Compute Cloud (EC2).

關鍵詞：云技术、浮动车、Bigtable、MapReduce

Keywords: cloud technologies, FCD, Bigtable, MapReduce

發表人：张彤是否具學生身份：□是▓否

聯絡人：张彤

電話：86-139********

E-m ail：g eogrid@

地址：武汉市珞瑜路129号武汉大学信息学部

导言

各种地理信息采集技术，如遥感卫星、全球定位系统、数字制图等，使得收集和存储海量地理数据变得日益简单。如何从这些海量数据中提取人们进行决策的重要信息，特别是在这些数据往往来源多样的情况下，成为许多地理应用的重大难题。在数据富余的环境中，数据密集型(data-intensive)的计算是解决海量数据快速高效处理分析的基础技术。与传统的计算密集型的应用不同，数据密集型应用的主要挑战不在于计算模型的复杂，而在于其巨大数据量导致的处理分析难题。数据密集型的计算需要研发易于扩展的软硬件综合解决方案，从而提高海量数据存储、处理、分析和分发的能力(Gorton等2008)。对于城市交通领域来说，随着智能交通系统的广泛部署，各种交通数据也在以为前所未有的速度被采集、存储起来，为交通管理部门和市民出行提供决策参考。这些动态交通数据往往也带有地理属性，如装载全球定位系统的浮动车可实时传输其位置坐标等数据。为了支持高级交通管理系统(advanced traffic management systems –ATMSs)和高级出行者信息系统(advanced traveler information systems – ATISs)的成功应用和性能评估，需要对收集到的各种交通数据进行及时处理和分析，提供实时的交通信息服务。浮动车数据作为一种典型的交通地理信息来源，可用于城市交通状态的监控，提供实时交通路况信息，并与其他交通数据融合，为公众出行和交通管理提供高级决策支持(Shi 和Liu 2009)。当大量的浮动车同时采集和传输实时位置、速度等信息到监控中心，如何快速高效处理这些原始浮动车数据并提取交通参数，成为一个典型的地理数据密集型的计算应用问题。以武汉市为例，超过11,000运营出租车每隔40秒发送一次位置信息，这些实时信息，加以及时处理和分析，可提供覆盖全市城区的交通路况信息。浮动车原始数据需要通过一系列的数据处理工作(地图