交通领域大数据调研报告
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
大数据应用交通领域大数据分析报告
前言
衣食住行是人们生活的根本需求,地图导航类应用正是从人们的出行需求出发,到目前已经从简单的工具发展为基于地理位置提供全方位的服务。整体移动地图市场发展成熟,格局稳定,百度地图与高德地图各自以超过30%的市场占有率稳占两大霸主之位。共享单车的火爆又为地图类应用提供了新的应用场景,2017年两大地图也分别接入共享单车。同时人工智能与AR等新技术的应用使得地图应用朝着更智能,更丰富的方面发展。
行业需求方面,定位导航是人们日常的重要需求。2018年数据显示地图类app 排行中百度地图、高德地图位居一二,分别达29389.76万人、29280.76万人。每5个移动网民中会有3个装有地图服务app。用户规模达6亿。在整体移动应用领域有较大的用户群且相对稳定。
2017年5月,高德地图与城市共建智慧交通,公安部交通管理科学研究所和高德地图签署了战略合协议。双方推进全国交通管理大数据与业务管理的深度融合,对接数据资源,应用大数据分析技术,研究交通路况大数据分析算法,掌握全国主干道路路况规律,研究预测全国主干道路路网的路况。
什么是大数据?
“大数据”这个术语最早期可以追溯到apache org的开源项目Nutch。当时,大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和GoogleFile System(GFS)的发布,大数据不再仅用来描述大量的数据,还涵盖了处理数据的速度。总的来说,“大数据”主要有四个特征:
1.数据体量巨大,从T B级别跃升到PB级别。
2.数据类型繁多,包括网络日志、视频、图片、地理位置信息等各种类型数据。
3.价值密度低,商业价值高。以视频为例,连续不间断监控过程中,可能有用
的数据仅仅有一两秒。
4.处理速度快,遵循“1秒定律”,即可从各种类型的数据中快速获得高价值的
信息,这与传统的数据挖掘技术不同。
概括起来即:volume(容量)、variety(种类)、value(价值)、velocity(速度)。
分类
按其应用类型,可将大数据分为海量交易数据(企业OLTP应用)、海量交互数据(社网、传感器、GPS、Web信息)和海量处理数据(企业OLAP应用)这3 类。
海量交易数据的应用特点是多为简单的读写操作,访问频繁,数据增长快,一次交易的数据量不大,但要求支持事务特性。其数据的特点是完整性好、实效性强,有强一致性要求。
海量处理数据的应用特点是面向海量数据分析,操作复杂,往往涉及多次迭代完成,追求数据分析的高效率,但不要求支持事务特性,典型的是采用并行与分布处理框架实现。其数据的典型特点是同构性(如关系数据或文本数据或列模式数据)和较好的稳定性(不存在频繁的写操作)。
海量交互数据的应用特点是实时交互性强,但不要求支持事务特性。其数据的典型特点是结构异构、不完备、数据增长快,不要求具有强一致性。
在交通方面的大数据来源:
1.物流和运输公司。路由规划,通过路由规划减少物流成本即社会物流总费用,
进一步提高时效。18年社会物流总费用达到了13.3万亿元。(2019双十一,国家邮政局数字显示,全国快递行业邮递件业务量将达28亿件)我国物流企业的信息化建设起步较晚,目前只有40%的物流供给企业拥有物流信息系统,信息化程度较低, 目前距离物流信息化的目标还有很大距离,无
法满足市场需求。随着我国物流市场急速发展,物流信息化相继步入快速发展
阶段。
2.公交一卡通。交通局通过数据实时分析一方面可以控制公交车和地铁的发车
班次和时间,减少空车率,疏导客流缓解城市道路压力;另一方面也可以进行线路优化。
3.GPS定位。《道路运输车辆动态监督管理办法》将于今年实施,其中最大亮
点就是将所有运输车辆都与GPS卫星连接,国家可以实时监控车辆运行路线。
4.车联网(Internet of Vehicles)。比如通过分析公交车上GPS定位系统每
天的位置和时间数据,结合时刻表预测出每一辆公交车的到站时间。目前厂商们所推崇的车联网和可穿戴设备一样,都是将物联网与手机APP相结合。
5.路网监控。目前国家在道路监控上的投入很大,监控摄像头数量每年增加20%。
6.电子地图导航应用。将用户出行数据进行分析,从而可以预测不同城市之间
的人口迁移情况,或者某个城市内群体出行的态势。例如春运期间的交通调整。
大数据解决交通问题的流程
1、收集数据和输入数据:这些数据包括静态数据和动态数据,前者指道路环境、车辆信息等长时间不会改变的数据,这类数据通过线圈(类似于磁性检测器)和摄像机(交通视频)进行搜索;后者指在交通运行中而产生的实施数据(如车辆行驶速度),这类数据通过GPS全球定位技术、收集网络信号来搜
索。
2、交换和处理数据:数据中心对实时交通流数据进行提取,同时规定统一的
数据格式,从而促进数据交换中心之间对数据进行交换和处理。
3、储存和收集数据:通过基于云计算的云存储来对数据进行存储,将大数据
集成起来
4、管理和使用数据:控制中心将这些大数据在电脑地图上以不同色彩来展
现,分别以不同颜色注明各个路段的拥堵情况。
相比于其他城市规划管理领域,城市交通相关的细粒度精细化数据较多也较丰富,所以大数据、数据挖掘在交通领域的应用也较广。
一、数据来源与分类
除了已经提到的大数据来源,还包括停车管理数据、牌照识别数据等交通领域数
据及POI数据1、手机信令数据等相关领域数据,我们可以进一步归类:
单次观测数据:如浮动车2GPS数据、道路卡口数据、停车管理数据等;
连续观测数据:手机信令数据、LBS(Location-based service)数据(如我们使用微信、百度时留下的位置数据)、道路路况数据(如高德、百度等公司发布的拥堵指数)、公交刷卡数据、牌照识别数据等;
基础数据:POI(Point of Interest)数据(如大众点评上的商家数据)、企业工商管理数据、房屋价格数据等;
(以上的“单次观测”和“连续观测”,是基于对个体出行(或交通设施)观测的角度进行区分的。有些数据在不同语境下所属的类别不同,比如浮动车GPS数据,对于个体出行而言是“单次观测”,而对于出租车运营而言则是连续观测)。
二、为什么要用大数据分析城市交通
这些数据的好处主要在于:
细粒度:这里包括数据对象的细粒度、时间的细粒度和空间的细粒度。首先是数据对象,大数据往往描述的是“某个人、某条路、某辆出租车/公交车、某家餐馆”等,而不是“某个区”、“某群人”、“某种交通方式”。而数据对象的细粒度往往伴随着空间的细粒度,很多数据都是用经纬度表示空间位置的,而不是之前的“市/区/街道”等。至于时间的细粒度,可以参加下面的更新速度;
更新快:拿城市交通综合调查举例子,可能五六年才一次。人口普查基本上是十年一次,经济普查大概五年一次。但与这些数据相比,大数据则更新速度很快,
1POI是“Point of Interest”的缩写,中文可以翻译为“兴趣点”。在地理信息系统中,一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等。
2浮动车一般是指安装了车载GPS定位装置并行驶在城市主干道上的公交汽车和出租车。根据装备车载全球定位系统的浮动车在其行驶过程中定期记录的车辆位置,方向和速度信息,应用地图匹配、路径推测等相关的计算模型和算法进行处理,使浮动车位置数据和城市道路在时间和空间上关联起来,最终得到浮动车所经过道路的车辆行驶速度以及道路的行车旅行时间等交通拥堵信息。