讲堂郑宇：多源数据融合与时空数据挖掘(上)

讲堂郑宇：多源数据融合与时空数据挖掘（上）本文根据郑宇博士在中国人工智能学会AIDL第二期人工智能前沿讲习班所作报告《多源数据融合与时空数据》编辑整理而来，在未改变原意的基础上略作了删减。

本文转载自“AI科技评论”，转载已获得授权。

谢谢介绍，谢谢邀请！大家经常听到的机器学习、人工智能这些概念，大部分应用案例都是在图形图像以及自然语言处理方面，在城市里跟我们生活比较接近的，特别是应用在时空数据的例子比较少。

现在我就用城市大数据为例子，来说明一下机器学习如何应用于时空数据领域。

大家都知道我们现在生活越来越现代化，但是问题越来越多：交通拥堵、环境恶化、能耗增加。

要解决这些问题在很多年前看似几乎不可能，因为城市设置非常复杂，环环相扣，牵一发而动全身，现在由于有了各种传感器技术的成熟和云计算单元的成熟，使得我们有各种各样的大数据，从社交媒体到交通流量，从气象条件到地理信息，如果使用得当的话，我们就能够用这些数据来发现城市面临的问题，并进一步通过组合这些数据来解决我们面临的挑战。

基于这样的机遇和挑战，我们在2008年就提出了城市计算这样一个愿景，包括以下四个层面：从下往上（下图）有城市感知数据获取，城市数据的管理，城市数据的分析和挖掘到最后服务的提供。

虽然我们今天主题是叫机器学习，但是我想你们肯定想，机器学习到底能解决什么城市问题。

在机器学习真正落地的过程中，可能还要依托于其他的平台甚至于其他的学科，包括数据管理。

我就成体系地讲讲到底机器学习算法怎么改变我们生活中的方方面面。

从最下面的层面来看，城市数据感知这部分，其实每个层面都发现我们都需要用机器学习的方法来做一些事情，这个层面是概念上划分的，实际说是互相有交集的。

城市数据获取我们看城市数据的获取，获取方式主要有两种：●第一种，以传统传感器为感知的方法●第二种，以人为中心的感知方法第一个，以传统传感器的感知方法进一步可以分成两个子类，要么把传感器放在一些固定的地方，要么把传感器装在一些移动的物体上面，比如说在公交车、出租车上装传感器，但是不管哪一种，一旦装完之后人就不参与了，这个数据自动传到我们后台。

另外一个，以人为中心的感知，这是比较新的概念，也叫群体感知，这里面也分成两个方面，一个叫做被动式群体感知，一个叫主动式群体感知。

被动式群体感知，每天每个人都在参与，我们并不知道我们打电话的时候，我们的数据可以拿去改进通话网络的质量；我们并不知道我们公交车上下车刷卡的时候，这个数据可以帮助优化我们的公交线路，改进城市规划。

把每个人的数据收集在一起，感知城市的变化，最后解决问题，这叫做被动式群体感知。

主动式群体感知就是，任务是什么很明确，什么时间、什么地点、干什么事情、共享用什么数据，这个数据拿来干什么用都很清楚，甚至还有激励机制，你可以选择什么时候加入或不加入。

这是目前城市数据来源的四种方式。

城市感知之后我们会遇到什么样的难点呢，特别是跟机器学习有什么相关性，我总结了四个方面的难点，跟机器学习相关的难点。

●第一，我们在城市数据感知的时候，往往拿到的是采样数据，不是全集。

假设整个城市数据是灰色的点，我们可能只拿到红色的这一部分，某些属性在这些采样数据上分布跟在全集数据上的分布很不一样。

举个实例，比如可以拿到出租车的GPS轨迹（数据），我们知道出租车只是整个城市里面车流的一小部分，出租车的分布跟我们私家车的分布可能很不一样，有的地方可能很多出租车，但是没有那么多私家车，反过来，可能有的地方很多私家车，却没有什么出租车。

所以你不能说简单看到几个出租车，乘一个系数就推断有多少私家车，这个就是偏斜的分布问题，不管哪个场景里，发现我们拿到的都是采样，如何从这些采样数据里面把全集的知识推断出来，比如说怎么把整个城市里面所有车的车流量实时推断出来，这就是对应的难点。

这个地方有相应的论文，如果你对这个问题感兴趣的话，类似的问题可以从这些论文里找到相关的技术，我先把它概述一下，这是第一个难点。

●第二，Data Sparsity，我们的传感器往往是很少的举个例子，我们北京市空气质量分析。

北京市我们建了35个空气质量站点，你知道北京那么大，光靠这35个空气质量站点，怎么把整个北京市每个角落的空气质量都能够感知到呢，这是一个数据稀疏的问题，这里面要用到一些机器学习的方法来做。

●第三，Data Missing的问题这个问题可能很多人认为跟Data Sparsity是同一个问题，其实不是同一个问题.。

Data Sparsity是采样点很少，Data Missing是说本来就应该有个点，可是因为传感器出现故障，导致这个小时的数据会丢失。

Data Missing是一个雪上加霜的问题，不是同一个问题，一个是说传感器少，一个说我本来有传感器可能还会丢，怎么去把这个丢失的数据填满，这可能是很多问题需要做的预处理的第一步，后面学习的时候就要填，怎么填一下等下我来讲。

Data Sparsity、Data Missing，这是第二和第三大挑战。

●第四，资源有限如何用有限的资源做更多的事情，采更多的数据，如何利用限的资源获得更大的感知效果，这是非常困难的。

为什么困难？两个原因，第一，我们有很多候选集可以选，从很大的数据集里面选一部分数据的时候，往往是一个NP的问题。

比如，我们城市那么大，每个路口都可以布充电桩或者加油站，而我只有钱布2到3个充电桩，我应该放在什么位置，使得效果最大化。

这就是一个maximum coverage的问题。

还有一个原因会导致问题更难，即我们根本不知道Ground Truth。

假设北京已经有两个空气质量监测站点，我们还要建4个，我们要放在什么地方使得空气质量感知最大化，你没有建站点之前不知道这个空气质量多少，根本不知道什么叫好、什么叫坏，这是难点，里面都有相关的论文去解决这样的问题。

现在讲完城市感知的一些挑战和采集的方法之后，我们来看一个比较真实的例子。

先看一个偏应用的，再看一个偏理论的。

先看比较偏应用的。

我们都知道120系统，病人打电话到急救中心，急救中心会从救护车站派车把人送到医院，再返回到救护车站。

救护车站并不都在医院，有很多原因。

●第一，救护车运营系统和医院其实是两个不同的系统；●第二，很多时候我们必须要把救护车放在某个地方（不是在医院），要保证对任何一个呼救，救护车能在规定的时间内能够到达抢救地点。

如果车都放到医院里面，必然有的地方就会太远，使得救护车不能在规定时间内到达，抢救病人。

下图是天津市的一个救护车站站点的分布图。

以前站点的选址，可以说基本上是拍脑袋决定，比如根据一个地方大概的总人口数、路网密度来布置站点。

大家知道120的需求量跟人口数并不一定成比例，还跟人的身体健康状况、年龄结构有关。

现在我们有了真实的120求救数据，我们知道什么时间、什么地方，有多少人求救。

以及救护车在急救过程中他们的GPS轨迹、花了多少时间，通过我们的方法、算法重新对站点的位置选址和布局，使得救护车救这么多病人平均抢救时间最小化。

通过我们的算法重新选址后，我们能够把抢救时间缩短30%。

比如，以前救100个病人假设花100个小时，现在只需要花70个小时，还是那么多车、还是那么多站点，我们却能更快地把病人送到医院。

把时间节约下来留在在手术室抢救病人的生命，这是人命关天的事情，是资源调度优化的问题。

这个站点如何部署就很有讲究了，你放的好和不好就会有很大的区别。

第一步放完站点之后，第二步，这个站点里面的车的数量不是固定的，有的地方早上需求量较大，有的地方晚上需求量较大，不能说车从早到晚一直放在某个站点，浪费了。

这个车在站点之间如何动态调配，使得我们的资源最大化，这是问题。

这是我们解决这个问题里边两个研究的点，这两个技术分别干什么事情，第一个是选站点，第二个是资源在站点之间的调配。

你可以想象这是一类通用的问题。

找出一个点，使得很多人到这个点的平均时间最短化。

通俗的例子，比如我们10个同学聚会，选择哪个地方聚会，使得大家去的平均时间最短，这就是一个例子。

我们救护车站、火警，凡是时间因素非常关键的选址都可选用这类模式。

第二个，偏理论的例子。

我刚才说数据会缺失，要填补，怎么填补？这是一个非常基础的问题，几乎我们做所有的机器学习的人在第一步拿出数据的时候会发现，这个数据质量不好，有一些缺失。

可能传感器坏了，或者数据没传过来。

我们拿的很多数据都是有缺的，气象数据有缺的，空气质量有缺的，甚至包括车联网里面数据很多都是会出现残缺的，怎么填？这是一个很重要的问题。

我们怎么做呢？我们基本上就是利用缺失点时序以及空间邻居的数据，一起来把这个数据填满，而不是仅仅只看自己的时间临近值。

至于怎么用、怎么填是有讲究的，是用前一小时的数据还是用周边的数据，这个其实是比较难决策的过程。

这个问题有几个难点，为什么很难？●第一，我们并不知道什么时候、什么地方数据缺，缺的是随机的，不是固定的，导致我们很多机器学习模型不能用。

因为我们知道机器学习的输入，一定是有输入的特征、维度，各种维度是固定的，如果你不知道哪个地方会缺、哪个地方会有，你的目标在哪里都不知道，所以很难用一个很好的固定模型来做。

甚至有时候会出现整体缺失，比如说6个小时断电了，所有传感器没有了，或者某一个传感器连续5、6个小时都没有数据，怎么办，这是一个难点，把缺失的数据填完是很难的。

●第二，我们往往觉得用临近的差值就好了，但是临近差值并不一定就对，在很多应用场景里，特别是我们城市环境里面很多应用是不对的。

用空气质量站点为例子，你们看这几个站点里面，这两个站点更近一点，这个站点更远一点，按理来讲空气质量缺失的是用近的代替更好一点，但实际发现，虽然这个站点距离近，但是这个站点是在森林里面，而两外两个站点都在商业区，商业区的空气质量更像，随着这两个商业区的位置比较远。

因此，并不是越近的越像，还要看这些位置所处的环境，这会打破常规规律。

时间上也是一样的，当然在平稳的时候，是越接近的时刻空气质量越像，比如，这一个小时可能跟未来一个小时的空气质量接近。

当遇到大风、极端天气，出现陡降的时候，下一个小时的值可能骤降，还不如找更远的时间的空气质量还替代此刻的缺失值。

时空临近不一定都是对的，可能大部分都是对的，但不一定都对。

我们用几个方法来解决这个问题：●第一，从时、空两个角度来解决空间角度，就是可以用周边的站点数据。

简单来说，把这个数据放在矩阵里面，每一行是传感器，每一列就是时间点，每个值就是这个传感器在这个时间点的读数，这个叉的就是缺的地方。

这个缺的时候用周边的填，相当于用行间的关系把它填了。

时间角度，根据一个传感器自己的值，就是说前后的值、左右的值来填它，这个传感器前后时间值就对应这个矩阵里面左右行的值。

●第二，从局部、全局两个角度来解决局部，是用最近的数据来填，假设我把最近的数据形成一个小的矩阵，我们通过矩阵的关系来推断这个数值。