分布式变分贝叶斯算法及其应用

分布式变分贝叶斯算法及其应用

随着现代通信技术、嵌入式系统、分布式计算系统的蓬勃发展,传感器网络上的分布式信息处理受到了越来越广泛的关注。为实现传感器网络上更加可靠更加鲁棒的信息处理,完全去中心化的分布式处理机制逐渐被提出。

在本文,我们考虑网络中的各节点使用自身采集的数据进行局部计算,并且与邻居节点进行少量的信息交换,从而实现完全去中心化的分布式信息处理。在当前的分布式信息处理的算法研究中,数据建模主要分为两种模式:频率建模和贝叶斯建模。

基于频率建模的分布式算法已被广泛研究,而基于贝叶斯建模的分布式算法则相对较少。一方面是由于贝叶斯模型本身相较于非贝叶斯模型会更复杂,研究的难度更高;另一方面是由于贝叶斯模型中的参数估计和推断问题往往是非常困难的。

虽然存在困难,但贝叶斯建模具有许多优点。首先,贝叶斯方法基于概率论能够对模型结构、参数和数据噪声的不确定性进行建模。

其次,通过贝叶斯法则我们能够推断未知参数、调整模型、从数据中学习并作出预测。关于分布式贝叶斯学习的研究具有很高的学术和应用价值。

然而在贝叶斯学习中,后验概率的计算通常存在困难。一种经典且广泛使用的近似方法是变分贝叶斯。

本文针对网络上的贝叶斯学习问题,系统地研究了分布式变分贝叶斯算法及其在联合稀疏信号恢复、鲁棒卡尔曼滤波和扩展目标跟踪问题中的应用。具体地,针对贝叶斯框架下的分布式推断/估计问题,本文提出了两种通用的分布式变分贝叶斯算法,可适用于一大类共轭指数族模型。

我们基于概率空间的黎曼几何,将关于概率分布的优化问题转化关于自然参数向量的优化问题。然后基于随机自然梯度和扩散策略,以及基于交替方向乘子法(ADMM),分别对优化问题进行求解。

我们将这两种算法应用于贝叶斯高斯混合模型的分布式推断/估计问题中。仿真结果表明,本文提出的分布式算法具有与相对应的集中式算法相接近的性能。

针对分布式联合稀疏信号恢复问题,本文提出了一种基于量化通信的联合稀疏贝叶斯学习算法。在以往的工作中,一般假设节点间的传输数据是实值的并且具有无限精度。

但实际情况下,由于传感器网络具有有限的通信带宽和信道容量,对传输数

据进行数字量化不可避免。本文考虑传输数据是被量化的。

我们建立了一个完全层次联合稀疏贝叶斯学习模型,并提出一个新的分布式变分贝叶斯算法,其节点间仅交换量化数据。我们从理论上分析了该量化分布式算法的收敛性。

仿真实验表明,量化分布式算法甚至比相对应的非量化分布式算法和集中式算法具有更好的信号恢复性能。针对分布式卡尔曼滤波问题,本文考虑了过程和量测噪声的协方差都是未知的情况,提出了一种分布式且在线的鲁棒卡尔曼滤波算法。

我们引入了一个改进的状态空间模型并提出了相应的贝叶斯模型。该模型能够处理野值和重尾噪声,并且能提高卡尔曼滤波器的鲁棒性。

使用此模型,我们通过变分贝叶斯方法推导了集中式的鲁棒卡尔曼滤波。然后使用ADMM方法将其扩展到分布式场景下。

仿真实验表明,当测量数据或目标状态存在野值时,该分布式鲁棒卡尔曼滤

波算法比标准的卡尔曼滤波算法性能好得多。针对目标跟踪问题,传统的方法一般假设目标是一个点目标。

在本文,我们考虑目标是具有一定空间结构的物体,其不仅包括运动状态还包括物体的轮廓。针对传感器网络中的扩展目标跟踪问题,我们提出一种分布式贝叶斯模型。

基于该模型,我们先通过变分贝叶斯方法推导了一个集中式的扩展目标跟踪算法,然后基于ADMM提出了相应的分布式算法。该算法能够同时估计扩展目标状态(运动状态和轮廓)以及量测噪声协方差。

最后,仿真实验表明,该算法在扩展目标跟踪和群目标跟踪两个场景下都有上佳的性能表现。