隐高斯树的分层合成——一种基于信息论解决合成问题的方法

摘　要 文章基于高斯分布提出一种信息论的启发式合成方法：根据给定的联合密度，研究产生随机向量的机制，从而引出(隐)高斯树结构；依赖于已知的树结构，构造分层的连续的合成方案，达到使用足够数量的公共随机变量来合成希望密度的研究目的。

算法中所使用的公共随机源由树顶层的隐变量、独立可加性高斯噪声、以及表达变量之间模糊性的伯努利符号三部分组成。

文章所提出的方法不但可以揭示数据隐含的内部联系，而且适用于在机器学习领域中产生仿真数据。

关键词 信息论；隐高斯树；随机向量合成；公共信息；连续合成隐高斯树的分层合成——一种基于信息论解决合成问题的方法引言本文基于高斯分布，通过提出高效合成概念，研究“具有规定联合密度的随机向量产生机制”。

粗略地说，这种高效性可以通过寻找表达随机向量整体依赖性的、最紧凑的公共随机源实现。

如果我们能从随机变量样本提取出这些公共随机性，剩下的样本就是随机噪声。

本文所提出的方法不但可以揭示数据隐含的内部联系，而且适用于在机器学习领域中产生仿真数据。

最近的几篇使用相关度量来解决某些特定的检测和估计问题的论文[1-3]，便是旨在找到这样的公共随机源。

此外，由文献[4]、[5]表明，通过诸如变分自编码器(VAEs)和神经网络(Neural Networks)等机器学习工具及其信息瓶颈分析方法来学习随机系统中最紧凑的参数，可得到更好的泛化效果。

在本文中，我们的目标是提出一个直观可操作的配置方法来合成某些类型的联合密度。

总体思路是对统计数据中的隐藏公共随机性进行建模和模拟，然后依次加入独立噪声元素来模拟整体数据。

具体来说，可以通过将适当数量的随机比特输入随机信道来实现这一模型，其输出向量的经验统计在给定衡量标准下满足期望值。

本文的工作在数据合成领域中有广泛的应用：1)数据匿名化，例如可以保护包含了敏感个人信息的真实数据集的隐秘性和保密性[6]；2)数据集扩充，例如可以用于扩展训练特定机器学习算法的数据集[7]。

在这些用途中，数据的特定统计学特征被捕捉并被用于合成新的数据。

我们旨在为如下情况提供解决方案：由规定的输出统计数据引出一个(隐)高斯树，假定其联合分布为高斯分布，而且隐变量和观测变量的条件统计独立关系具有稀疏的树结构。

由于模型中出现的条件独立关系与协方差矩阵的逆矩阵中的零点直接对应，尤其是其稀疏的结构以及现有的拓扑学习的高效算法[8-9]，使高斯图模型受到广泛关注，并在社交网络、生物学、经济学中有不同的用途[10-11]。

2 相关工作要解决合成方案中的高效性问题，Han 和Verdu [12]Ali Moharrer 1 魏双庆1 骆 源2,31 路易斯安那州立大学 巴吞鲁日 708032 上海交通大学 上海 2002403 上海交大-中国联通-广视通达大数据联合实验室 上海 200240基金项目：政府间国际科技创新合作重点专项(2016YFE0100300) ； 美国国家科学基金(NSF 1320351)。

引入了给定信道可分解性的概念，该概念被定义为产生输出数据所需的最小随机性，并用合成密度和规定密度之间的总变分距离(Total Variation Distance)度量。

在文献[13]、[14]中，作者的目标是定义n 个相关随机变量的公共信息，以进一步解决这种问题。

虽然他们将以前的工作从双变量的情况推广到n 个随机变量，但是他们仍然采用与Wyner[15]一样的方案，即用单一源来定义这样的公共随机性。

这对我们的仿真方案来说是一种特殊的情况，其中所有的变量都通过一个公共变量相互关联，我们将这种结构定义为星型树。

在文献[16]中，作者将两个联合高斯向量之间的公共信息描述为奇异值的函数，其中奇异值与两个高斯随机向量之间的协方差矩阵有关，然而，他们仍然是将随机向量分成两组，这与Wyner 的论文[15]中的双变量情况类似。

3 系统模型以上介绍的相关研究仅仅考虑了两组随机向量，在本节中，我们提出一种新的合成方式，不再只考虑通过一个输入向量来合成数据，而是引入了代表相关系数符号信息的伯努利变量B作为另一种随机源，提高了合成效率。

在隐高斯树中，我们将处理两组变量。

X={X1,X2,…X n}表示高斯树上n个观测变量，其协方差矩阵∑X已给出。

向量集Y={Y1,Y2,…Y n}对我们来说是隐藏的，是需要被估计的。

值得注意的是，在使用∑X生成隐高斯树时，需要满足文献[11]中的某些条件。

已有一些文献，如文献[10]、[17]提出了高效的算法来推算高斯树的参数。

事实上，Choi等人提出了一种新的递归组合(RG)算法及其改进版本，即Chow-LiuRG(CLRG)算法，这种算法能恢复出一棵结构和风险与原先一致的高斯树，这支持了算法的正确性。

他们引入了树的度量，即两两相关值的绝对值的负对数，来运行算法。

在本文中，我们假设使用上述算法之一来获得隐高斯树的参数和结构信息。

在这种合成问题中，我们主要关注的是合成高斯树所需输入的公共随机比特数量的高效性。

这一高效性表征为定义适当的随机序列以及包含那些序列的随机容器(我们分别定义为随机码字和码本)。

我们用输入的码率来定义合成系统的复杂度，因为极小化这一码率会减少生成输出数据所需的公共随机比特位数。

为了让公共随机源尽可能紧凑，我们从统计数据中提取尽可能多的独立随机性。

特别的，由于隐高斯树具有固有的符号奇异性，我们认为这种不确定性可以进一步帮助我们降低高斯树的合成率。

为了阐明这一点，考虑下面的例子。

例1：考虑图1所示的高斯树，它由X1，X2，X3，X4四个观测变量组成，通过两个隐藏节点Y1(1)和Y2(1)互相连接。

定义ρ=E[X1Y1(1)]为输入Y1(1)和输出X1之间的相关值(边权)，类似地，定义其他相关值ρ，ρ，ρ。

定义符号B j(1)∈{-1,1}，j∈[1,2]作为第j个输入值对应的二元变量，我们将会看到它反映了两两相关值的符号信息。

对于图1展示的树，可以假设符号B j(1)=1对应ρ'=ρ，而B j(1)=-1对应ρ"=-ρ，其中ρ'，ρ"，i∈[1,2] or i∈[3,4]是使用某种推断算法，比如RG算法[10]所得到的相关值。

同样的，定义符号B12=B1(1)B2(1)。

容易看出恢复相关值推导出相同的协方差矩阵∑X，表明了在这个高斯树中的符号奇异点问题。

尤其是，对每个两两相关系数ρ，k＜ι∈[1,2,3,4]，如果x k，xι有相同的父节点，可以得到ρ=ρρ=(B j(1))2ρ ρ，其中第二个等式是因为不管符号值是多少，(B j(1))2等于1。

现在，根据符号B j(1)在{-1,1}中的取值，可以得到ρ=ρ' ρ'=ρ"ρ"。

并且，我们没有办法用目前所观察到的联合分布信息来区分这两种情况。

相似的，如果x k、xι连接不同的输入结点，则ρ=ρρ ρ=B1(1)B1(2)B12ρ ρ ρ，第二个等式成立是因为B12=B1(1)B1(2)。

同样的，无法仅根据输出的相关值恢复符号信息。

图1 一个以Y1(1)，Y1(2)为隐藏节点的简单高斯树这证明了这样的符号奇异点可以被视为另一种随机噪声源，它可以进一步帮助我们降低合成高斯树所需的码率。

事实上，我们可以将图1中的高斯树想象成一个通信信道，来自Y(1)=[Y1(1)，Y2(2)]的信息流通过四个信道，伴随独立的加性高斯噪声变量：，从而生成输出X：。

我们引入以为分布参数的二元伯努利符号随机变量，反映了两两相关系数的符号信息。

事实上，我们可以将输入到输出定义为以下的仿射变换。

其中描述相关性，也就是。

我们的目标是描述可达到/可实现的码率范围，并通过一个合成方案来生成密度为的所有高斯树，其中b(1)可取不同值，合成的混合密度与真实混合高斯树密度要求很难用总变分度量区分。

为了达到我们的目的，首先生成许多采样序列(码字)(Y(1))N和(B(1))N来形成码本。

码本的大小为2NR Y(1)和2NR B(1)，其中R Y(1)和R B(1)是码率，这和符号以及隐藏节点码字有关。

每一次生成输出序列时，我们首先任意的选择一个符号和隐藏节点码字，然后使用(1)中定义的合成信道来获得一个特定的输出序列X N。

我们的目的是通过生成序列的统计特性，即趋近于期望的统计数据，来形成码率的下界。

具体来说，我们定义下界为，其中是输出X之间的互信息量。

这对应于在高斯树假设下求解最小可达速率。

等价的，我们寻找的最优值来最大化由R Y(1)和R B(1)描述的可达速率范围。

为了阐明这种分层设计是如何影响统计数据的模拟的，考虑下面这个例子。

例2：在这个例子中，我们只证明这种分层方法确实能够生成目标高斯密度的样本。

因此，为了简单起见，我们不考虑例子中的符号变量。

高斯树此时具有如图2所示的叉形结构。

图 2 以Y1(1)为隐藏节点的简单高斯树这是一个有高斯源Y(1)和B(1)符号输入并以向量X=[X1,X2,X3]为输出的隐星形拓扑结构，可以按照下式建模。

方便起见，我们将符号变量设为B(1)=1。

假设协方差矩阵∑x已给出，其对角线上值为，，非对角线上的值都相等且为，，文献[18]证明了在这种情况下系数αi可以被唯一确定，在这噪声方差都被确粗略地说，我们首先生成一个样本Y i和另一个随机加性噪声样本Z i，根据(2)得到。

前文指出当速率时可达，这里互信息可以通过[19]，其中|.|表示行列式，在本例中，。

正如我们讨论的，随着维度N的增加，样本数量指数增加并接近目标高斯密度，文献[20]也证明了这一点，码本尺寸以速率增加。

例1和例2展示了我们合成方法的总体思路。

在这里，我们给出隐高斯树在一般情况下的严格问题描述和操作设置。

1)使用总相关度量而不是KL散度来显示收敛性。

2)定义了回溯技术来合成整个混合高斯树而不仅仅是观测向量X。

特别的，我们想要强调多变量合成概念，定义一个具有一定依赖性结构的随机向量Y来表征公共随机性并生成公共随机位，而不是仅仅引入一个变量Y。

我们提供了一种分层合成算法，配以相应的可达区域，来合成能够导出高斯树的分布。

在文献[17]中这样的情况一般使用受约束的凸优化问题来定义，文献[3]证明了这种一般化假设的好处。

事实上，针对盲源分离问题，Steeg 等人使用了一种基于多层公共变量的新方法，并证明了他们提出的方法优于之前的算法。

与文献[3]、[17]类似，我们也考虑了多变量情况，但不同的是，我们所感兴趣的是表征可实现的速率，从而合成满足特定类别的隐高斯分布，即隐高斯树。

值得指出的是，本文的结果在假定的结构化合成框架下给出。

因此，虽然我们通过定义一个最优化问题，证明了提出的方法在建模和码率上都是高效的，但我们并没有反过来对该方案和速率区域的最优性进行讨论。