文献翻译-变分贝叶斯独立分量分析

(本科毕业设计论文)毕业设计（论文）外文资料翻译作者：学科专业：学号：班级：指导老师：2014年6月变分贝叶斯独立分量分析摘要信号的盲分离通过info-max 算法在潜变量模型中被视为最大似然学习潜变量模型。

在本文我们提出一个变换方法最大似然学习这些模型,即贝叶斯推理。

它已经被证明可以应用贝叶斯推理来确定在主成分分析模型潜在的维度。

在本文我们为去除在独立分量分析模型中不必要的来源维度获得类似的方法。

我们给一个玩具数据集和一些人为的混合图像提出结果。

1.引言独立分量分析的目的是为一个基于概率性的独立原件找到一个表示法。

实现这样的表示方法是给潜变量是独立约束的潜变量模型拟合一个数据。

我们假设一个,有潜在的尺寸W ,观察到的尺寸P 和我们的数据集包含样本n 的模型M 。

在ICA 方法中通常把潜在的维度称为“来源”。

因此我们为独立生成潜在变量X 寻找模型表示，我们将任何给定的数据点n 带入∏==Iiin n x p x p 1)()( 假设高斯噪声,观察到的变量的每个实例化的概率,带入)2exp(2),,,(2μβπβμβ--=n x n n n W t W x t p 其中W 是PXI 矩阵的参数,B 代表了一种逆噪声方差和u 是一个向量的方法。

1.1源分布众所周知在独立分量分析,潜在分布的选择是很重要的。

特别说明它必须是非高斯。

非高斯源分布可以分成两类,那些积极的峰度或“沉重的尾巴”和那些消极的峰度或“光明的尾巴”。

前者被称为超高斯分布，后者是亚高斯。

如果我们真正的源分布属于这两个中的任何一个类我们可以尝试分开。

对于我们的ICA 模型,我们遵循•(1998)选择超高斯或者是亚高斯灵活的源分布。

的运算结果的模型应用于两个可能发生的事。

阿蒂亚斯选择了每个因素的混合物M 高斯模型()∏∑==⎥⎦⎤⎢⎣⎡=Ii m m ni Mm m n m xx Np 121,)(σπ }{m π是混合系数和每个组件是由一个意思毫米和方差q2m 。

阿蒂亚斯提到作为独立的因子分析模型。

我们可能现在写下一个可能性,是一个函数的参数W,β,μ()()()⎰∏==x x x t nnnnNn d p W p W p μβμβ,,,,,t 1这个功能现在可以最大化的参数来确定独立的组件。

传统的优化执行限制作为B 倾向于零。

这种方法由贝尔和介绍了盲源分离作为信息最大化算法。

与最大的关系可能是由不同的作者包括卡多佐指出(1997)和麦(1996)。

2.ICA 的贝叶斯形式主义在本文中我们提出，按照推断模型的参数化的贝叶斯方法，而不是通过最大似然学习的参数。

这要求我们把先验对模型参数。

我们的目标是如何通过一个特定的选择我们的先验分布的显示P(W)我们可能自动判断哪些已经产生了数据源的数量。

我们是主教的贝叶斯PCA （1999年），它的目的是确定在启发我们的方法主要子空间的自动维数。

我们选择将噪音精密β，与以前的马,()()b ββαββ，gam p =这里我们定义伽玛分布()()()τττb a b a a ab -Γ=-exp ,gam 1对于混合矩阵W ,我们认为高斯之前。

特别是每一个的相关性输入可通过使用自动相关性确定（ARD ）来确定前（尼尔，1996；麦凯，1995年）()()∏∏==-=I i Pp i ip N W p 111,0αωα其中前是由超参数向量管辖，α，长度I 。

参数随着网络的每个输入相关联的向量的一个元素的管辖其决定了它的“相关性”。

该超参数α可以通过分层贝叶斯框架来推断。

我们因此，把伽玛分布的超高斯通过这些参数，∏=⎪⎭⎫ ⎝⎛=Ii i b a i i gam p 1)(αααα最后，我们将一个高斯比之前的手段其()()∏==Pp pNp 1,0τμμ中T 的代表事先的逆差额。

现在我们可以定义我们的模型可能性。

()()()()⎰=αβW p x p x W t p M t p ,,3.变分法在贝叶斯推理，我们的目标是后验分布为参数。

积分在等式10中所示的类型是重要的这一过程。

不幸的是，贝叶斯ICA 正如我们所描述的那样，这个积分是棘手的，我们必须寻找到近似取得进展。

我们选择采取变分法（约旦等，1998；劳伦斯，2000）。

变分方法涉及开发一个近似值，q(н),鉴于观察到的变量ν。

变推断可以提供严格的下界边缘化数似然的形式，()()()()⎰⎰≥dH H q V H p H q dH V H p ln,ln这个结合的和真实的边缘似然之间的差可以被证明,是真正的后验分布之间的距离（KL ）散度近似。

()()()()⎰⎰≥dH H q V H p H q dH V H p ln,ln如果我们利用一个无限制的近似q(н)，并执行自由形式的马克西-结合11利润最大化，我们会收回q(н）=p （н/ν）和绑定将成为精确。

这种方法是一种期望最大化算法的期望步骤。

然而，在我们的模型中，如果这样的选择被提出，不会很容易被解决。

相反，通过将限制近似分布的形式，我们希望能尽量减少对KL -分歧的实现。

变分的选择q 分布是很重要的我们寻求一个选择是足够简单，让我们的计算死板，但其中给出了足够的灵活性，以使绑定（11）。

有各种各样的方法来确定一个有用的近似值。

拉帕莱宁（1999），例如，施加于他的变分派特定的参数设置功能表，然后最小化KL 散度梯度它们的参数的优化。

在本文中，我们更愿意考虑我们的近似分布的自由形式的优化正如我们已经提到，如果我们允许后近似完全不受约束的自由形式的优化，我们只会恢复真实后路分布并且很难驾驭。

因此，我们必须施加近似的形式约束。

考虑一个模型，其中的潜变量，H ，分为专属子集。

假如我们要对分离性限制在这些子集上我们逼近后，()()∏=ii H q H q它是直接显示，最佳形式后路分布的各个组成部分是()()()H p H q j H iji qln exp ∝∏≠在这里，我们使用的符号< >q ，表示下分布的期望q ，通过利用穿过模型的参数一个近似值，()()()()()()μβαμβαμβαωq q q q q W x W x q x=,,,,我们可能获得的表单模型对数似然的一个下()()μβμβω,,,ln ln x W t p M t p q q q q x ≥()()ααωW p x p q q q xln ln ++()()()μβαμβαp p p qqqln ln ln +++()()()()()q q q q q S S S S Sxμβαω+++++对于贝叶斯ICA 的模型，正如我们所描述的那样，在等式14所有必要的预期可能进行解析地给出下面的结果()()⎪⎭⎫ ⎝⎛=∏∑∑===D fx Z q m n mn Nn Mnn m Mx N m m I,1111π()∑=μμμμ,m q N()()∏∑==Pp p pmw q N1,ωωω()∏=⎪⎭⎫⎝⎛=Ii i i b a q gam 1,αααα()⎪⎭⎫ ⎝⎛=b a q i gam αβββ,其他参数是简单的推导，并可能在主教被发现。

为第q 分布的最佳因素的解决方案是一个隐式1。

每个分布依赖于其他解决方案的时刻。

一个解决方案可以通过数字开始用合适的初始猜测和使用甲部给出主教的更新方程，通过循环通过每个分布来确定图1：散点图从模型样品。

所发现的嵌入尺寸示于图中的实线的中心，而真正的嵌入尺寸示于每个图的虚线的右上方。

4.结果4.1玩具问题对于我们的模型，以确定潜在的维数的能力进行评估，我们采样玩具数据集一个随机参数化模型。

两个源分布被选为包含两部分，都与均值为零。

每个组件的差异，均被视为1和50。

随后被带到观测数据的维数是三，噪声的逆差额定为1×10-4。

混合矩阵W 随机从高斯采样单元变量ANCE 。

我们高斯随机取样的值获得从模型200的样本，然后试图通过推理中有三个源维度模型推断，以确定源的数量和噪声方差为的相同类型中的那些生成模型。

该值初始化与PCA 的解决方案。

首先分布的优化，然后通过先进行更新的那么刹那的瞬间，那么X 和的时刻，最后时刻OFW 的时刻进行的。

这些时刻被更新，直到收敛或最多100次。

的α和瞬间随后更新。

这整个过程重复50次。

选定的独立成分示于图1中。

注意，源维度的真实数目已经被正确决定。

图2所示为各log10的演变。

注意，超参数的非常迅速变成幅值比其它有效切断源维度之一大三个数量级。

4.2实时数据由于我们的模型的进一步测试中，我们分析了两个图像。

该图像是由Corel 公司库1,000,000收集并在他们的红色，绿色和蓝色通道进行平均，得到灰度图像。

这两个图像的峭度为负值，这表明这两个图像子高斯。

从图像中我们子采样1000个数据点，然后把它们混合使用相同的矩阵作为玩具的问题。

高斯噪声，然后用方差这是源信号大小的7.8％添加。

然后，我们执行一个包含三个来源维度模型。

5.讨论建议的模型表现良好，其上已经采样玩具训练数据时，从类似的源码分发版。

然而，在图像上的实验分量分析模型无法确定来源的真实数据的真实数量。

这个问题可能是因为出现潜在分布的假定形式是不相匹配的真正来源分布。

因此该模型可总是更好地解释该数据通过将“虚拟”源代码分发。

这是因为嵌入的观测化空间可以通过增加更多的潜获得更多和更复杂的形式尺寸。

这是相对于贝叶斯PCA的情况。

在贝叶斯PCA的LA-10吨分布取为高斯和子空间嵌入高斯内分布也将是高斯型的。

因此，它不表现出这些问题。

我们可能需要删除源具有最高超相关联的方法参数，并检查是否下界在模型上的可能性增大。

遗憾的幸运的是，虽然我们最大化下界模型似然贝叶斯ICA，我们无法确定这个界限的价值。

这是的结果POS-terior近似的潜变量是高斯的混合物。

为了计算绑定16，我们需要评估混合分布的熵。

有一些希望的进展，因为虽然这个熵的精确计算是棘手的，它可能被下界（劳伦斯＆Azzouzi，1999）。

（1我们不是指子高斯与超高斯分布的问题，我们有假设信源的峭度的符号被称为在这些实验中和所选择的我们潜在的分布相应。

）图3：结果当模型被留下来确定潜在的维度。

回收的来源与手动删除幻影潜在维度。

注意，有更强的鬼斗兽场的图像上的小狗。

图4：散点图子样本的观察图像的实验尝试的确定来源的真实数量。

所发现的嵌入尺寸示于中心地块为实线，而真正的嵌入尺寸显示各右上角绘制为虚线。

另一种解决方案，以及1我们将提出，将自适应地修改该潜分布作为优化过程的一部分。

这可以通过以下方式实现作为所示，例如，ATTIAS（1998）的潜变量的分布。

最后一种选择是使用一个简单的模型，以确定潜在的维数。

我们可以应用贝叶斯PCA来确定主要的子空间和相关的潜维度。

那么一个简单的最大似然ICA的模型可以应用于内该嵌入式领域。