新型的求解非线性盲源分离的神经网络算法综述
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
·2008第01期·
，即自组织
映射算法，其理论基础是矩形 映射。该算法简单，但其局限 性在于:当源信号与均匀分布有 很大的区别时会出现不可避免 的失真。Pajunen和Karhunen 而后提出了生成式拓扑映射来克 服自组织映射算法的缺陷
[2]
x(t )=f (s(t ))+n(t )=B2 (h(B1s(t ))+ς )+n(t )
质 量 工 程 卷
Quality Engineering
网 络 与 通 信 Network & Communications
如图4所示为LNL(线性-非 线性-线性)层叠模型。LNL模型 在建模非线性模型时具有更大的 一般性，因为它具有可以调整数 目的非线性层。后非线性模型和 数。与线性ICA不同的是，(2)中 的独立性不能保证信号分离结果 为唯一的解。为了降低不确定的 非唯一输出并补偿非线性失真， 提出在解混器代价函数中加入一 种信号限制条件。例如使用附加 的限制f
号 和 噪 声 信 号 。 { B 1， B 2} 是 N × N 的混叠矩阵， ς 是N×1的偏置向 量 ， 而 h(⋅)=[h1 (⋅) h2 (⋅) hN (⋅)]T 是 在混叠模型中标称非线性度的一 系列非线性函数。因为线性BSS 算法并不适用于该模型，所以研 究非线性算法就变得极为重要 了。
近百年来，基于独立分量分 析ICA的盲源分离受到了极大的 关注，正是由于其结构的简单性 及多功能性可以很好地应用于许 多信号处理领域。独立分量分析 的目的在于:根据已知的观测信 号，从非观测的源信号的线性混 叠信号中恢复出独立的源信号。 然而，在许多实际问题中，由于 感官或者外部环境的限制，源信 号往往是非线性混叠的或者是经 过非线性失真的。可以用数学公 式表示如下:
[8]
mono非线性模型是它的特例。该 模型的主要问题是不能确保问题 具有唯一解。下面的章节里我们 会具体讨论网络的“过优化”问 题。
(y,s)表示输入信号分
布的先验知识，为的是使得解混 器输出尽量与原始信号在矩或累 上相匹配。因此解混器的代价函 数可以写为下式(3)，其中β是
2.2 混合模型代价函数
。其结构如图
2所示。虽然后非线性模型易于 分析，但它确实可以很好地建模 一些系统。该模型存在不足之处 为:当交叉信道混合失真被引入 该模型时，求解将变得很困难。 而后，有人提出一种所谓 的mono非线性混合模型
[6]
(2) 其 中 p i( y i) 代 表 解 混 器 输 出 端 第 i 个 估 计 信 号 y i的 边 缘 概 率 函
率密度函数，这便限制了该算法 的应用面。最近提出的核独立分 量分析
[3]
算法更多的只是具有启
发式的意义，在将非线性转换到 高阶空间时算法会受到限制。随 着神经网络的发展，径向基函 数网络RBF FMLP
[5] [4]
、多层感知器网络
[6]
、多项式网络PNN
等方
法因为其灵活的非线性能力而得
2.研究现状
(1)
s(t )=[s1 (t ) s2 (t ) sN (t )]T ，
x(t )=[x1 (t ) x2 (t ) xN (t )]T ，
。然
n(t )=[n1 (t ) n2 (t ) nN (t )]
T
而，在处理非均匀分布的源信号 时，该算法需要知道源信号的概
分别是源信号，空间观测信
，
如图3所示。该模型可表示为 x=f(Af
T -1
( s ) ) ， 其 中 x = [ x 1x 2…
A S1 S2 f1 f2 f3 x1 x2 xN S1 S2
f1 f2 fq
A
-1
∑ ∑
f1 f2 fP
x1 x2 xP
x p] , s = [ s 1s 2… s q] T , A = [ a 1a 2… a p] 为 p × q 的 矩 阵 ， a i= [ a i1a i2 … a iq] 。 相 对 于 后 非 线 性 混 合 模 型，该模型对混合模型作了更为 普遍的描述。
2 f ( c ) = ∑i (σ y − σ s2i ) + i 2
质 量 工 程 卷
Quality Engineering
个“黑盒”匹配方法，这导致 FMLP产生“过优化”现象和全局 映射问题(隐藏神经元试图相互 影响，虽然改善了一点，在其他 点上却被恶化了)，因此将RBF和 FMLP网络合并成一个独立的混合 网络。所有的参数通过梯度算法 优化(3)式的代价函数来训练得 到。
Abstract:In this paper, several recently proposed neural network approaches to nonlinear blind signal separation (BSS) are reviewed. Of great interest, popular multilayer perceptron (MLP), radial basis function (RBF) and polynomial neural networks are the focus of the paper. In order to uniquely extract the original source signals from only nonlinearly mixed observations, some forms of constrains are always imposed on the neural networks. Three structurally constrained nonlinear independent component analysis mixing models are presented, followed by the discussion on additional signal constraints to the original cost function stemmed from the Kullback-Leibler Divergence. Key words :Nonlinear blind signal separation; Multilayer perceptron; Radial basis function; Polynomial neural networks. CLC number:TP389.1 Document code:A Article ID:1003-0107(2008)01-0058-04
3.3 多项式网络方法
针对第2章中描述的单一非 线性混合模型，提出了一种多项 式网络PNN解混器，在隐层中使 用一组非线性的多项式。多项式
2
个局部极值或收敛速度相对很小 时，这个操作将激活遗传搜索。
4.结论和进一步工作
本文讨论了用于ICA解混器 的MLP,RBF,多项式神经网络。 神经网络的选择与实际的应用有 关。选择的时候需要估计速度， 精确度和复杂度。与其他网络相 比MLP网络更一般性，所以当没 有混合系统的先验知识时MLP更 适合。RBF快速收敛，所以当考 虑速度时优先选择RBF。多项式 神经网络提供明确的分离性，但 需要信号限制等先验知识。本文 叙述的几个方法主要着重于信号 传输途径，即构造分离西如同来 解混并直接估计未知的源信号。 可选的方法如生成途径搜索一个 特定的模型来代替观测信号如何 产生，解包括了源信号和混合映
(c)
的。因此，各类型神经网络的代 价函数可以归结为相同的形式。 神经网络与ICA的关系可以如图1 表示:
2.1 非线性ICA模型
通常的非线性混叠盲源分离 只能保证信号的统计独立性。为 了克服这个问题的不适定性，我 们需要强加一些规则。理论上， 我们的标准就是设计出解混器， 使其输出信号是独立的成分，并 且恢复出源信号，并且需要输出 量与源信号尽可能地接近。一种 可选的方法是通过在解混模型中 加入一些结构限制，可以减少非 全零映射的数目，进而使得全局 的混叠－解混系统得到令人满意 的输入－输出映射。 最先提出来的非线性混合器 是后非线性模型
(Nanjing Univ.of Posts and Telecommunications,Jiangsu Nanjing 210003,China)
Wang Hai-lin
摘 要:本文回顾了一些最新的求解非线性盲源分离问题的神经网络算法。其中，对于多层感 知器网络、径向基函数网络、多项式网络尤其关注。为了从非线性混叠信号中分解出唯一的 源信号解，需要给神经网络加上一系列的限制。提出了三种结构限制的独立分量分析混合模 型，接着讨论了加在源自交叉熵的原始代价函数上的额外的信号约束。 关键字:非线性盲源分离;多层感知器网络;径向基函数网络;多项式网络 中图分类号:TP389.1 文献标识号:A 文章编号:1003-0107(2008)01-0058-04
T T
-1
SN
SP
-1
∑
图2 后非线性混合模型 ICA 非 神经网络 概率统计 MLP A1 基于 KLD 的 代价函数 RBF PNN θ θ1 图4 LNL混合模型 线 性 变 化 θ
L-2
图3 mono非线性混合模型
线 性L
AL
图1 神经网络与ICA的关系图
最早Pajunen提出了非线性 独立分量分析算法
[1]
到了广泛的关注，因此可以利用 神经网络来解决非线性问题。在 非线性条件下，RBF网络解混器 具有最快的收敛速度，但信号恢 复准确性下降较快。MLP网络恢 复信号最为准确，但计算复杂度 最大。PNN网络利用灵活可变的 隐藏神经元激活函数来防止“过 优化”网络，并且使解的结构更 加规则化。 尽管我们可以利用的神经网 络有很多，这些网络的目的相同
·2008第01期·
ELECTRONICS QUALITY
网 络 与 通 信 Network & Communications
60
只是将观测信号和估计信号分别 作为网络的输入和输出。为防止 输出任意的独立信号，改善非线 性解混器的效果，Tikhonov提出 一种调整过的代价函数。使用多 层感知器，作为非线性解混器， 并将信号理论上和结构上的复杂 度学习结合到一个单独的框架 中。感知器的输入信息允许在最 后的输出层被最大最小化，以保 证当解被限制在一个尽量小的子 空间时输出尽量独立。通过将整 个感知网络尽量稀疏化来达到这 个目的。Tikhonov的代价函数可 以看作(3)的一个特例。即
对于前面叙述的几种非线性 混合模型，构造相应的解混器用 于解混合系统并直接估计源信 号。基于ICA内容一般解混器的 主要目的是尽可能得到一组独立 的信号。网络解混器最常用的 代价函数是源于KLD的，如下式 (2)，它计算两个概率分布之间 的统计距离。
N KLD ∏ p ( yi ) p(y ) | = E (log p (x)) i =1 − log det
其中一种方法类似于mlp网络目的是通过使用梯度算法来优化网络的所有参数一个rbf的可选择的训练算法是无人监督的聚类算法如k均值算虽然rbf理论在数学上是完美的但研究表明当源信号是频率不连续信号时rbf算法的性能会急剧下降
网 络 与 通 信 Network & Communications
58 1.引言
ELECTRONICS QUALITY
质 量 工 程 卷
Quality Engineering
新型的求解非线性盲源分 离的神经网络算法综述
A Survey of Neural Network Approaches to Nonlinear Blind Source Separation
王海林
(南京邮电大学光电工程 学院,江苏南京 210003)
N dy − ∑ E[log p ( yi )] T dx i =1
一个常量。
J = − log det
N dy − ∑ log( pi ( yi )) T dx (3) i =1
+ βf ( c ) (y, s)
59
3.解混器
3.1 基于MLP的ICA解混器
最初提出的2层感知网络的 梯度恒定，后来发展到L层前馈 多层感知(FMLP)，梯度是变化 的。传统的线性2层logistic感 知解混器可以看做FMLP的特殊 情况。基于第二章中LNL混合模 型，FMLP目的是构造一个逆系统 并且最优化代价函数，从而得到 一组彼此尽量独立的信号。逆系 统与混合系统有着相似的结构，
同时，一些论文中使用的纯GA算 法，即使在解空间中设置一个合 适的范围。调整优化解并不是很 精确。普通的随机学习方法与改 进的GA算法结合产生一个新颖 的更有效的更新PNN的参数的方 法。算法使用变异操作作为梯度 算法的一个搜索工具，在适应阶 段得到一个更快速的学习最优解 的轨迹。当梯度下降法被困在一
，即自组织
映射算法，其理论基础是矩形 映射。该算法简单，但其局限 性在于:当源信号与均匀分布有 很大的区别时会出现不可避免 的失真。Pajunen和Karhunen 而后提出了生成式拓扑映射来克 服自组织映射算法的缺陷
[2]
x(t )=f (s(t ))+n(t )=B2 (h(B1s(t ))+ς )+n(t )
质 量 工 程 卷
Quality Engineering
网 络 与 通 信 Network & Communications
如图4所示为LNL(线性-非 线性-线性)层叠模型。LNL模型 在建模非线性模型时具有更大的 一般性，因为它具有可以调整数 目的非线性层。后非线性模型和 数。与线性ICA不同的是，(2)中 的独立性不能保证信号分离结果 为唯一的解。为了降低不确定的 非唯一输出并补偿非线性失真， 提出在解混器代价函数中加入一 种信号限制条件。例如使用附加 的限制f
号 和 噪 声 信 号 。 { B 1， B 2} 是 N × N 的混叠矩阵， ς 是N×1的偏置向 量 ， 而 h(⋅)=[h1 (⋅) h2 (⋅) hN (⋅)]T 是 在混叠模型中标称非线性度的一 系列非线性函数。因为线性BSS 算法并不适用于该模型，所以研 究非线性算法就变得极为重要 了。
近百年来，基于独立分量分 析ICA的盲源分离受到了极大的 关注，正是由于其结构的简单性 及多功能性可以很好地应用于许 多信号处理领域。独立分量分析 的目的在于:根据已知的观测信 号，从非观测的源信号的线性混 叠信号中恢复出独立的源信号。 然而，在许多实际问题中，由于 感官或者外部环境的限制，源信 号往往是非线性混叠的或者是经 过非线性失真的。可以用数学公 式表示如下:
[8]
mono非线性模型是它的特例。该 模型的主要问题是不能确保问题 具有唯一解。下面的章节里我们 会具体讨论网络的“过优化”问 题。
(y,s)表示输入信号分
布的先验知识，为的是使得解混 器输出尽量与原始信号在矩或累 上相匹配。因此解混器的代价函 数可以写为下式(3)，其中β是
2.2 混合模型代价函数
。其结构如图
2所示。虽然后非线性模型易于 分析，但它确实可以很好地建模 一些系统。该模型存在不足之处 为:当交叉信道混合失真被引入 该模型时，求解将变得很困难。 而后，有人提出一种所谓 的mono非线性混合模型
[6]
(2) 其 中 p i( y i) 代 表 解 混 器 输 出 端 第 i 个 估 计 信 号 y i的 边 缘 概 率 函
率密度函数，这便限制了该算法 的应用面。最近提出的核独立分 量分析
[3]
算法更多的只是具有启
发式的意义，在将非线性转换到 高阶空间时算法会受到限制。随 着神经网络的发展，径向基函 数网络RBF FMLP
[5] [4]
、多层感知器网络
[6]
、多项式网络PNN
等方
法因为其灵活的非线性能力而得
2.研究现状
(1)
s(t )=[s1 (t ) s2 (t ) sN (t )]T ，
x(t )=[x1 (t ) x2 (t ) xN (t )]T ，
。然
n(t )=[n1 (t ) n2 (t ) nN (t )]
T
而，在处理非均匀分布的源信号 时，该算法需要知道源信号的概
分别是源信号，空间观测信
，
如图3所示。该模型可表示为 x=f(Af
T -1
( s ) ) ， 其 中 x = [ x 1x 2…
A S1 S2 f1 f2 f3 x1 x2 xN S1 S2
f1 f2 fq
A
-1
∑ ∑
f1 f2 fP
x1 x2 xP
x p] , s = [ s 1s 2… s q] T , A = [ a 1a 2… a p] 为 p × q 的 矩 阵 ， a i= [ a i1a i2 … a iq] 。 相 对 于 后 非 线 性 混 合 模 型，该模型对混合模型作了更为 普遍的描述。
2 f ( c ) = ∑i (σ y − σ s2i ) + i 2
质 量 工 程 卷
Quality Engineering
个“黑盒”匹配方法，这导致 FMLP产生“过优化”现象和全局 映射问题(隐藏神经元试图相互 影响，虽然改善了一点，在其他 点上却被恶化了)，因此将RBF和 FMLP网络合并成一个独立的混合 网络。所有的参数通过梯度算法 优化(3)式的代价函数来训练得 到。
Abstract:In this paper, several recently proposed neural network approaches to nonlinear blind signal separation (BSS) are reviewed. Of great interest, popular multilayer perceptron (MLP), radial basis function (RBF) and polynomial neural networks are the focus of the paper. In order to uniquely extract the original source signals from only nonlinearly mixed observations, some forms of constrains are always imposed on the neural networks. Three structurally constrained nonlinear independent component analysis mixing models are presented, followed by the discussion on additional signal constraints to the original cost function stemmed from the Kullback-Leibler Divergence. Key words :Nonlinear blind signal separation; Multilayer perceptron; Radial basis function; Polynomial neural networks. CLC number:TP389.1 Document code:A Article ID:1003-0107(2008)01-0058-04
3.3 多项式网络方法
针对第2章中描述的单一非 线性混合模型，提出了一种多项 式网络PNN解混器，在隐层中使 用一组非线性的多项式。多项式
2
个局部极值或收敛速度相对很小 时，这个操作将激活遗传搜索。
4.结论和进一步工作
本文讨论了用于ICA解混器 的MLP,RBF,多项式神经网络。 神经网络的选择与实际的应用有 关。选择的时候需要估计速度， 精确度和复杂度。与其他网络相 比MLP网络更一般性，所以当没 有混合系统的先验知识时MLP更 适合。RBF快速收敛，所以当考 虑速度时优先选择RBF。多项式 神经网络提供明确的分离性，但 需要信号限制等先验知识。本文 叙述的几个方法主要着重于信号 传输途径，即构造分离西如同来 解混并直接估计未知的源信号。 可选的方法如生成途径搜索一个 特定的模型来代替观测信号如何 产生，解包括了源信号和混合映
(c)
的。因此，各类型神经网络的代 价函数可以归结为相同的形式。 神经网络与ICA的关系可以如图1 表示:
2.1 非线性ICA模型
通常的非线性混叠盲源分离 只能保证信号的统计独立性。为 了克服这个问题的不适定性，我 们需要强加一些规则。理论上， 我们的标准就是设计出解混器， 使其输出信号是独立的成分，并 且恢复出源信号，并且需要输出 量与源信号尽可能地接近。一种 可选的方法是通过在解混模型中 加入一些结构限制，可以减少非 全零映射的数目，进而使得全局 的混叠－解混系统得到令人满意 的输入－输出映射。 最先提出来的非线性混合器 是后非线性模型
(Nanjing Univ.of Posts and Telecommunications,Jiangsu Nanjing 210003,China)
Wang Hai-lin
摘 要:本文回顾了一些最新的求解非线性盲源分离问题的神经网络算法。其中，对于多层感 知器网络、径向基函数网络、多项式网络尤其关注。为了从非线性混叠信号中分解出唯一的 源信号解，需要给神经网络加上一系列的限制。提出了三种结构限制的独立分量分析混合模 型，接着讨论了加在源自交叉熵的原始代价函数上的额外的信号约束。 关键字:非线性盲源分离;多层感知器网络;径向基函数网络;多项式网络 中图分类号:TP389.1 文献标识号:A 文章编号:1003-0107(2008)01-0058-04
T T
-1
SN
SP
-1
∑
图2 后非线性混合模型 ICA 非 神经网络 概率统计 MLP A1 基于 KLD 的 代价函数 RBF PNN θ θ1 图4 LNL混合模型 线 性 变 化 θ
L-2
图3 mono非线性混合模型
线 性L
AL
图1 神经网络与ICA的关系图
最早Pajunen提出了非线性 独立分量分析算法
[1]
到了广泛的关注，因此可以利用 神经网络来解决非线性问题。在 非线性条件下，RBF网络解混器 具有最快的收敛速度，但信号恢 复准确性下降较快。MLP网络恢 复信号最为准确，但计算复杂度 最大。PNN网络利用灵活可变的 隐藏神经元激活函数来防止“过 优化”网络，并且使解的结构更 加规则化。 尽管我们可以利用的神经网 络有很多，这些网络的目的相同
·2008第01期·
ELECTRONICS QUALITY
网 络 与 通 信 Network & Communications
60
只是将观测信号和估计信号分别 作为网络的输入和输出。为防止 输出任意的独立信号，改善非线 性解混器的效果，Tikhonov提出 一种调整过的代价函数。使用多 层感知器，作为非线性解混器， 并将信号理论上和结构上的复杂 度学习结合到一个单独的框架 中。感知器的输入信息允许在最 后的输出层被最大最小化，以保 证当解被限制在一个尽量小的子 空间时输出尽量独立。通过将整 个感知网络尽量稀疏化来达到这 个目的。Tikhonov的代价函数可 以看作(3)的一个特例。即
对于前面叙述的几种非线性 混合模型，构造相应的解混器用 于解混合系统并直接估计源信 号。基于ICA内容一般解混器的 主要目的是尽可能得到一组独立 的信号。网络解混器最常用的 代价函数是源于KLD的，如下式 (2)，它计算两个概率分布之间 的统计距离。
N KLD ∏ p ( yi ) p(y ) | = E (log p (x)) i =1 − log det
其中一种方法类似于mlp网络目的是通过使用梯度算法来优化网络的所有参数一个rbf的可选择的训练算法是无人监督的聚类算法如k均值算虽然rbf理论在数学上是完美的但研究表明当源信号是频率不连续信号时rbf算法的性能会急剧下降
网 络 与 通 信 Network & Communications
58 1.引言
ELECTRONICS QUALITY
质 量 工 程 卷
Quality Engineering
新型的求解非线性盲源分 离的神经网络算法综述
A Survey of Neural Network Approaches to Nonlinear Blind Source Separation
王海林
(南京邮电大学光电工程 学院,江苏南京 210003)
N dy − ∑ E[log p ( yi )] T dx i =1
一个常量。
J = − log det
N dy − ∑ log( pi ( yi )) T dx (3) i =1
+ βf ( c ) (y, s)
59
3.解混器
3.1 基于MLP的ICA解混器
最初提出的2层感知网络的 梯度恒定，后来发展到L层前馈 多层感知(FMLP)，梯度是变化 的。传统的线性2层logistic感 知解混器可以看做FMLP的特殊 情况。基于第二章中LNL混合模 型，FMLP目的是构造一个逆系统 并且最优化代价函数，从而得到 一组彼此尽量独立的信号。逆系 统与混合系统有着相似的结构，
同时，一些论文中使用的纯GA算 法，即使在解空间中设置一个合 适的范围。调整优化解并不是很 精确。普通的随机学习方法与改 进的GA算法结合产生一个新颖 的更有效的更新PNN的参数的方 法。算法使用变异操作作为梯度 算法的一个搜索工具，在适应阶 段得到一个更快速的学习最优解 的轨迹。当梯度下降法被困在一