独立分量分析及其应用研究

独立分量分析及其应用研究
梁端丹;韩政;郝家甲
【摘要】独立分量分析是近年来兴起的一种高效的信号处理方法,主要解决的问题是从观测到的混合信号中分离或提取各个源信号.简要介绍了独立分量分析的模型、数学原理等基本问题,详细分析了解决独立分量分析问题的优化准则及对应的算法,
最后介绍了独立分离分析的主要应用领域,并对独立分量分析问题的研究方向进行
了展望.
【期刊名称】《现代电子技术》
【年(卷),期】2008(031)003
【总页数】4页(P17-20)
【关键词】盲源分离;独立分量分析;优化准则;高阶统计;信息论
【作者】梁端丹;韩政;郝家甲
【作者单位】西安通信学院,陕西,西安,710106;西安通信学院,陕西,西安,710106;西安通信学院,陕西,西安,710106
【正文语种】中文
【中图分类】TN911
1 引言
盲源分离(Blind Source Separation,BSS)是在源信号和传输通道参数未知的情况下，根据输入源信号的统计特性，仅由观测信号恢复出源信号的过程。

当源信号各
个成分具有独立性时，此过程又称为独立分量分析(Inependent Component Analysis,ICA)。

所谓的“盲”，是指源信号的特性及传输通道的特性都是未知的。

盲信号分离的概念最早提出20世纪80年代，随后从90年代开始，盲信号分离
技术广泛的应用于无线通信、雷达、声纳、图像、语音、医学等领域，迅速成为国内外信号处理研究的热点。

2 ICA的基本理论概述
2.1 BSS与ICA的关系
BSS是指仅从观测的混合信号中分离出各个原始信号,而ICA技术主要利用了源信
号统计独立等容易满足的先验条件，为了解决BSS问题而发展起来的。

在源信号
相互独立时，BSS和ICA具有相同的模型,但实际情况下，两者目标上稍有不同。

BSS的目标是分离出源信号，即使他们并不完全互相独立；而ICA的目标则是寻
找某种变换，使输出的各信号之间尽可能的独立。

ICA是BSS的一种方法，但是解决BSS问题还有其他的理论方法，如非线性主分
量分析、稀疏分量分析(SCA)等，不局限于ICA。

2.2 ICA的数学描述及模型
ICA的原理框图如图1所示。

图1 ICA原理框图
基本的线性瞬时混合ICA模型可以描述为：
X=AS+n
(1)
其中S=[s1(t),…,sN(t)]T是未知的N维源信号向量，X=[x1(t),…,xM(t)]T是M维
观测信号向量，n=[n1(t),n2(t),…,nN(t)]T是M维加性噪声向量，A是未知的混合矩阵，观测信号X是由未知信源S的瞬时线性组合。

ICA的目标就是寻找一个分离矩阵W，使X经过变换后得到的新矢量
Y=[y1(t),…,yM(t)]T的各分量尽可能的独立。

Y=WX为待求的分离信号向量，也就是源信号S的估计值。

2.3 ICA的前提假设
由于源信号和混合矩阵的先验知识未知，只有观测信号的信息可以利用，若无任何前提条件，盲分离问题就会多解，故需要对源信号和混合矩阵附加一些基本的假设和约束条件[1]：
(1) 观测信号数目M不小于源信号数目N，为了方便起见，取M=N，即混合矩阵A为满秩。

(2) 源信号S的各个分量之间相互统计独立。

(3) 源信号的各分量最多只允许有一个是高斯分布的,这是由于多个高斯信号的线性混合仍然服从高斯分布，不可分离。

2.4 ICA的不确定性
根据ICA的模型实现原理，若要源信号精确恢复，应当W=A-1，但在“盲”的范畴里，混合矩阵A不是完全辨识的，ICA算法求解的过程寻找的解混矩阵不是A 的求逆过程，Y只是S的近似值，存在着一些不确定性，在文献[2]中得到证明：
(1) 幅度：分离后的信号在幅度上与源信号存在一定的比例关系。

(2) 次序：分离信号与源信号的顺序可能不一致。

在许多应用背景下，信号的大多数信息都是包含在信号的波形上而不是信号的幅度和次序中。

另外，虽然事先对源信号了解不多，但在有些情况下，分离出独立的源信号之后可根据实际进行判别,故ICA分离中这两个不确定性是可以接受的。

3 ICA的基本算法
3.1 ICA算法的基本原理
从数学角度来分析随机矢量的独立性定义为假设原始信号是独立同分布的非高斯信号，满足下式：
(2)
即其联合密度函数是各个分量概率密度函数之积，也可以采用他们的互信息量I(x)来表达：
(3)
当且仅当各个分量相互独立时为零。

ICA算法的基木原理就是依据等独立性度量的准则来建立目标函数，使分离出的独立分量最大程度的逼近各个源信号。

不同ICA的算法研究主要体现在独立性度量
准则的选取和对目标函数的优化准则的不同上。

可把ICA算法表述为：
ICA算法=分离准则+优化算法
这两方面构成了ICA理论的核心，目标函数决定算法的统计性质，如渐进方差、
鲁棒性和一致性；优化算法决定算法的收敛速度和计算的稳定性。

3.2 ICA的独立性测度准则及优化算法
3.2.1 基于非高斯性的测度方法
由统计理论中的中心极限定律可知，多个独立随机变量的混合信号趋近于高斯分布。

故在ICA模型中若干个独立源信号的混合信号比任何一个源信号都应该更接近高
斯分布。

当所有分离出来的信号的非高斯性都达到最大时，每个分离出的信号也就越接近不同的单个源信号。

通常利用峰度和负熵作为非高斯性测度。

(1) 峰度(Kurtosis)
峰度是随机变量的四阶累积量，其定义如下：
Kurt(y)=E[y4]-3E2[y2]
(4)
对于一个高斯变量y，其四阶累积量等于3E2[y2]，峰度为零。

绝大多数非高斯信号的峰度为一个非零值，峰度的绝对值越大，说明非高斯性越强。

对应的目标函数简化定义为：
(5)
对应的优化算法一般采用随机梯度算法，对目标函数最大化(对正峰度源)或者最小化(负峰度源)可求得分离矩阵W。

(2) 负熵(Negentropy)
由信息论知识得：在方差相同的情况下，高斯变量具有最大熵。

而负熵的定义为：J(y)=H(yGuass)-H(y)
(6)
其中yGuass为与y具有相同的协方差矩阵的高斯随机变量。

负熵的值总是非负的，负熵越大，其非高斯性越强，当且仅当y为高斯变量时，其值为零。

故可通过最
大化负熵的方法寻找一种变换，使变换后y的各分量尽可能独立。

负熵的计算比
较困难，在实际应用中通常利用非线性函数G(·)对负熵进行近似，得到对应的目标函数为：
J[yi]∝{E[G(yi)-E[G(v)]}2
(7)
FastICA算法[3]就是一种基于负熵最大化的快速定点ICA算法，他具有计算简单、收敛速度快等优点，在实际中得到成功应用。

3.2.2 基于信息论的测度
(1) 信息最大化
用信息最大化原理进行盲源分离就是最大化输出熵，又称最大熵(Maximum Entropy，ME)。

在信息论中，随机变量熵就是给定观察变量的信息度。

对具有概率密度为p(y)的随机向量y，他的微分熵定为：
(8)
当y的各个分量之间相互独立时，H(y)达到最大,故可以用输出熵H(y)来衡量恢复信号y各分量之间的独立性。

为避免简单的最大化使H(y)发散至无穷，实际的Infomax算法中，通常是最大化分离信号y经过非线性结点输出r的熵。

因此，目标函数定义为：
φ(W)=H(r)=H(g(y))=H(g(Wx))
(9)
对应的优化算法为Infomax算法[4]。

(2)互信息最小(Minimum Mutual Information，MMI)
随机向量各分量之间的互信息定义为其边缘熵之和与联合熵之差，等价于联合概率密度和各分量边缘概率密度乘积之间的Kullback-Leibler散度。

当恢复源信号y的各分量相互独立时，有p(y)=py1(y1)py2(y2)…pyn(yn),其中
p(y)为y的联合概率密度函数，pyi(yi)为yi分量的边缘概率密度函数。

Kullback-Leibler散度定义如下：
I(y)=K_
(10)
可得：
(11)
H(yi)，H(y)分别为边缘熵和联合熵。

当且仅当y的各分量统计独立的时候互信息I(y)为零。

即互信息越小，各分量之间的独立性越强。

基于最小输出互信息的目标
函数为：
(12)
对应的优化算法为MMI算法。

(3) 最大似然估计准则(Maximum Likelihood Estimation，MLE)
MLE是用己获得的观测样本x来估计样本真实概率密度p(x)。

给定参数向量θ，通过某种准则获得估计密度度充分逼近真实密度p(x)。

以Kullback-Leibler散度作为优化准则来测度估计的概率密度与真实概率密度p(x)之间的距离。

这一准则可用对数形式的似然函数表示：
(13)
其中pi为未知独立分量si的概率密度。

对应的优化算法MLE的目标函数与Infomax算法有类似的形式，不同之处是MLE的目标函数出发点是已知观测样本，他要求pi必须估计准确。

上述的Infomax(ME),MMI,MLE三种算法在本质上没有区别，Pearlmutter和Parra,Cardoso[5]己经指出Infomax和MLE算法是等价的。

3.2.3 基于高阶统计的方法
对于高斯信号，不相关和独立是等价的，可在二阶统计的基础上进行分析，但是对于非高斯信号来说，独立是比不相关更强的条件，要求在包含二阶统计在内的所有更高阶统计上相互独立,故本文试图寻求高阶统计的解决方案。

基于高阶统计的ICA算法，按照准则函数或优化算法中是否明确含有高阶累积量，又可以分为显累积量法和隐累积量法。

(1) 隐累积量算法[6]
较典型的是由Herault和Jutten较早提出的神经网络算法，通常称为H-J算法。

H-J算法没有明确的误差函数，使该误差函数全局最小化就可以得到问题的解。

(2) 显累积量算法[6]
以简单的高阶统计峰度作为代价函数，利用随机梯度算法来得到分离阵W的自适
应训练算法。

JADE[7]是一种显累积量高阶统计算法，他是一种数值稳定的矩阵代数特征分解ICA方法。

4 ICA技术的应用
ICA作为信息处理领域热门课题之一，已经在移动通信、语音图像处理、阵列处理、地震勘探、生物医学工程等领域得到广泛应用。

粗略的列举几方面如下[8]：
(1) 生物医学信号处理领域
在生物医学领域，ICA可以应用于心电图(ECG)脑电图(EEG)信号分离、听觉信号
分析、功能磁共振图像(FMRI)分析等。

如利用ICA算法抽取脑电信号和线性分解
脑电信号的人为因素如噪声、眨眼、心电噪声等成分；研究FMRI数据的任务相关的人脑活动；处理孕妇身上测到的心电信号，分别得到孕妇自己和胎儿的心电信号等。

(2) 阵列信号处理领域
在阵列传感器中，各传感器接收到混合信号，源信号和混合特性未知，是典型的盲分离应用问题。

在移动通信阵列天线处理、海洋声纳探测等方面的作用越来越重要。

如军事通信中，传统的主动雷达为探测目标需发出电波信号，很容易暴露自己，而利用ICA的原理发展被动“雷达”，只接收信号不发出任何信号即可探测到目标，此应用已得到各国的广泛重视。

(3) 声信号处理领域
声信号盲分离是ICA的一个应用的重要领域，对语音增强、语音识别等具有重要
的意义。

如在移动通信中，ICA技术能够有效地消除噪声、抑制干扰、增强语音，
提高通信质量；通过ICA方法对车辆行驶时产生的声音信号进行分离，对车辆个
数与行车方向进行估计，实现车辆的简单分类；在工业领域，根据机械运动时发出一种固有的信号，携带机械本身的结构信息和运动状态信息，通过对此机械信号进行分析，对设备的运动状态及故障进行在线监测和预报等。

(4) 图像处理领域
ICA可以用于二维数据，如图像滤波、图像特征提取、图像增强、人脸监测和识别、卫星遥感图像的恢复重建分类等。

主要任务是从被污染的图像中恢复出图像原面目，有效地消除获取图片时由相机抖动传输噪声叠加等原因造成的图像质量问题。

5 ICA技术的发展趋势
虽然ICA技术及近年来已获得极大发展，但仍有许多问题有待进一步的研究和解
决[8,9]。

(1) 带噪混合信号ICA问题。

实际环境中，混合声信号不仅包括多个声源的声音，还要考虑环境噪声的影响，尽管目前有一些算法在含噪情况下有良好的性能，但由于噪声的种类繁多，包括非高斯、有色、乘性、脉冲等,在此情形下实现混合信号
的分离，提取各源声信号是困难的。

(2) 欠定(Under-Complete)ICA问题。

大多数的BSS,ICA研究都是假设传感器数
大于源信号数目的情况。

而如何求解传感器数目小于源信号数目的欠定问题是比较困难的。

在EEG处理中就存在此情况，且在工程实际中，源信号个数可能会随时
间动态变化，此时如何确定源信号个数及如何估计源信号都是亟待解决的问题。

(3) 全局收敛性问题。

由于声信号分离是一个时空域上的问题，因此存在着空间上的盲分离和时域上的反卷积双重任务，使得算法在回响环境中很容易陷入局部最小值，导致算法性能下降。

(4) 混合系统是时变的。

当信源是运动状态时，信号混合系统就是一个时变系统。

而目前的算法是针对非时变系统设计，要得到实用的盲分离算法，必须设计出能够
跟踪时变的自适应算法。

6 结语
独立分量分析在信息处理诸多领域都显示出独特的优势，展现出诱人的发展前景，值得我们对其理论和算法进一步研究和完善。

将理论上的突破与实际应用相结合，会对信息处理以及神经网络的发展起到积极的促进作用。

参考文献
[1] Hyvarinen A,Karhunen J,Oja E.Independent Component
Analysis[M].John Wiley & Sons,Inc.,2001.
[2] Comom P.Independent Component Analysis:A New Concept[J].Signal Processing,1994,36(3):287-314.
[3] Hyvarinen A.A Fast Fixed-point Algorithm for Independent Component Analysis[J].Neural Computation,1997，7(9):1 482-1 483.
[4] Bell A J,Sejnowski T J.An Information -maximization Approach to Blind Separation and Blind Deconvolution [J].Neural Computation,1995,7(6):1 129-1 159.
[5] Cardoso J max and Maximum Likelihood for Blind Source Separation[J].IEEE Signal Processing Letters,1997,4(4):112-114.
[6] Hyvarinen A,Oja E.Independent Component Analysis by General Nonlinear Hebbian-like Learning Rules[J].Signal Processing,1998,14(3):301-313.
[7] Cardoso J F,Souloumiac A.Blind Beamforming for Non-Gaussian Signals [J].IEE Proc.-F,1993,140(6):362-370.
[8] 张贤达,保铮.盲信号分离[J].电子学报，2001.29(12A):1 766-1 771.
[9] 马建仓,牛奕龙,陈海洋.盲信号处理[M].北京:国防工业出版社，2006.。