独立成分分析fastica

基于Matlab 的Constrained ICA 算法的实现第一章 独立成分分析的背景一、独立成分分析的概述1、独立性定义学术上，独立性的定义由概率密度来定义。

如果定义两个随机变量1y 和2y 是独立的，当且仅当联合概率密度可按下式分解：p ),(21y y2、独立分量分析独立分量分析 ( Independent Component Analy2sis , ICA) 是由Herault 和J utten 在1983年提出,该方法不依赖与源信号类型相关的详细知识或信号传输系统特性的精确辨识,以非高斯源信号为研究对象，在统计独立的假设下，对多路观测到的混合信号进行盲信号分离，是一种有效的冗余取消技术,被广泛应用于盲源分离 ( blind source separation BSS)、特征提取和盲解卷、生理学数据分析语音信号处理、图像处理及人脸识别等领域。

该方法根据代价函数的不同 ,可以得到不同的ICA 算法,如信息最大化(infomax)算法、Fast ICA 算法、最大熵( M E)和最小互信息( MM I)算法、极大似然(ML)算法等。

在统计学中，独立成分分析或独立分量分析（Independent components analysis ，缩写：ICA ）是一种利用统计原理进行计算的方法。

它是一个线性变换。

这个变换把数据或信号分离成统计独立的非高斯的信号源的线性组合。

独立成分分析是盲信号分离（Blind source separation ）的一种特例。

ICA 是一种用来从多变量（多维）统计数据里找到隐含的因素或成分的方法，被认为是主成分分析（Principal Component Analysis, PCA ）和因子分析（Factor Analysis ）的一种扩展。

对于盲源分离问题，ICA 是指在只知道混合信号，而不知道源信号、噪声以及混合机制的情况下，分离或近似地分离出源信号的一种分析过程。

独立分量分析(Independent Component Analysis, ICA)是近二十多年发展起来的一种非常有效的盲信号分离技术。

通过国内外研究人员努力， 无论是独立分量分析技术，还是基于独立分量分析的盲信号分离技术目前均已有大量的研究成果和较成熟的理论。

事实上，诸如雷达、声呐、通信、电子对抗、生物医学和地球物理等众多自然科学研究领域都需要进行盲信号分离，以实现对待分析的期望信号进一步独立处理，获取期望信息与特征。

原理上，独立分量分析就是利用多路观测信号，从多个源信号的混合信号中分离出相互统计独立的源信号的方法。

正因为如此，独立分量分析在军事和民用领域均备受关注。

基于独立分量分析技术发展起来的被动雷达，无需发射信号就可探测到目标，克服了传统的主动雷达为了探测目标必须发射电波信号，很容易暴露自己而遭到攻击的弱点，因而被动雷达研究受到各国广泛重视。

电子对抗领域中，为了获取敌方电台或雷达发射信息，可以从传感器网络采集的信号中利用独立分量分析技术先对信号进行分离，然后利用信号分析与处理技术获取待侦察信号的期望信息。

因此，独立分量分析目前在电子对抗领域中也受到广泛关注。

声呐信号处理中，人们已采用对独立分量分析技术从众多信号中提取期望信号。

在生物医学领域，应用独立分量分析可对脑电信号分析，提取脑电信号特征，确定人或动物的大脑活动情况和病理状况，同时，还利用独立分量分析分离胎儿心电信号等。

在语音信号处理中，如著名的“鸡尾酒会”问题，可以利用独立分量分析从传声器接收的人的混合声音信号中，分离出每一个人的声音。

可见，独立分量分析越来越吸引众多研究人员开展理论和应用研究，因此本文针对独立分量分析开展的研究工作具有一定的理论和实际参考价值。

近年来，盲信号分离是目前信号处理中最热门的新兴技术之一，它具有稳定的理论基础和许多方面的应用潜力。

3、独立成分分析独立成分分析（Independent Component Analysis, ICA）是近年来出现的一种强有力的数据分析工具（Hyvarinen A, Karhunen J, Oja E, 2001; Roberts S J, Everson R, 2001）。

1994年由Comon给出了ICA的一个较为严格的数学定义，其思想最早是由Heranlt和Jutten于1986年提出来的。

ICA从出现到现在虽然时间不长，然而无论从理论上还是应用上，它正受到越来越多的关注，成为国内外研究的一个热点。

特别是从应用角度看，它的应用领域与应用前景都是非常广阔的，目前主要应用于盲源分离、图像处理、语言识别、通信、生物医学信号处理、脑功能成像研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等。

盲源分离技术是近二十年发展起来的一门新型科学，在各国科学家和研究人员的努力下获得了充分的发展，但是ICA的研究方兴未艾，它毕竟是一个涉及面广并且仍处于发展前沿的课题，在理论上还远没有成熟，许多问题有待进一步研究和解决。

(1)带噪混合信号的盲分离问题。

盲信号处理中的未知条件太多，混合信号含有噪声的情况下的盲源分离问题解决起来是相当困难的。

尽管目前已有部分算法对存在噪声的情况表现出了良好的性能，但由于噪声种类繁多，因此处理起来仍很棘手。

现有的大多数盲源分离或盲解卷积算法都假设不含噪声或者把噪声看作是一个独立的信源信号来处理。

(2)非平稳混合信号的盲源分离算法。

许多情况下源信号可能是非平稳的，如何利用信号的非平稳特性进行盲源分离是摆在广大研究人员面前的一个现实问题。

(3)卷积混合信号的盲源分离算法。

在实际中，系统接收到的混合输入信号是源信号经过不同的传播途径到达接收器。

在这个过程中，不可避免的存在信号的时延和反射。

针对这种情况的盲源分离算法还很不成熟。

(4)ICA 的推广应用。

在算法应用方面，ICA 可以取得进一步的发展，如可以在语音识别、图像处理、特征提取、医学信号处理方面作进一步的研究。

目前的关键的问题是如何将理论算法转化为实际应用，以及如何建立更加符合实际情况的模型等。

(5)算法的收敛性。

算法全局收敛性的研究，可以考虑将遗传算法、混沌算法等具有全局收敛性的优化算法和ICA 结合起来，提高算法的全局收敛性。

4、ICA 的基本原理4.1无噪声的ICA 模型ICA 作为生成模型的估计给定随即变量的一组观测123(),(),()x t x t x t …()n x t ，其中t 是时间或者样本标号，假设它们有独立成分线性混合而产生：1234()()()()x t x t x t x t ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎦⎣=A 1234()()()()s t s t s t s t ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎦⎣ (2-1)式中，A 是某个未知矩阵。

用向量-矩阵符号方式表示通常比上面的求和表达式更为方便。

用随机向量x 来表示混合向量，其元素分别为1,...,n x x ，同样地，用s 来表示元素1,...n s s ，用矩阵A 表示那些混合系数aij 。

所有的向量都理解为列向量；这样Tx 或者称x 的转置就是一个行向量。

利用向量和矩阵符号表示，混合模型可以写为：x A s = (2-2)有时我们需要使用矩阵A 中的列向量，如果将其表示为,则模型也可以写为： 1n i ii x a s ==∑ (2-3)4、2有噪声的ICA 模型将基本的ICA 模型扩展到有噪声的情形，并且假设噪声是以加性噪声形式存在的。

这是一个相当现实的假设，因为加性噪声是因子分析和信号处理中通常研究的标准形式，具有简单的噪声模型表达方式。

因此，噪声ICA 模型可表示为：x As n =+ (2-4)式中，[]1,...T n n n n =是噪声向量。

信号源噪声，即直接添加到独立成分（即信号源）上的噪声。

信号源噪声可用与式（2.1）稍有差别的下式来表示：()x A s n =+ (2-5)实际上，如果可以直接考虑带噪声的独立成分，那么可将此模型写为：~x A s = (2-6)可以看出，这就是基本的ICA 模型，只是独立成分本身变了。

二、盲信号处理的概述1、盲信号处理的基本概念盲信号处理是现代数学信号处理、算智能学近年来迅速发展的重要方向。

电子信息、通信、生物医学、图像增强、雷达、地球物理信号处理等众多领域有广泛的应用前景。

盲信号处理就是利用系统(如无线信道、通信系统等)的输出观测数据,通过某种信号处理的手段, 获得我们感兴趣的有关信息(如原来独立发射的信号等)。

盲信号的研究是当前学术界的一个研究热点，而盲信号分离则是盲信号研究中的一个重要的课题。

BSS是指从观测到的混合信号中分离出未知的源信号。

盲信号中的“盲”意味着两个方面：第一，对源信号一无所知或只有少许的先验知识。

第二，混合本身是未知的。

这看似是一个不可能的任务，然而理论和实际都证实了只需要相当简单的假设，就可以得到该问题的解。

这一特点使得BSS成为一种功能相当强大的信息处理方法。

图1 盲处理原理框图盲处理的目的可分为盲辨识和盲源分离两大类。

盲辨识的目的是求得传输通道混合矩阵（新型混合矩阵、卷积混合矩阵、非线性混合矩阵等）。

盲源分离的目的是求得源信号的最佳估计。

当盲源分离的各分量相互独立时，就称为独立分量分析，即独立分量分析是盲源分离的一种特殊情况。

2、盲源分离法2.1盲源分离技术盲源分离是针对从检测的混合信号中估计或恢复源信号的问题提出的，是指源信号、传输通道特性未知的情况下，仅由观测信号和源信号的一些先验知识（如概率密度）估计出源信号各个分量的过程。

例如最著名的鸡尾酒会问题，仅根据多个麦克风检测信号分离或恢复出某种语音源信号。

盲源分离是针对从检测的混合信号中估计或恢复源信号的问题提出的，是指源信号、传输通道特性未知的情况下，仅由观测信号和源信号的一些先验知识（如概率密度）估计出源信号各个分量的过程。

例如最著名的鸡尾酒会问题，仅根据多个麦克风检测信号分离或恢复出某种语音源信号。

2.2盲分离算法实现在实际的ICA盲分离算法应用中,一般有时是必需的对观测数据做一些预处理技术，如用主成分分析 ( PCA )降维和白化,用滤波器进行滤波降噪处理等。

另外,由于恢复准则的局限以及先验知识的缺乏,盲信号分离方法只能得到源信号的波形,而无法确定信号的幅值以及信号之间的顺序。

这两点都需要人为的制定规则(如规定信号的方差为1来确定幅值)来确定。

图2 盲信号分离基本原理框图第二章独立分量分析在盲信号分离中的应用本文所使用的约束独立分量分析(Constrained independent component analysis，CICA)算法倒是一种改良的FastlCA算法。

在clCA提取过程中，通过引入简单的约束参考信号来帮助分离某特定目标分量，从而有利于去除干扰信号。