ICA使用牛顿迭代法对FastICA算法经行改进
一种峭度FastICA改进算法
一种峭度FastICA改进算法
高巧玲;刘辉
【期刊名称】《计算机技术与发展》
【年(卷),期】2010(020)011
【摘要】独立分量分析(ICA)是盲分离的核心技术,是信号处理领域的一种新的发展.FastICA是独立分量分析中收敛速度较快的算法,因为它的收敛速度快且要求内存空间小而备受关注,但存在步长μ选取不当可能导致算法收敛速度减慢甚至不收敛的问题.为了克服其缺点,在基于峭度的FastICA算法的基础上增加精确线性搜索优化技术来求μ,使改进后的算法收敛速度更快且不需要手动来选择步长参数.编制相应的matlab程序,将改进的算法用于语音信号分离,验证了它的高效性.
【总页数】4页(P114-116,121)
【作者】高巧玲;刘辉
【作者单位】湖南师范大学,物信院,湖南,长沙,410006;湖南师范大学,物信院,湖南,长沙,410006
【正文语种】中文
【中图分类】TN911
【相关文献】
1.一种改进的FastICA算法及其在fMRI数据中的仿真应用 [J], 彭尧;熊馨
2.基于峭度的FastICA改进算法 [J], 刘辉;高巧玲
3.一种改进的基于峭度指标的FastICA算法 [J], 孟令博;耿修瑞;杨炜暾
4.一种改进的FastICA算法在语音信号盲源分离中的应用 [J], 朱立娟;赵风海
5.一种改进的基于峭度指标的FastICA算法 [J], 孟令博;耿修瑞;杨炜暾;;;;
因版权原因，仅展示原文概要，查看原文内容请购买。
一种改进的FastICA算法及其应用
Abstract: Independent Com ponent A nalysis ( ICA ) is a signal ana lysism e thod based on high orde r cum ulants of signals and it can find out the la tent independent com ponents in da ta. R ecently ICA has been w ide ly used in m any fie lds such as speech recogn ition, im age processing, te lecommunication sy stem e tc. T he FastICA is the m ost popu lar a lgo rithm for ICA at present, and it uses N ew ton ru le to optim ize the objective function. T his algorithm can converge speedily bu t is no t robust to in itia lization. In order to overcom the drawbacks, one dim ens ion search w as im posed on the d irection of N ew ton itera tive. T he improved a lgor ithm can ensure the convergence o f the resu lts and is robust to in itia lization. W hen the improv ed a lgo rithm is used to detect the m oving targ et, the experim ental resu lts show tha t it is a robust m ethod.
牛顿迭代法的优化算法和改进方法
牛顿迭代法的优化算法和改进方法牛顿迭代法是一种求解非线性方程的方法，在数值计算中被广泛使用。
它基于函数的一阶和二阶导数信息，通过不断逼近零点来求解方程。
然而，牛顿迭代法在实际应用中也存在一些问题，例如收敛速度慢、收敛精度不稳定等等。
为了克服这些问题，人们提出了一系列的优化算法和改进方法，以提高牛顿迭代法的效率和精度。
一、牛顿迭代法的基本原理牛顿迭代法通过不断逼近函数的零点来求解方程，具体步骤如下：1.选取初始点$x_0$；2.根据函数$f(x)$在$x_k$处的一阶和二阶导数信息，计算出$x_k$处的切线和二次曲面，并求出它们与$x$轴（即解的数值）的交点$x_{k+1}$；3.将$x_{k+1}$作为新的初始点，重复步骤2，直至满足收敛条件。
其中，收敛条件通常为$|f(x_{k+1})|<\epsilon$，其中$\epsilon$为预设的误差限。
二、牛顿迭代法的优化算法虽然牛顿迭代法具有较高的精度和收敛性，但在实际应用中，它的收敛速度有时会很慢，甚至不能收敛。
为解决这些问题，人们提出了以下的优化算法。
1.牛顿-拉夫森方法牛顿-拉夫森方法是牛顿迭代法的一种变体，它在求解$x_{k+1}$时，采用了一种修正迭代式：$$x_{k+1}=x_k-f(x_k)/f'(x_k)+O(f''(x_k)f(x_k)^2)$$该方法通过引入$f''(x_k)$来修正$x_{k+1}$的值，进一步减小迭代误差，加快收敛速度。
但该方法的计算量比牛顿迭代法大，需要对$f''(x_k)$进行严格求解。
2.海森矩阵的简化牛顿迭代法海森矩阵是牛顿迭代法中最重要的部分，它在计算二次曲面时起着关键作用。
然而，海森矩阵的计算量很大，而且在高维问题中可能变得非常不稳定。
为了减少计算复杂度和提高数值稳定性，人们提出了一种简化的牛顿迭代法，即使用$f'(x_k)$代替海森矩阵$f''(x_k)$，从而简化了计算过程并提高了数值稳定性。
改进的快速复值FastICA算法研究
作者简 介： 赵立权 （９ ２ ， ， １８ 一） 男 黑龙江省哈尔滨市人 ， 东北 电力大学 信息工程学院副教授 ， 博士 ， 主要研究方 向： 盲信号处理
８８
东北 电 力 大 学 学报
第３ ２卷
Ｘ ＝Ａ ： （ Ａ ） Ｐ Ｓ Ｓ Ａ Ｐ （ Ａ ）＝Ａ Ｓ ， ～
（） ２
式 中 ： ＝ｄａ （：， １ ， ， ） ｏ 和 为 任意不 为零 的值 ； Ａ ｉｇ ０ｅ ７ １ ，１ … ０ １ ， ，
是 Ａ的逆 矩阵 ； Ｐ是任 意可逆 的
改进 的复值 ＩＡ算 法 。 Ｃ
１ 复 值 ＩＡ数 学 模 型 Ｃ
复值 ／Ａ 的基 本数 学模 型如 下 ： Ｃ
Ｘ（ ）＝Ａ （）， ｔ Ｓｔ （） １
式 中， （）∈Ｃ 为观测到的ｍ维复值混合信号 ， Ｘｔ Ａ∈Ｃ 为复值可逆混合矩阵 ，（）∈Ｃ 为 ｎ Ｓｔ 维 相互之间统计独立的复值信源信号 。 下文为了书写方便 ， 省略时间变量 ｔ 。 Ｉ Ａ的基本假设条件只是为了保证 ＩＡ算法有解 ， Ｃ Ｃ 但是毕竟信源信号 ｓ 和混合矩阵 Ａ都未知 ， 因此 通 过 ＩＡ Ｃ 算法得到的信源信号的估计 Ｙ Ｈ ＊ 对信源信号Ｊ ｓ 存在一定的不确定性 。 例如式（ ） １ 可以写成如下 形式 ：
率， 收敛 速度 快的逆 矩阵 。 阵 和 Ｐ是任 意 的 ， Ｊ Ｐ 矩 那么得 到 Ａ ＝Ａ Ｐ 和 Ｓ ５ 是任 意 Ａ ＝ 也
的， 但是 Ａｓ 得到的混合信号 是固定的 ， 所以复值 ＩＡ对接收到的信号 Ｘ进行分离 ， Ｃ 得到的对信源信 号的估计信号可能是 ｓ 或者 ． ５ 和 ５的幅度 、 ｓ ， 相位和顺序不一样 ， 因此产生了复值 ＩＡ对信源信号估 Ｃ 计的不确定性 。 ＩＡ研究中， 在 Ｃ 人们更多关注的是信号的波形 ， 只要分离信号和信源信号的波形一样 ， 就 认 为算 法是有 效 的 。
ICA快速算法原理和程序
实验2：FastICA 算法一．算法原理：独立分量分析（ICA ）的过程如下图所示：在信源()s t 中各分量相互独立的假设下，由观察()x t 通过结婚系统B 把他们分离开来，使输出()y t 逼近()s t 。
图1-ICA 的一般过程ICA 算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类，从原理上来说，它们都是利用了源信号的独立性和非高斯性。
基于信息论的方法研究中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。
如FastICA 算法, Infomax 算法，最大似然估计算法等。
基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。
本实验主要讨论FastICA 算法。
1. 数据的预处理一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过程，而且，通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较好。
若一零均值的随机向量()T M Z Z Z ,,1Λ=满足{}I ZZ E T =，其中：I 为单位矩阵，我们称这个向量为白化向量。
白化的本质在于去相关，这同主分量分析的目标是一样的。
在ICA 中，对于为零均值的独立源信号()()()[]T N t S t S t S ,...,1=，有：{}{}{}j i S E S E S S E j i j i ≠==当,0，且协方差矩阵是单位阵()I S =cov ，因此，源信号()t S 是白色的。
对观测信号()t X ，我们应该寻找一个线性变换，使()t X 投影到新的子空间后变成白化向量，即：()()t X W t Z 0= （2.1）其中，0W 为白化矩阵，Z 为白化向量。
利用主分量分析，我们通过计算样本向量得到一个变换T U W 2/10-Λ=其中U 和Λ分别代表协方差矩阵X C 的特征向量矩阵和特征值矩阵。
一种改进的FastICA信号盲分离算法
ｇｎ ．ｎｔｉ ｐｐ ｒａ ｇ ｒｈ ｊｉｔ ｓ ｇＮｅ ｏ ｎ Ｆｓ Ｃ ｉ ｐｏ ｏｅ ｄｅｐ ｒ ｎ ｎｓ ｅ ｅ ｔＩ ｓ ａｅ， ｎａ ｏｉ ｍ ｎｌ ｕｉ ｗｔｎａ ｄＭ— ａｔ Ａ ｒｐ ｓｄａ ｘ ｅ ｍｅ ｔ ｏ ｎ ， ｈ ｌ ｔ ｏ ｙ ｎ ｌ ｓ ｎ ｉ ｓ ｉ
了 ＩＡ技术 。ＩＡ包括极大似然估计方法 、 Ｃ Ｃ 最大熵方
２ Ｆ ｓｌ ａｔ ＣＡ原 理
Ｆｓ Ｃ ａ ｌＡ算法通过最大化各分量 的非高斯性来进行 ｔ
盲分离。
一
法、 最小互信息方法 、 高阶累积量方法【等等 ， １ 这些算法 都是通过利用分离后的信号各个分量之 间的最 大独立 性来建立对 比函数 ， 并通过最大或最小化对比函数得到 分离矩阵。Ｆｓ Ｃ ［ 收敛速度快的优点 ， ａｔ Ａｓ ｌ 唷 但是对分离
ｆ ｃｉ ｎ ｂ ｔｂ ｉｇ ｓｎ ｉｖ ｏ ｔｅｉ ｉ ａｉａ ｏ ｆｔｅｓｐ ｒｔ ｎ ｍ ａｒ ｎ ｏ ｔｍｅｂ ｃ ｍｉ ｇ ｎ ｎ ｏ ｖ ｒ ｕｎ ｔ ， ｕ ｅｎ ｅ ｓ ｉｅｔ ｈ ｎｔ ｌ ｔ ｎ ｏ ｅ ａａ ｏ ｔｉ ａ ｄ ｓ ｍｅ ｏ ｔ ｉ ｚｉ ｈ ｉ ｘ ｉ ｅ ｏ ｎ ｏ ｃ ｎ ｅ—
种非高斯性度量 的标准是负熵 ， 其定义为 ：
Ｊ ）Ｈｘ． Ｈ ｘ （ ＝ （ 一 （） ｘ （） １
收稿 日期 ： １— ４ ２ ２ ００ —８ ０
总第 １ 期 １ ０
李 睿， ： 等 一种改进的 ＦｓＣ ａ ｌＡ信号盲分 离算法 ｔ
fastica
ICA的目的是使输出信号 Y尽可能独立，而 KL散度（或互信息）则是统计独立性的最佳测 度。
由输出信号各分量间的互信息公式、中心极限定 理可知： 在分离过程中，通过对分离结果的非高斯性度 量来判定分离结果间的相互独立性。当非高斯性度 量达到最大时，表明已经完成对各个独立分量的分 离。 负熵定义为
由信息论得寻求负熵最大化的方向就是求解非高斯性 最大化分量。由于无法知道F(Y)，实践中，负熵近似为
应用FAST-ICA算法对所给地化数据得到能量 最大的独立分量为： Y=0.7213×AU+0.3829×AG+0.5361×CU+0.201 1×PB-0.068×ZN
由系数可以看出，对独立分量Y的影响较大的元 素是CU和AU，所以可以判定Y是我们要寻求的成矿 元素组合，而CU和AU是矿致的指示元素。
其中，KI是正的常量；V是标准的高斯随机变量，函 数G是非二次型函数，较好地选择G可以得到稳健的 估计器。通常情况下，G的形式为
其中， a1 , a2
[1,2]
FAST-ICA反演化探数据元素组合模型
为使负熵最大化，获得最优的
根据KUHN-TUCHKER条件，经过简化给出的FAST-ICA 迭代
基本思路：将多维观察信号按照统计独立 的原则建立目标函数，通过优化算法将观测信号 分解为若干独立成分，从而帮助实现信号的增强 和分析。
ICA的基本框图：
独立分量分析有多种算法，如基于代数 结构的AMUSE,SOBI,JADE以及基于信息 论的FAST-ICA和INFO-MAX。
FAST-ICA的收敛速度快，且有一定的精度保证。 FAST-ICA算法能够更科学的去除元素组合之间 的相关性，得到的元素组合比传统方法更具有说服 力。 从处理技术上看，依据独立性分解势必涉及概 论密度函数或高阶统计量，而处理过程常常要引入 非线性环节。而地球化学数据从本质上将也是非线 性的，所以应用该技术来对地球化学数据进行处理 是合理的、可行的。从这一意义上看，FAST-ICA技 术优越于常用的只建立在二阶统计量的线性处理技 术。
改进的FastICA算法在雷达信号分选中的应用
关键 词 ： 雷达信号分选 ； 改进的Ｆ ｓ Ｃ ａｔ Ａ算法； Ｉ 盲源分离 中 图分 类 号 ： Ｎ ５．１ Ｔ ９７５ 文献标 识码 ： Ａ 文 章编 号 ： Ｎ ２１１ （０１０—０５ ４ Ｃ ３—４３２１）６ ７— ０ ０
Ａｐｐ ｉ ａ ｉ ｎ ｏ ｍ ｐ ｏ ｅ ｓ ｌ ｌｃ ｔｏ ｆＩ ｒ ｖ ｄ Ｆａ ｔ ＣＡ ｇ ｒ ｔ ｍ ｏ Ｒａ ｒ Ｓ ｇ ａ ｏ ｔｎ Ａｌ ｏ ｉｈ ｔ ｄａ ｉ ｎ ｌＳ ｒ ｉ ｇ
ａ ｆ ｗ ｅ ｒ ． ｉ ｐｅ ｍｐ ｏ ｅ ｈｅ ｔ ａ ｔｏ ｌＦａ ｔＣＡ ， ｎｄ ａ ｌｅ ｔｔ ａ ａ ｉ ｌｓ ｒ ｉ ｇ． ｅ ｙ ａ ｓ Ｔｈ ｓｐａ ｒ ｉ ｒ ｖ ｓｔ ｒ ｄｉｉｎａ ｓ Ｉ ａ ｐｐ ｉ ｓｉ Ｏ ｒ ｄ ｒ ｓｇｎａ ｏ ｔｎ Ｔｈｅ ｓｍ ｕ ａ ｉ ｎ ｅ ｅ ｉ ｎｔｐ ｏｖ ｓｔ ｔｉ ａ ｂｔ ｉ ｏｄ ｅ ｆ ｃ ａ ａ ｉ ａ ｅ ｅ ａ ｉ ａ ｆ ｒ ａ ｉ ｌ ｔｏ ｘｐ ｒｍｅ ｒ ｅ ｈａ ｔｃ ｎ ｏ ａｎ ａ ｇｏ ｆｅ ｔｏｆｒ ｄ ｒｓｇｎ ｌｓ ｐ ｒ ｔｏｎ， ｎｄ ｏｆｅ ｎｅ ｗａ ｏ ａ ａ ｉ ｎａ ｏ ｔｎ ｗ ｙ ｆ ｒ ｒ ｄ ｒ ｓｇ ｌｓ ｒ ｉ ｇ．
ｍ
统首 先要 具备 的 信号处 理 能力就 是 能够对 随机 交迭 的信 号 流进行 自动分 选 ， 以雷 达 信 号 分 选技 术 是 所 整个 电子 侦察 系统 的关 键技 术之 一 。传统 的信 号分 选 主要是 基于 统计 的思 想 ， 过 对 雷 达 脉 冲流 的脉 通 冲重 复 间隔 （ Ｒ ） 析 ， 据 Ｐ 的调 制 方式 ， 对 Ｐ Ｉ分 依 ＲＩ 将
２１ ０ １年 １ ２月
舰 船 电 子 对 抗
信号分离
基于FastICA算法的信号分离英才实验学院09级三班王务鹏（2901312005）【摘要】独立成分分析（ICA）作为一种盲信号分离的主流方法之一，在生物医学信号处理，语音信号识别，图像处理及移动通信等领域得到了广泛的应用。
本文使用一种基于负熵的FastICA算法，运用牛顿迭代法，从而加强了算法效率，实现对混合音频信号的快速分离。
【关键词】独立成分分析（ICA）负熵牛顿迭代法信号分离【引言】独立分量分析（independent component analysis，ICA）是近年来发展起来的一种新的信号处理技术。
独立分量分析在通信、阵列信号处理、生物医学信号处理、语音信号处理、信号分析及过程控制的信号去噪和特征提取等领域有着广泛的应用，还可以用于数据挖掘。
在复杂的背景环境中所接收的信号往往是由不同信源产生的多路信号的混合信号。
ICA方法是基于信源之间的相互统计独立性。
与传统的滤波方法和累加平均方法相比，ICA在消除噪声的同时，对其它信号的细节几乎没有破坏，且去噪性能也往往要比传统的滤波方法好很多。
而且，与基于特征分析，如奇异值分解（SVD）、主成分分析（PCA）等传统信号分离方法相比，ICA是基于高阶统计特性的分析方法。
在很多应用中，对高阶统计特性的分析更符合实际。
独立分量分析在通信、阵列信号处理、生物医学信号处理、语音信号处理、信号分析及过程控制的信号去噪和特征提取等领域有着广泛的应用，还可以用于数据挖掘。
本文运用牛顿迭代法，改变了原迭代方式，获得了更好的收敛效果，加强了算法效率，更快的实现了信号的分离。
【正文】1. ICA基本模型和牛顿迭代法1.1基本模型假设有一组观测信号，它是由源信号经由某种法则混合而成（，即传感器数目要大于源信号个数）。
现在的问题即为从中获得。
在ICA基本模型中，假设混合是线性的，则，其中，，A为混合矩阵，其值未知。
此模型的基本假设是：源信号之间是统计独立的随机变量，且最多只有一个是高斯分布的。
一种改进的FastICA算法在运动想象脑电信号识别中的应用
１ ． １ Ｉ Ｃ Ａ算法原理。 独立成分分析法可视作主成分分析法 的一种扩展。 主成分分析关注信号的二阶统计量， 研究信号间
的相关 关 系 ， 而独 立成 分分 析则是 基于信 号 的高 阶统计 量 ， 研 究信号 间的独 立关 系。
照， 则观测信号比源信号更接近高斯分布， 或者说源信号的非
数据处理的实验流程。通过两组实验的对比，得出结果 ，改进的算法较原算法提高了数据处理速度 ，
Ｉ ＣＡ算法 更适合 于 多任 务或 多通 道 的运动 想 象脑 电信号 识 别。本 文 的研 究结论 为更 好地 选择ＢＣ Ｉ 算 法 奠定 了理论 基础 。 关键 词 ：独立成 分分析 （ Ｉ Ｃ Ａ）；负熵 ；牛 顿迭代 法 ；脑机接 口 （ ＢＣ Ｉ ）
引言
脑一一 计算机接 口（ ｂ ｒ ａ ｉ ｎ — ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ ｉ ｎ ｔ ｅ ｒ ｆ ａ ｃ ｅ ， Ｂ Ｃ Ｉ ） 技 术
绕开 了外周神经 和肌 肉等 正常的脑与外 界交流 的途 径 ， 通 过分
。
一
） ＝ Ａ Ｓ （ ｔ ） ， 其中Ａ （ Ｍ× Ｎ ） 为 混 合 矩阵（ Ｎ Ｍ）
从 观 测 信 号Ｘ （ ｔ ） 中 提 取 源 信 号 （ ｆ ） 的 解 决 思 路 是 寻 找
个ＮＸ 维解混矩阵 ， 使 ｔ ｔ ） 经过 变换后得
Ｙ （ ｔ ） ＝ Ｗ Ｘ（ ｔ ） ＝ Ｗ Ａ Ｓ （ ｔ ） （ １ ）
为了确保 Ｉ Ｃ Ａ基本模型是可解 的， 必须作出如下假设和
征尽可能相 互独 立 ［ ５ １ ｏ Ｉ Ｃ Ａ 的基 本模 型如 图 １ 所示 。
本 文所用 的基 于负熵 的 Ｆ ａ ｓ ｔ Ｉ Ｃ Ａ算 法就是 根 据 非高 斯 性
针对FastICA计算终点判断的算法改进
ｃ ｍｐ ｎ ｎ （Ｃ）ｓ ｉ ｕｅ ｏ ｔ ｎ ａｔＣ ｔｅ ｎ ｘ Ｃ ｓ ｉ ｕｅ ｏ ｔ ｒｍ ｔｅ ｙｔｍ ｅ ｉｉｇ ｎｏｍａｉｎＣ ｍｐ ｔ ｇ ｏ ｏ ｅ ｔ Ｉ ｉ ｇ ｒｄ ｕ ｉ Ｆ ｓＩ Ａ，ｈ ｅ ｔＩ ｉ ｇ ｒｄ ｕ ｆ ｆ ｆ ｏ ｈ ｓｓｅ ｒｍａｎｎ ｉｆｒ ｔ ．ｏ ｕｉ ｏ ｎ
ａｔｅｒ ｌｔ ｎ ｖｌｅ ｏ ｅ ａｎｎ ｎ ｒ ａｏ ｎ ｕ ｇｎ ｔ ａ ｒ ｕｅｔｅ ｃｍ ｕａｏ ｎ ｏ ｔｏ Ｃ ｓｆｕ ｄ ｏｔ ｕｏｏ ｅａ ｏ ａｕ ｆｒｍ ｉｉ ｉｆｍ ｔ ｎ ａｄ ｊｄｉｇ ｉ ｔ ｂ ｔ， ｏ ｐ ｔ ｉ ｅｄ ｐ ｉ ｆＩＡ ｉ ｏ ｎ ｕ ｉ ｇ ｏ ｉ ｓ ｔ ｉ ｈ ｔｎ ｎ
维普资讯
针对 Ｆ ｓ Ｃ ａｔ Ａ计算终点判 断的算法 改进 Ｉ
姚 志 湘 ｔ 粟 晖 刘 焕 彬 ｚ
（ 西工 学院 生物 与化 学工程 系， 州 ５ ５ ０ ） 广 柳 ４ ０ ６
（ 南理 工大 学制浆 造纸 工程 国 家重点 实验 室 ， 州 ５ ０ ４ ） 华 广 １ ６ ０
ｔ ｅ ｈ ｍｐ ｖｄ ａ ｏ ｔｍ ｃｎ ｊｄ ｅ ａｔｍ ｔ ａｙ Ｉｓ ｎｍｂｒｏ ｉｅｒｓｓ ｍ ｃｎａ ｅ ｏｓ ｏ ｐ ｒｄ ｗｔ Ｃ ｉ ． ｅ ｉ ｒ ｅ ｌ ｒｈ ａ ｕ ｇ ｕｏ ａｉ ｌ Ｃ ｕ ｅ ｆｌ ａ ｙｔ ｏｔｉ ｄ ｎ ｉ Ｃ ｍ ａｅ ｉ ＩＡ ｍ Ｔ ｏ ｇｉ ｃｌ ｎ ｅ ｎ ｅ ｈ
独立分量分析在脑电信号混合噪声分离中的应用
独立分量分析在脑电信号混合噪声分离中的应用摘要：在脑电信号的采集和处理过程中，常常受到各种噪声伪迹的干扰。
本文将独立分量分析（Independent Component Analysis，ICA）技术应用在脑电信号的眼电噪声分离问题上。
本文分别使用四种常用的ICA算法：二阶盲识别(SOBI)、Hyvarinen不动点算法(FastICA)、Infomax和联合逼近特征矩阵对角化(JADE)用于脑电信号的眼电伪迹分离，并使用MATLAB作为实验平台，采用格茨数据集2a，针对四种算法的运行时间及分配内存进行了实验对比。
实验结果表明，SOBI算法的MATLAB实现表现了最好的综合性能。
相较其他三个ICA算法，SOBI 算法能够在分配内存较小的情况下快速准确地去除脑电信号中的噪声。
关键词：独立分量分析（ICA）；脑电信号（EEG）；盲源分离(BSS)；1.引言脑电信号（ElectroEncephaloGrapgy,EEG）是一类反映大脑活动的微弱生物电信号，其中包含了大量的生理和病理信息，在研究人脑功能、疾病预防及诊断等方面，EEG信号发挥了非常重要的作用。
但是在脑电信号的采集过程中，经常受到诸如眼电、肌电、心电等外界的干扰，使得采集到的脑电信号中包含了严重的噪声伪迹，影响了脑电信号的分析及分类识别。
因此，如何在确保不丢失脑电信号的前提下消除噪声伪迹，是脑电信号预处理阶段的一个首要研究内容。
盲源分离（Blind Sourse Separation，BSS）是盲信号处理领域中的一个主要研究方向，盲源分离算法能从观测到的混合信号中，提出未知的“源”信号。
多导联采集到的EEG信号是由多个脑电“源”信号经由头部的容积传导效应混合形成的，因此，利用盲源分离的脑电信号分析方法能够有效地基于头皮空间域进行脑电信号分析。
国内外学者提出了许多盲信源分离方法，其中基于统计独立性的独立分量分析（Independent Component Analysis，ICA）方法应用最为广泛。
改进的FastICA算法研究
改进的FastICA算法研究张杰;刘辉;欧伦伟【摘要】独立分量分析是目前盲源分离算法中最常用的一种方法，其中快速独立分量分析（FastICA）以其收敛速度快而被广泛应用，但FastICA对初始值的选择比较敏感，而且在使用牛顿迭代法时，每迭代一步都需要计算一次函数值和一次导数值，当函数比较复杂时，计算它的导数值往往不方便，用单点弦截法进行迭代，将最速下降法与单点弦截法结合，在保证分离效果的同时使FastICA的迭代次数减少，同时使计算式更加简洁，而且减小了对初始值的敏感性，仿真实验验证了其有效性。
%Independent Component Analysis(ICA)is the blind source separation algorithm which is one of the most com-monly used methods. And the Fast Independent Component Analysis(FastICA)with its convergence speed is widely used. But FastICA is sensitive to the choice of initial value, and in the use of Newton iterative method, each iteration step is needed to calculate a function value and a derivative value. When the function is more complex, computing its derivatives is often not convenient. This paper uses the single point string section method to iterate. Combining the steepest descent method with the single point string section method, while ensuring the separation effect, it makes FastICA iterative times reduce. At the same time it makes the calculation type more concise, and reduces the sensitivity to the initial value.【期刊名称】《计算机工程与应用》【年(卷),期】2014(000)006【总页数】4页(P210-212,218)【关键词】Fast独立分量分析(ICA);牛顿法;弦截法;最速下降法;负熵【作者】张杰;刘辉;欧伦伟【作者单位】湖南师范大学物理与信息科学学院，长沙 410081;湖南师范大学物理与信息科学学院，长沙 410081;湖南师范大学物理与信息科学学院，长沙410081【正文语种】中文【中图分类】TN911.7独立分量分析（Independent Component Analysis，ICA）[1]是为解决盲信号分离而逐渐发展起来的，近些年成为信号处理和数据分析的有力工具。
ICA快速算法原理和程序
实验2：FastICA 算法一．算法原理：独立分量分析（ICA ）的过程如图所示：在信源()s t 中各分量相互独立的假设下，由观察()x t 通过解混系统B 把他们分离开来，使输出()y t 逼近()s t ！图1-ICA 的一般过程ICA 算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类，从原理上来说，它们都是利用了源信号的独立性和非高斯性。
基于信息论的方法研究中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。
如FastICA 算法, Infomax 算法，最大似然估计算法等。
基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。
本实验讨论FastICA 算法。
1. 数据的预处理一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过程，而且，通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较好。
若一零均值的随机向量()TM Z Z Z ,,1 =满足{}I ZZ E T =，其中：I 为单位矩阵，我们称这个向量为白化向量。
白化的本质在于去相关，这同主分量分析的目标是一样的。
在ICA中，对于为零均值的独立源信号()()()[]TN t S t S t S ,...,1=，有：{}{}{}j i S E S E S S E j i j i ≠==当,0，且协方差矩阵是单位阵()I S =cov ，因此，源信号()t S 是白色的。
对观测信号()t X ，我们应该寻找一个线性变换，使()t X 投影到新的子空间后变成白化向量，即：()()t X W t Z 0= （2.1）其中，0W 为白化矩阵，Z 为白化向量。
利用主分量分析，我们通过计算样本向量得到一个变换T U W 2/10-Λ=其中U 和Λ分别代表协方差矩阵X C 的特征向量矩阵和特征值矩阵。
fastica用到的公式
fastica用到的公式FastICA算法的目标是找到一个矩阵W，使得Y = WX，其中Y是分离后的信号矩阵。
为了实现这个目标，FastICA算法使用最高高波幅度（non-gaussianity）的度量，如峭度（kurtosis），来度量成分的非高斯性，从而区分成分之间的独立性。
具体来说，FastICA使用以下公式：1.中心化：首先，对混合信号矩阵X进行中心化操作，即减去每一列的均值，得到矩阵X_c：X_c = X - mean(X)2.随机初始化：对于混合信号的维度d，随机初始化投影矩阵W为一个d×d的正交矩阵。
正交矩阵满足WTW=I，其中I是单位矩阵。
3.迭代更新：迭代更新W，使得Y=WX的各个维度非高斯。
具体的迭代更新公式为：w_new = E{Xg(w_old^T X)} - E{g_prime(w_old^T X)}w_old其中，g是一个非线性函数，常用的选择有tanh、exp、cube等。
w_old是上一轮迭代得到的投影矩阵w，w_new是本轮迭代得到的新的投影矩阵w，E代表求期望。
g(w_old^T X)和g_prime(w_old^T X)分别代表g函数和g的导数关于w_old^T X的值。
4.正交化：在每次迭代更新后，为了保证投影矩阵W正交，需要对W进行正交化处理。
一般采用Gram-Schmidt正交化方法来实现。
5.终止条件：迭代更新的终止条件可以是达到设定的最大迭代次数，或者前后两次更新之间的变化小于一些阈值。
上述的迭代步骤会不断进行，直到满足终止条件为止。
最终得到的投影矩阵W即为所求的独立成分。
需要注意的是，FastICA算法对信号的非高斯性做了一定的假设，因此在实际应用中，对信号的非高斯性检验是必要的。
如果信号的成分是高斯分布的，FastICA算法可能无法正确地将其分离出来。
此外，对于信号混合过程中存在非线性映射的情况，FastICA算法的效果也有可能受到影响。
ica算法及其性能分析
ica算法及其性能分析第三章 ICA算法及其性能分析 3.1典型的ICA算法自从1994年Common提出独立分量分析算法以来，独立分量分析算法在国际学界备受瞩目，同时也得到极大发展。
各国学者纷纷投入极大的精力来对此算法进行研究。
在此基础上，独立分量分析算法在发展出了许多小的分类基础算法如最大似然估计算法、最小互信息算法、最大熵算法、H-J算法、FastICA(又称固定点算法)算法和非线性ICA算法等。
我们在第三章中将着重介绍几种比较重要的算法。
3.1.1 最大熵算法[24] Bell和Sejnowski是把Linskers的在处理任意分布的非线性情况的输入信号的时候采用非线性函数间接获得高阶累计量，在这种情况下使用了信息传输最大化理论(最大熵)理论。
而解决盲源分离问题则是利用了如果要求输出信号之间的空间最小则传输信息量最大的的原理。
而当要求输出最大熵时说明当时的状态是从输入端传到输出端信息量最大，同时又有最大的输入和输出互熵。
因此Linkers的最大信息原理其实也可以描述成当输入与输出的信息量最大时，可逆[56] 变换函数G的变化最大部分与输出变量的变化最大部分重合。
当使用人工神经网络时我们可以设置输出向量为u= wx，但是如果想要得到1y,gu,输出向量时，则需要将sigmoid函数代入非线性函数g(?)。
而最，，,u1，e大熵算法的迭代公式则可以通过随机梯度下降法对输出信号y的微分熵H(y)推[24]导出来。
其中学习率为α，全1矩阵为I。
同理，采用类似的随机梯度下降法进行推导时取y = tanh(u)，即非线性函数g(?)用tanh函数的形式表达也可推导出如下迭代公式:然后将已设置的输出向量u= wx代入y = tanh(u) 可得的y= tanh(wx)代入(3.2)式得:III最后通过自然梯度算法经过推导得出迭代公式:由于非线性sigmoid函数在算法中使用 (logistic函数的对数函数的再进行导数是sigmoid函数)，所以算法对于非超高斯分布的源信号无法分离，只能分离出超高斯的源信号。
基于改进FastICA算法的入侵检测样本数据优化方法
基于改进FastICA算法的入侵检测样本数据优化方法杜晔;张亚丹;黎妹红;张大伟【摘要】为更好实现对入侵检测样本数据的优化处理,提出了一种改进的快速独立成分分析(FastICA)算法,采用基于加权相关系数进行白化处理以减少信息损失,并优化牛顿迭代法使其满足三阶收敛.对算法进行了细致描述,分析了算法的时间复杂度.实验结果表明,该方法可有效减少数据信息损失,具有迭代次数少、收敛速度快等优点,可有效提高入侵检测样本数据的优化效率.【期刊名称】《通信学报》【年(卷),期】2016(037)001【总页数】7页(P42-48)【关键词】入侵检测;快速独立成分分析;数据优化;牛顿迭代法【作者】杜晔;张亚丹;黎妹红;张大伟【作者单位】北京交通大学计算机与信息技术学院,北京100044;北京交通大学计算机与信息技术学院,北京100044;北京交通大学计算机与信息技术学院,北京100044;北京交通大学计算机与信息技术学院,北京100044【正文语种】中文【中图分类】TP393随着信息技术的发展，网络已经渗入到人们工作、生活的方方面面，带来了巨大的便利。
但随之而来的是，针对网络的攻击也层出不穷，入侵计算机系统的手段方法不断增加，已呈智能化与协同性发展。
根据国家互联网应急中心（CNCERT）发布的《2013年我国互联网网络安全态势综述》[1]，2013年CNCERT监测发现境内有1.5 万台主机被APT木马控制，6.1万个网站被境外通过植入后门实施控制，1 090万余台主机被境外控制服务器控制。
网络攻击事件的频繁发生，不仅对广大网民利益造成了影响，更对社会经济和国家安全造成威胁和挑战。
为了保护系统资源，作为一种积极、主动的动态防护技术，入侵检测的研究与发展就愈发显得重要。
1980年，John Anderson的报告“Computer security threats monitoringand surveillance”[2]被认为是最早涉及到入侵检测领域的文献。
星载AIS的复值FastICA算法改进
星载AIS的复值FastICA算法改进马社祥;马艳军【摘要】针对星载船舶自动识别系统( AIS )的含噪复值信号盲分离算法分离效果不佳的问题，提出了改进的复值快速独立分量分析算法( FastICA)。
该改进算法针对混合信号数目大于源信号数目的超定情况，对含噪混合信号的协方差矩阵进行特征值分解，利用其噪声对应的几个较小特征值估计噪声方差，修正白化矩阵，再应用Huber M估计函数优化该算法的目标函数。
实验结果表明，运用该算法信号均方误差( SMSE)变小，信干比( SIR)变大，提高了信号的分离性能；同时，优化后的目标函数使算法具有良好的稳健性。
%For the problem that the performance of blind separation for noised satellite-based automatic i-dentification system( AIS) signal is not satisfying, an improved complex fast independent component analy-sis( FastICA) algorithm is presented. The proposed algorithm obtains the covariance matrix by the mixed signals under overdetermined case in which the number of mixed signal is greater than that of source sig-nal,and then the covariance matrix is decomposed to get the eigenvalues,the small ones to which noise cor-responds are used to estimate the approximate noise variance and improve the whitening matrix,and Huber M-estimation function is applied to optimize objective function of the algorithm. The experimental results show that the proposed algorithm has lower signal mean squareerror( SMSE) and larger signal to interfer-ence ratio( SIR) ,so it can improve the separation performance. At the same time,the optimized objective function makes the algorithm robust.【期刊名称】《电讯技术》【年(卷),期】2015(000)006【总页数】6页(P639-644)【关键词】星载AIS;复值快速独立分量分析;白化矩阵 Huber;M估计函数【作者】马社祥;马艳军【作者单位】天津理工大学计算机与通信工程学院，天津300384;天津理工大学计算机与通信工程学院，天津300384【正文语种】中文【中图分类】TN911.72船舶自动识别系统(Automatic Identification System,AIS)[1]是一个具有船舶自动识别、通信和导航能力的新型助航电子系统。
一种基于十五阶的FastICA改进算法
一种基于十五阶的FastICA改进算法罗文娟;袁莉芬;何怡刚【摘要】Fast Independent Component Analysis(FastICA)has attached broad attention as its fast convergence. However, if the initial vectors are chosen incorrectly, the algorithm may converge slowly or even not converge. The FastICA algorithm based on the-fifteen order Newton iterative correction form is improved by modifying kernel iterative process aiming to solve the problem that basic FastICA algorithm is sensitive to initial vectors. The improved algorithm convergence is inde-pendent on the initial values, and has a faster convergence speed compared with the basis FastICA. Simulation experiments show that the iteration number decreases with more stable convergence speed compared with the basis FastICA.%快速独立分量分析（FastICA）因其收敛速度快而被受关注，但存在初始值选取不当可能导致算法的收敛速度减慢甚至不收敛的问题。
针对基本牛顿迭代FastICA算法对初始值选择比较敏感的缺点，以最大化负熵为目标函数，引入十五阶牛顿迭代的修正形式对FastICA算法的核心迭代过程进行改进，改进算法的收敛性不再依赖于初始值的选择，而且具有更快的收敛速度。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ICA用牛顿迭代法改进的FastICA算法ICA算法原理：独立分量分析（ICA）的过程如下图所示：在信源()st中各分量相互独立的假设下，由观察xt通过结婚系统B把他们分离开来，使输出yt逼近st。
图1-ICA的一般过程ICA算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类，从原理上来说，它们都是利用了源信号的独立性和非高斯性。
基于信息论的方法研究中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。
如FastICA算法, Infomax算法，最大似然估计算法等。
基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。
本实验主要讨论FastICA算法。
1. 数据的预处理一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过程，而且，通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较好。
若一零均值的随机向量满足，其中：I为单位矩阵，我们称这个向量为白化向量。
白化的本质在于去相关，这同主分量分析的目标是一样的。
在ICA中，对于为零均值的独立源信号，有：，且协方差矩阵是单位阵cov( S ) = I，因此，源信号S( t )是白色的。
对观测信号X( t )，我们应该寻找一个线性变换，使X( t )投影到新的子空间后变成白化向量，即：其中，W0为白化矩阵，Z为白化向量。
利用主分量分析，我们通过计算样本向量得到一个变换其中U和 分别代表协方差矩阵XC的特征向量矩阵和特征值矩阵。
可以证明，线性变换W0满足白化变换的要求。
通过正交变换，可以保证因此，协方差矩阵：再将代入且令有由于线性变换A~连接的是两个白色随机矢量Z( t )和S( t )，可以得出A~ 一定是一个正交变换。
如果把上式中的Z( t )看作新的观测信号，那么可以说，白化使原来的混合矩阵A简化成一个新的正交矩阵A~。
证明也是简单的：其实正交变换相当于对多维矢量所在的坐标系进行一个旋转。
在多维情况下，混合矩阵A是N*N 的，白化后新的混合矩阵A~由于是正交矩阵，其自由度降为N*(N-1)/2，所以说白化使得ICA问题的工作量几乎减少了一半。
白化这种常规的方法作为ICA的预处理可以有效地降低问题的复杂度，而且算法简单，用传统的PCA就可完成。
用PCA对观测信号进行白化的预处理使得原来所求的解混合矩阵退化成一个正交阵，减少了ICA的工作量。
此外，PCA本身具有降维功能，当观测信号的个数大于源信号个数时，经过白化可以自动将观测信号数目降到与源信号维数相同。
2. FastICA算法FastICA算法，又称固定点(Fixed-Point)算法，是由芬兰赫尔辛基大学Hyvärinen等人提出来的。
是一种快速寻优迭代算法，与普通的神经网络算法不同的是这种算法采用了批处理的方式，即在每一步迭代中有大量的样本数据参与运算。
但是从分布式并行处理的观点看该算法仍可称之为是一种神经网络算法。
FastICA算法有基于峭度、基于似然最大、基于负熵最大等形式，这里，我们介绍基于负熵最大的FastICA算法。
它以负熵最大作为一个搜寻方向，可以实现顺序地提取独立源，充分体现了投影追踪（Projection Pursuit）这种传统线性变换的思想。
此外，该算法采用了定点迭代的优化算法，使得收敛更加快速、稳健。
因为FastICA算法以负熵最大作为一个搜寻方向，因此先讨论一下负熵判决准则。
由信息论理论可知：在所有等方差的随机变量中，高斯变量的熵最大，因而我们可以利用熵来度量非高斯性，常用熵的修正形式，即负熵。
根据中心极限定理，若一随机变量X由许多相互独立的随机变量 NiSi,...3,2,1 之和组成，只要iS具有有限的均值和方差，则不论其为何种分布，随机变量X较iS更接近高斯分布。
换言之，iS较X的非高斯性更强。
因此，在分离过程中，可通过对分离结果的非高斯性度量来表示分离结果间的相互独立性，当非高斯性度量达到最大时，则表明已完成对各独立分量的分离。
负熵的定义：式中，GaussY是一与Y具有相同方差的高斯随机变量，H为随机变量的微分熵根据信息理论，在具有相同方差的随机变量中，高斯分布的随机变量具有最大的微分熵。
当Y具有高斯分布时，Ng(Y) = 0 ；Y的非高斯性越强，其微分熵越小，Ng(Y)值越大，所以Ng(Y)可以作为随机变量Y非高斯性的测度。
由于计算微分熵需要知道Y的概率密度分布函数，这显然不切实际，于是采用如下近似公式：其中，E为均值运算；g为非线性函数，可取 ，或等非线性函数，这里，通常我们取。
快速ICA学习规则是找一个方向以便具有最大的非高斯性。
这里，非高斯性用式（3.7）给出的负熵的近似值来度量,的方差约束为1，对于白化数据而言，这等于约束W的范数为1。
FastICA算法的推导如下。
首先，XWT 的负熵的最大近似值能通过对进行优化来获得。
根据Kuhn-Tucker条件，在的约束下的最优值能在满足下式的点上获得。
以下是牛顿迭代法在生物医学工程专业中的实际应用，其中选择了3篇有关于牛顿迭代法在ICA算法中优化的应用？。
ICA 去除EEG 中眼动伪差和工频干扰方法研究眼动伪差和工频干扰是临床脑电图(EEG)中常见噪声 , 严重影响其有用信息提取 . 本文尝试采用独立分量分析 (Independent Component Analysis , ICA) 方法分离 EEG 中此类噪声通过对早老性痴呆症( Alzheimer disease , AD)患者临床 EEG 信号( 含眼动伪差和混入工频干扰 , 信噪比仅 0dB)作 ICA 分析 , 比较了最大熵(Infomax)和扩展最大熵(Extended Infomax) ICA 算法的分离效果 , 证实虽然最大熵算法可以分离出眼动慢波 , 但难以消除工频干扰 , 为此需采用扩展的最大熵算法 ; 并知 ICA 方法在极低信噪比时也有较好的抗干扰性 , 且在处理非平稳信号时有好的鲁棒性 ; 文中还结合近似熵 (approximate entropy , ApEn )分析说明利用 ICA 去除干扰后有助于恢复和保持原始 EEG 信号的非线性特征 .ICA 算法原理假设存在 N 道相互独立的未知源信号 X =[ x1 , x2 , … ,xN] , 通过某个未知的待检测分析系统后线性叠加为在 M 个传感器上接收到的观测信号 U =[ u1 , u2 , … , uM] . 已经证明在 M ≥N 条件下 , 如果源信号 X 不含一个以上的高斯过程则存在混合矩阵 A , 使得 U =AX . ICA 算法的基本思路在于求解一矩阵 W , 使其作用于观测信号 U 所得估计信号X ′ =WU , 在统计独立的意义下最逼近于未知源信号 X , 即要找到矩阵 W 使得信号 X ′的各个分量尽可能地相互独立 . 为此需建立一个合适的代价函数 , 再采用某种优化算法分离源信号 . 对于 EEG 信号 , 代价函数可取各导联信号间的高阶统计量、互信息熵或最大似然估计 , 优化算法则可采用牛顿迭代法、基于神经网络的自适应算法、随机梯度法、自然梯度法等本文所采用的最大熵( Infomax) 算法是根据常规的随机梯度法求解矩阵 W , 算法的目标判据为独立分量通过非线性环节后信息熵极大 , 其调节公式为ΔW =μ [ ( WT) -1 + (1 +2y)xT] ( 1)由于算法中涉及矩阵求逆 , 故又提出了用自然梯度代替常规梯度的改进算法 , 以避免求逆过程 , 减少计算量 . 如此 , 矩阵调节改为下式ΔW =μ [ (WT ) -1 + ( 1 +2y)xT] WTW =μ [ I + ( 1 -2y)uT] W其计算量和收敛速度均得到较大改进 .但上述算法仅适用于超高斯信号 , 而眼动肌电和工频干扰之类噪声多属亚高斯信号 . 为了使算法能同时适用于亚高斯信号 , 又推导出所谓扩展的最大熵(ExtendedInfomax)算法 , 其调节公式为ΔW =μ [ I -Ktanh (u )uT -uuT ] W ,kii =1 (超高斯信号 ) , kii =-1 (亚高斯信号) 式中K 为对角阵 . 算法通过其主对角元素 Kii取不同值来区分超高斯和亚高斯信号 , 以便将脑电数据中 EEG 有用成分和肌电、工频等干扰信号分解开来 . 而简单的最大熵算法则难以做到这点 .改进的Fast ICA 算法在事件相关电位提取中的应用研究事件相关电位的特征提取分析在大脑认知的神经生理基础和临床应用研究中起着非常重要的作用。
独立分量分析( Independent Co mpo nent A naly sis, ICA)作为目前比较流行的盲源信号处理算法, 其特性非常适合应用于事件相关电位的提取。
文章主要讨论了独立分量分析的基本原理、判决条件和算法, 针对快速定点算法( F ast Independent Component Analy sis alg orithm , Fa st ICA) 迭代次数较多和对初始权值敏感的缺点, 我们引入利用梯度法改进的修正因子, 在此基础上对Fast ICA 进行优化, 得到改进算法, 改进算法降低了对初始权值的敏感性, 减少了迭代次数, 从而提高了算法的收敛速度。
最后将其应用于ERP 信号的提取当中, 实验表明, 在分离效果相当的前提下, 收敛速度得到了较大的提高。
ICA 的基本理论ICA 的线性模型可表示为:x i( t)=Asi( t) ( 1)ICA 的目的就是寻求一优化的分离矩阵W , 通过它能由观测信号xi( t)近似地恢复相互独立的源信号si( t):u i( t)= W x i( t)= W As i( t) ( 2)基于负熵判踞的Fast ICA 算法Fast ICA 是一种基于固定点( fixed-point) 迭代理论来寻求非高斯性最大值的方法[ 4] 。
由中心极限定理可知,非高斯性可以作为随机信号相互依赖的度量, 所以当非高斯性达到最大时, 表明已完成对各独立分量的分离。
由信息论可知负熵可以度量信号的非高斯程度, 因此采用负熵作为独立性判据,可以从观测信号中分离出独立分量。
负熵判据对于一概率密度函数为p( y) 的随机变量y , 负熵定义为:J( y)=H( ygauss)-H( y)H( y)=-∫ p( y) lgp( y) dy为方便计算,一种较好的负熵近似是:J( y)∞[ E{ G( y) }-E{ G( y ga us s) } ] 2 ( 5)Fast ICA 算法实现预处理在运用ICA 方法之前, 适当的对原始观测信号进行一些预处理是非常必要的, 它可使ICA 的工作量大大减小,从而有利于提高ICA 算法的效率, 也能使问题更符合前述约束条件。