盲信号分离基础知识
盲信号分离入门.doc
图1 应用解混合算法将把混合图像分离，如图 3，图 4：
图2
图3 原来的图像是，图 5，图 6：
图4
图5 图6 图像的解混合是把混合后的图像进行分离，如以上的图所表示的那样 为了把一维信号处理应用到图像处理方面，现在假设该一维信号是声音信号，分析图像和声音 的数据的组织的区别 声音是一个波，是声音的振幅随时间改变而改变的函数 表示成声音（时间，振幅）=（T,F） 图像中数据包括位置信息和灰度信息（只考虑灰度图像） ，为了做出对应，
其中 z(t)=W*x(t) W 是“球化矩阵” ，作用是让 E{z(t)*z(t)’}=I 下边是求 W 的求法，假设 x 的尺寸是 n*T，
t=1,2,……,T x=[x(1),x(2),……,x(T)] x(t)*x(t)’是对阵矩阵， t=1,2,……T， x(t)*x(t)’可以被对角化[2]， x(t)*x(t)’=UDU’,U 则 设 是酉矩阵[3]，U*U’=I,则 W=1/sqrt(D)*U’ 验证如下： z(t)*z(t)’=W*x(t)*(W*x(t)’)’ =W*x(t)*x(t)’*W’ =W*U*D*U’*W’ 当 U 是酉矩阵，把 W=1/sqrt(D)*U’带入 W*U*D*U’*W’ 得到 z(t)*z(t)’=I，注意的是，E{z(t)*z(t)’}=I，是统计特征，同一个 U 是不能让每个时刻都 对角化，所以要对 x(t)取平均，在实践中，一般对角化 x*x’/T。 z(t)=W*x(t) =W*A*s(t) 令 W*A=G，则 z(t)=G*s(t) Rzz(k)=E{z(t)*z(t+k)} =E{G*s(t)*(G*s(t+k))’} =E{G*s(t)*s(t+k)’*G’} =G*E{s(t)*s(t+k)}*G’ =G*Rss(k)*G’ 如果 s 的各个分量互相独立，均值为 0，并且 s 是随机过程，那么由随机过程的讨论得到 Rss(k)是 对角阵。 从而得到这样的结论，球化矩阵 z 的自相关矩阵 Rzz(k),k=0,1,2,……,k 令 Rzz(k)取值有意义，可 以被同一个矩阵 G 对角化。基于这个原因，提出 AMUSE[4]方法，具体如下： 注意，下边的过程为了解释的方便忽略了噪声的影响，如果考虑噪声要修改下边的算法的步骤 3： 。 1：求观察值 x 自相关矩阵 ，观察时间从 1 到 T， Rxx(0)=x(t)*x(t)/T。 2：对 Rxx(0)作主分量分解： Rxx(0)=U*D*U’,其中 D 是 Rxx(0)矩阵的特征值组成的对角阵 假 设 y(1),y(2),……,y(N) 是 Rxx(0) 的 特 征 值 ， u(1),u(2),……,u(N) 分 别 是 y(i),I=1,2,……,N.对应的特征向量。 U=[u(1),u(2),……,u(N)] 3：球化阵 W=1/sqrt(D)*U’， 球化输出 z(t)=W*x(t). 4：球 z(t)的自相关矩阵 Rzz(k)=E{z(t)*z(t+k)’}，然后为了更好地进行数据处理， Rzz(k)=(Rzz(k)+Rzz(k)’)/2 对 Rzz(k)做主分量分解 Rzz(k)=Uz*Dz*Uz’ Uz,Dz 解释同步骤 2： 有人建议 k 的选取是让 Dz 中没有重复元素 由前边的讨论[5]，Uz=W*A 从而得到 A=inv(W)*Uz 5： 因为 W*A*s(t)=z(t)=W* inv(W)*Uz*s(t)=z(t)=Uz*s(t) 所以 s(t)=Uz’*z(t).
盲信号处理
盲信号处理简介盲信号处理是一种信号处理技术，用于从未知信号中提取有用的信息，而无需先对信号进行先验模型假设或知识。
它在许多领域中都有广泛的应用，包括通信、图像处理和信号分析等。
盲信号处理的基本原理盲信号处理的基本原理是通过对未知信号进行适当的变换，将其转化为已知的形式，从而可以利用已有的信号处理技术进行进一步分析或处理。
常用的盲信号处理方法包括独立成分分析（ICA）、盲源分离（BSS）和盲降噪等。
独立成分分析（ICA）独立成分分析是一种用于从多个相互混合的信号中恢复原始信号的方法。
它基于统计模型假设，将混合信号看作多个相互独立成分的线性加权和。
通过寻找一个线性变换，使得变换后的信号趋于相互独立，从而可以分离出原始信号。
ICA广泛应用于语音分离、图像分离和脑电图分析等领域。
在语音分离中，ICA可以将多个说话者的混合音频信号分离出来，实现单独的语音信号提取。
盲源分离（BSS）盲源分离是一种用于从混合信号中分离出各个源信号的方法。
与ICA类似，盲源分离也是通过对混合信号进行适当的变换，使得各个源信号能够被分离出来。
不同的是，盲源分离不需要假设源信号之间的独立性，只需要假设它们之间的统计特性不同。
盲源分离广泛应用于音频信号处理、图像分析和信号源检测等领域。
在音频信号处理中，盲源分离可以将多个乐器的混音音频信号分离出来，实现对每个乐器的单独处理。
盲降噪盲降噪是一种用于从含噪信号中提取出原始信号的方法。
它常用于信号增强和去噪等应用场景。
盲降噪不需要事先知道噪声的统计特性，而是通过估计信号和噪声之间的相关性，将噪声部分从含噪信号中减去，从而得到清晰的原始信号。
盲降噪主要应用于语音识别、图像增强和音频修复等领域。
在语音识别中，盲降噪可以去除背景噪声，提高语音识别的准确率。
盲信号处理的应用盲信号处理在许多领域中都有广泛的应用。
通信在通信领域，盲信号处理可以用于信道均衡和多用户检测等。
通过对接收到的信号进行盲源分离或盲降噪，可以提高信号的质量和可靠性，从而改善通信系统的性能。
基于盲源分离的多源信号分离技术研究
基于盲源分离的多源信号分离技术研究现代科技的发展，使得我们越来越依赖各种信号以实现生产和生活的日常运行。
比如，我们所面临的各种噪声、单频干扰、混叠干扰等，都会对我们的通信系统、雷达成像、音频和视频信号处理等造成巨大影响，导致信息传输质量的下降，限制了各种应用的推广和应用。
解决这些问题的方法之一是信号分离。
信号分离技术被广泛应用于多源信号的解析和处理中，它可以将源信号从复杂的混合信号中提取出来，以便于独立分析和处理。
目前常用的信号分离方法包括盲源分离（BSS）、独立分量分析（ICA）和主成分分析（PCA）等。
其中，盲源分离技术是基于统计独立性原理，通过盲学习和转换方法，将混合的多源信号分离出来，具有很强的实用性和广泛的应用前景，是信号处理领域的重要分析技术之一。
那么，接下来我们来详细探讨一下盲源分离技术在多源信号分离中的应用。
一、盲源分离技术的基本原理盲源分离技术是一种无需外部任何先验知识或训练数据的盲信号分离方法。
在具体实现时，也不需要对待分离信号所在的复杂混合系统作出严格的假设。
盲源分离技术的基本原理是利用统计独立性原理，将多个源信号通过未知混合系数叠加成一个混合信号，然后再采用盲学习和转换方法，将混合信号分离成原始源信号，实现多源信号分离的目的。
由于信号源的数量和混合系数的未知性，混合信号的解索具有一定的难度，需要采用适当的数学工具进行求解。
二、盲源分离技术的主要应用场景1. 音频和视频信号分离盲源分离技术在音频和视频信号的处理中广泛应用，例如在语音交流中，麦克风捕获的目标语音信号和背景噪声等声音可能会混合在一起，采用盲源分离技术，可以迅速分离出来，提高语音传输质量，实现多人语音交流。
同样的，视频信号处理中也常常遇到多个视频源混合的问题，例如视频监控、多摄像头跟踪等，都可以采用盲源分离技术，对视频信号进行解析和处理。
2. 信号源定位和跟踪盲源分离技术不仅可以用于分离混合信号中的信号源，也可以进一步实现信号源的定位和跟踪。
盲信号分离及其应用
信号处理领域中其他类似的应用
在阵列信号处理技术中仅仅凭借传感器 的观测信号估计未知信号源的波形 在生物医学信号中提取有效信号 在无线通信中利用一个信道实现多用户 通信服务 在语音识别中达到“鸡尾酒会效应”
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@ /organ/images
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@ /organ/images
本次讲座的主要内容
盲分离的基本理论 解决盲分离问题的典型算法 盲分离的应用、研究现状和发展趋势
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@ /organ/images
数学建模
线性瞬时混合盲信号分离的数学建模 线性卷积混合盲信号分离的数学建模 非线性（Post-Nonlinear, PNL）混合 盲信号分离的数学建模
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@ /organ/images
x(t) =
k
A(k ) s(t k )
这里x(t)和s(t)分别代表观 察信号和源信号。A(k)为混叠 矩阵，又称为冲激响应。
线性瞬时混合 线性卷积混合 非线性混合
返回
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@ /organ/images
发展状况
盲信号分离是一种功能强大的信号处理方法 对其研究始于二十世纪八十年代中后期 有关的理论和算法都已经取得了较大的发展 对于线性瞬时混合信号的分离问题、卷积混 合信号的分离问题以及非线性混合信号的分 离问题都做了深入的研究，提出了许多经典 算法 用于语音信号分离、图像特征提取和医学脑 电信号的分离等方面
盲信号总结
盲分离研究背景与数学模型简介：盲信号分离是当前信号处理领域最热门的技术之一。
由于其重要的理论价值和广泛的应用前景 ,盲信号分离在近 20 年引起了广泛的重视和研究。
盲信号分离起源于鸡尾酒会议问题 ,即在很多人同时说话的情况下(通常包含噪声),怎样从多个声音采集设备(如麦克风)采集到的声音信号中分离出所需要的各个说话者的声音?在这个过程中,各个信号源未知,信号混叠参数即传输信道的先验知识也未知,因此我们称这个过程是“盲”的。
目前,以盲信号分离为核心的盲信号处理技术已经成为重要的研究课题,并在许多领域,特别是在语音信号分离与识别、生物信号(如脑电图、心电图)处理、雷达、声纳、遥感、通信系统、噪声控制等领域,吸引了大量的研究和重视。
盲信号分离：是指在不知道源信号和传输信道特性的情况下,从一个传感器阵列的输出信号(也叫观测信号,混叠信号)中分离或估计出源信号的波形。
目标是如何最大化分离信号的独立性。
观测数据：是一组传感器的输出,其中每个传感器接收到的是源信号的不同混合。
源信号混合方式：有线性和非线性两种方式。
当混叠模型为非线性时,一般很难从混叠数据中恢复源信号,除非对信号和混叠模型有进一步的先验知识。
线性模型有三种：（1)线性瞬时混叠(2)延迟无回声混叠(3)回声混叠1，线性瞬时混叠模型：目前主要采用的工具是稀疏成分分析。
2，延迟无回声混叠模型：即每个传感器仅接收到每个源一次。
由于传输距离的远近及传输介质的影响，源信号到达每个传感器的时刻可能并不是同时的。
3，回声混叠：各个传感器不仅直接接收到每个源信号,而且还接收到每个源信号的回声信号。
根据混叠方式对盲信号分离进行分类：如果根据传感器个数M 和源信号个数N 来分类,则把M > N称为超定模型,M = N为适定模型,M < N称为欠定模型。
欠定模型比适定模型和超定模型更难求解。
对适定或者超定模型,只要能够估计出混叠矩阵,就能恢复源信号。
●按照未知信号源的混合形式，可以将盲处理分为线性混合和非线性混合两种类型，其中线性混合包括瞬时混合和卷积混合。
盲信号分离基础知识(推荐文档)
专业课程设计学习材料源信号分离Source Signal Separation第一部分 简单介绍一、 目标我们的目标就是学习源信号分离理论的基础知识和源信号分离时涉及的相关学科知识，最终从观测信号中将源信号分离开来。
注意：此时信号源和混合形式可能是未知的。
-1.5-1.0-0.50.00.51.01.5-1.5-1.0-0.50.00.51.01.500.050.10.150.20.250.30.350.40.45图1 源信号波形-2.0-1.5-1.0-0.50.00.51.01.52.000.050.10.150.20.250.30.350.40.45-2.0-1.00.01.02.000.050.10.150.20.250.30.350.40.45图2 混合信号波形-2.0-1.5-1.0-0.50.00.51.01.52.0-2.0-1.5-1.0-0.50.00.51.01.52.0图3 分离信号波形二、分离方法1、FFT 法；条件：不同源信号占有不同的频带2、自适应滤波方法；条件：已经信号的某些特征3、盲信号分离方法；条件：遵从某些统计假设条件三、盲分离的基本模型盲信号分离的基本模型如图（1）所示。
)(1t )(2t y )(t y m图1 盲信号分离的基本模型其中：)(1t s ，)(2t s ，……，)(t s n 为n 个源信号；)(1t x ，)(2t x ，……，)(t x m 为m 个观测信号；)(1t y ，)(2t y ，……，)(t y n 为待求解的n 个分离信号；)(1t n ，)(2t n ，……，)(t n m 为m 个噪声信号，T t ,,2,1 =。
将其分别写成矩阵形式为：T 21)](,),(),([)(t s t s t s t n =s （1）T 21)](,),(),([)(t x t x t x t m =xT 21)](,),(),([)(t y t y t y t n =yT 21)](,),(),([)(t n t n t n t m =n向量)(t s 、)(t x 、)(t y 、)(t n 分别称作源信号、观测信号、分离信号、噪声信号。
生物信号分析中的盲源分离算法研究
生物信号分析中的盲源分离算法研究一、引言生物信号分析是生物医学工程领域中的重要研究方向之一，其核心问题之一是如何提取信号中的有效信息。
生物信号如脑电信号、心电信号等通常包含多个信号源（比如肌肉电位、眼电信号等），这就给信号处理带来了巨大的挑战。
盲源分离算法（Blind Source Separation, BSS）是一种重要的信号处理方法，将成为本文的研究焦点。
二、盲源分离算法的基本原理盲源分离算法的基本原理是从混合信号中分离出原始信号，实现“盲”状态下的信号分离。
盲源分离算法是非常重要的生物信号分析方法，可应用于降噪、分离多模态数据、提取生物学信号的有效信息等领域。
在具体实现中，人们通常采用独立成分分析(Independent Component Analysis, ICA)作为盲源分离算法的方法。
在不同的领域，盲源分离算法的应用不同。
在语音信号分析中，盲源分离算法可以用于电话信号的分离和音频去混响；在图像处理领域，可以用于提取图像的先验信息和去除图像的噪声；在生物信号分析领域，可以用于提取脑电信号中的事件相关电位、心电信号中的Q波和P波等信号成分。
三、盲源分离算法的研究进展随着生物医学工程领域的发展，盲源分离算法的研究也在不断深入。
传统的ICA算法在实际应用中存在一些缺陷，比如局部收敛问题和易受噪声等因素影响。
因此，人们提出了多种改进算法来解决这些问题。
1、FastICA算法FastICA算法是最常用的ICA算法，它能够快速、有效地分离信号。
FastICA算法采用了基于极大似然估计的方法，可以处理非高斯型信号，包括经典的ICA问题。
该算法在信号处理中广泛应用，但它的局部收敛问题仍然是许多研究者关注的焦点。
2、SOBI算法Second Order Blind Identification(二阶盲辨识)算法,简称SOBI （Second-Order Blind Identification）。
该算法主要是针对二阶脑电信号进行盲源分离。
盲源分离
峭度
• 峭度（Kurtosis）K是反映振动信号分布特性的数值统计 量，是归一化的4阶中心矩
●
它描述的是概率函数通告死分布的偏离程度
盲源分离算法提取胎心电
盲源分离
●
盲源分离是指在信号的理论模型和源信号无法精 确获知的情况下,如何从混迭信号(观测信号)中分 离出各源信号的过程。盲源分离和盲辨识是盲信 号处理的两大类型。盲源分离的目的是求得源信 号的最佳估计，盲辨识的目的是求得传输通道混 合矩阵。
• 盲源信号分离是一种功能强大的信号处理 方法，在生物医学信号处理，阵列信号处 理，语音信号识别，图像处理及移动通信 等领域得到了广泛的应用。
盲信号分离的目标函数
• 熵（信息熵）：表示每个消息提供的平均信息量，非负， 是信源的平均的不确定性的描述。 假设有离散的随机变量X，则信息熵： H(x)=E[log1/p(ai)] 类似的还有差熵、负熵
互信息
• 两个事件X和Y的互信息定义为： I(X,Y) = H(X) + H(Y) - H(X,Y) 其中 H(X,Y) 是联合熵，其定义为： H(X,Y) = - ∑ p(x,y)logp(x,y) 其中p(x,y)是概率。 互信息的最小化和熵的最大化即可获得最大的独立性
⑴信号的混合方式及其对应的数学模型： A、线性瞬时混合（胎心电分离问题） X(t)=AS(t) B、线性卷积混合 x(t)=∑A(k)s(t-k) C、非线性混合 Y(t)=f(Z(t))
⑵盲分离问题的假设条件： 1）源信号S1(t),S2(t)…Sn(t)在统计上是相互独立的 2）A是列满秩的常数矩阵 3）源信号是非高斯信号且至多有一个是高斯信号。
语音信号的盲分离要点
目录摘要 (I)ABSTRACT (II)第一章前言 (1)1.1语音特性分析 (1)1.2语音信号的基本特征 (2)1.3语音信号处理的理论基础 (4)第二章盲分离的基本概念 (6)2.1盲分离的数学模型 (6)2.2盲源分离的基本方法 (7)2.3盲分离的目标准则 (9)2.4盲分离的研究领域 (10)2.5盲分离的研究内容 (11)第三章独立分量分析的基本算法 (13)3.1ICA的线性模型 (13)3.2ICA研究中的主要问题及限制条件 (14)3.3ICA的基本算法 (16)3.4F AST ICA算法原理 (22)第四章语音信号盲分离仿真及分析 (26)4.1ICA算法实现 (26)4.2频谱分析 (29)第五章总结 (34)参考文献 (35)摘要盲源分离（BSS）是一种多维信号处理方法，它指在未知源信号以及混合模型也未知的情况下，仅从观测信号中恢复出源信号各个独立分量的过程。
盲源分离已近成为现代信号处理领域研究的热点问题，在通信、语音处理、图像处理等领域具有非常重要的理论意义和广泛的应用价值。
本文主要内容如下：首先，介绍了语音信号的产生机理，特性，基本特征及语音信号处理的理论基础，为后文语音信号盲分离奠定了基础。
其次，从盲源分离的理论出发，研究了盲分离的数学模型以及基本方法，并对盲分离的目标准则、研究领域以及研究内容进行了探讨。
然后，引出了独立分量分析（ICA），并对其的概念以及相关的知识进行了研究，探讨了ICA研究中的主要问题，列出了ICA的3种基本算法：信息极大化、负熵最大化和最大似然估计法。
最后，用FastICA对三路语音信号进行了盲分离的仿真并求出了混合矩阵和分解矩阵，再接着进行了频谱，幅度，相位的分析，找出了FastICA的特点。
关键词：盲源分离；独立分量分析；频谱分析AbstractBlind source separation (BSS) is a multidimensional signal processing method, it refers to the unknown source signal and mixed model also unknown cases, only from observation signal in recovering the source signal each independent component of the process. Blind source separation has nearly become modern signal processing to the research of problems, in communication, speech processing, image processing area is very important theoretical significance and broad application value. This paper mainly content as follows: First of all, introduced the speech signal generation mechanism, characteristics, basic characteristics and the speech signal processing theory foundation for the blind source separation after the speech signal to lay the foundation.Second, the blind source separation from the theory, the mathematical model of the blind source separation and basic methods, and separation goal standards, research field and the research content are discussed.Then, leads to a independent component analysis (ICA), and the concept and the related knowledge, this paper analyses the main problems in the study of ICA, lists the three basic ICA algorithm: information maximization, negative entropy maximization and maximum likelihood estimate.Finally, by the use of FastICA three road voice signal the separation of the simulation and get the mixing matrix and decomposing matrix, and then the spectrum, amplitude, phase analysis, find out the FastICA characteristic.Key words: the blind source separation; Independent component analysis; Spectrum analysis第一章语音信号概述1.1 忙语音信号分离技术的背景及意义近些年来，混合语音信号分离成为信号处理领域的一个研究热点。
盲信号分离技术综述
P ( C M A ) 分离 , 虽然仿 真条件 比较理 想 出现 了一些相 关文献
积极 推动作用 !
2.卷积混合模型
设n个源信 号 , 有一个未知 的线 性混合 . 每 个分量在 不 同混合信 号里 的延迟均 不同 ! 这 时可将 滤波器 (通 常
是F R 滤波器 ) 或 者多项式作 为混合矩 阵A 的元 素 ! 卷积 I 混合信号的数学模型可 以用公 式 (3 )
峨 目 嘴 . .
专题 忘 汀 四 技术 O
S p 户c 扭 不 e h n o l g y l e o
/{ 洲, , , 甲只甲黔票赓卜
一一户尸洲- (州 ()从 . . 2 ()4 ) 万约 国 家附 3 . 一 研 花 发展 ;一 一一~ 入}二 棘棘藕哪嗽职粼赚姗 岛技 术 {划
解放 军理工大学通 信工程学院 总装航天研 发 中心
种非线性的依赖关系 其混合模型可 用式 (引 表示 :
(4 )
不 断的调 整分 离矩 阵W , 使得y t卜w x( )是源信 号的 ( t 一个尽可能准确的估计 ! 从 源 信 号 的混 合 方 式来 分
图] 盲源分离原理框图
x(t)= F 笼 )} s(t
其中
F 钾} 表示未知 的非线 性 函数 ! 非 线性混合 盲 在非线 性混 合的实 际问题
就可 以实现 S二 t +N (t 的估计 ( s) )
文将 盲源分 离技术应 用信息 安全领域 中 . 提 出一种新 的 基于 完全覆盖 策略 的数据保 密方法 : 李加文 李从心提 出 了在频 域利 用瞬 时盲分 离/主 成份分 析/瞬 时混 合盲 分
噪处理 完成对源 信号 的估 计 ! 有一种情 况 . 如果 噪声满 足盲信号 分离 中对源信号 的假设 条 , 且 源信号 与噪声 信号 的数 目总和 不大于接 收信号 的数 目时
盲源信号分离算法研究及应用
生物医学信号处理
盲源信号分离算法可以用来提取脑电信号 、心电信号等生物医学信号中的特征信息 ，为疾病诊断和治疗提供支持。
音频和音乐处理
盲源信号分离算法可以用来提取音频和音 乐信号中的特征信息，实现音频和音乐的 分类、识别和推荐等应用。
06
总结与展望
总结
盲源信号分离算法的 原理和应用
盲源信号分离是一种无监督的学习算 法，它利用混合信号的统计独立性， 通过学习混合矩阵，将源信号进行分 离。该算法在语音信号处理、生物医 学信号处理、通信信号处理等领域具 有广泛的应用前景。
基于循环相关的盲源信号分离算法流程
输入混合信号
将多个源信号混合成一个观测信号。
计算循环相关
计算观测信号与源信号之间的循环相关函 数。
盲源分离
利用循环相关函数的信息，通过算法实现 盲源分离。
输出分离信号
得到分离后的源信号。
基于循环相关的盲源信号分离算法的优缺点
优点
基于循环相关的盲源信号分离算法具有对源信号的稀疏性要求较低的优点，适用于实际应用场景中源 信号数目较多且相互之间存在循环相似性的情况。
基于高阶累积量的盲源信号分离算法的优缺点
• 基于高阶累积量的盲源信号分离算法的优点包括 • 适用于非高斯和非线性信号的处理。 • 可以有效地从混合信号中提取出源信号。 • 在处理过程中，不需要任何关于源信号或混合过程的先验信息。 • 其缺点包括 • 高阶累积量的计算复杂度较高，需要大量的数据和计算资源。 • 在某些情况下，可能会出现过度拟合或欠拟合的问题，需要仔细调整
盲源信号分离算法研究及应 用
2023-10-28
目录
• 盲源信号分离算法概述 • 基于独立成分分析的盲源信号分离算法 • 基于高阶累积量的盲源信号分离算法 • 基于循环相关的盲源信号分离算法 • 盲源信号分离算法在通信系统中的应用 • 总结与展望
信号盲分离
目录摘要 (1)第一章分数傅立叶变换 (3)1.1 引言 (3)1.2 国内外的研究现状 (3)第二章分数傅立叶变换 (5)2.1分数傅立叶变换的定义 (5)2.2 分数傅立叶变换的性质 (7)2.2.1主要性质 (7)2.2.2 不确定性原理 (8)2.3 信号处理中的应用 (9)2.3.1 信号的检测和参数的估计 (9)2.3.2 神经网络............................................................................. 错误！未定义书签。
2.3.3 图像处理 (9)第三章盲信号分离 (10)3.1 盲分离的原理 (10)3.2 优化准则 (11)第四章基于分数傅立叶变换的信号盲分离 (12)4.1分析方法 (12)4.2分离效果的评价 (12)第五章仿真与实例分析 (14)第六章结论 (18)总结与展望 (19)参考文献 (20)论文翻译 (22)基于SHIBBS/SJAD 停止阈值算法，快速的信噪比盲源分离。
(22)摘要 (22)1 引言 (22)2 美白过程和累积量方法算法 (23)2.1 美白过程 (23)2.2累积量算法教学 (24)3 SHIBBS/SJAD 算法 (25)3.1 收敛停止规则 (25)4 实验对比 (27)5 结论 (30)摘要分数傅立叶变换是对经典傅立叶变换的推广。
最早由Namias 以数学形式提出，并且很快在光学领域得到了广泛应用。
而其在信号处理领域的潜力直到20世纪90年代中期才逐步得到发掘。
尽管分数傅立叶变换的定义直观上看仅是chirp基分解，而实际上分数傅立叶变换更具有时频旋转的特性，它是一种统一的时频变换，随着变换阶数从0连续增长到1而展示出信号从时域逐步变化到频域的所有特征。
从信号处理角度对分数傅立叶变换的研究进展作比较全面的总结和系统的归纳。
LFM信号在某个阶次的分数阶傅里叶域中具有能量聚集性，根据这一特性本文运用了基于分数阶傅里叶变换的多个未知任何先验参数的LFM 信号分离技术，通过在分数阶傅里叶域搜索峰值点来检测出并分离出LFM信号，并用相关系数对分离效果进行了评价。
盲信号分离(2) 清华大学《现代信号处理》讲义 -张贤达PPT课件
Wl (k 1) Wl (k) D [ f ( y(k L))vT (k L l)
y(k L)uT (k l)]
L
其中 u(k )
WT Lq
(k )
f
(
y(k
q))
q0
10
频域与时域相结合
频域方法与时域方法相比具有算法简单收敛速度快 等优点，但是其固有的位置和增益的不确定性问题解决 起来很困难；而时域的盲分离方法避免了这一点，但是 它算法复杂，收敛速度慢，只有在最优点附近才能快速 收敛。针对频域和时域方法的优缺点，Tsuyoki在[11]中 提出了一种多策略的盲信号分离方法，该方法是分两步： 第一步在频域里做盲分离；然后在时域里再进行分离。 下图是该方法的过程示意图。
[7] Amari S. Natural gradient learning for over- and under-complete bases in ICA. Neural Computation, 1999, 11(8): 1875-1883
[8] H. Saruwatari, T. Kawamura,etc., "Evaluation of fast-convergence algorithm for blind source separation of real convolutive mixture," Signal Processing, 2002 6th International Conference on, vol. 1, pp.346--349, Aug. 2002.
[15] 朱孝龙，张贤达，冶继民，基于自然梯度的递归 最小二乘盲信号分离分阶段学习的盲信号分离，中国科 学E辑，2003，33 (8)：741—748
语音信号的盲分离(知识分析)
课程设计任务书学生姓名：专业班级：通信1103指导教师：许建霞工作单位：信息学院题目: 语音信号的盲分离初始条件：Matlab软件、PC机要求完成的主要任务:（包括课程设计工作量及其技术要求，以及说明书撰写等具体要求）设计任务根据盲信号分离原理，用matlab采集两路以上的语音信号，选择合适的混合矩阵生成若干混合信号。
选取合适的盲信号分离算法（如独立成分分析ICA等）进行训练学习，求出分离矩阵和分离后的语音信号。
设计要求(1) 用matlab做出采样之后语音信号的时域和频域波形图(2)选择合适的混合矩阵，得到混合信号，并做出其时域波形和频谱图(3) 采用混合声音信号进行训练学习，求出分离矩阵，编写出相应的确matlab代码。
(4) 用求出的分离矩阵从混合信号中分离出原语音信号，并画出各分离信号的时域波形和频谱图。
(5) 对结果进行对比分析。
时间安排：序号设计内容所用时间1 根据课题的技术指标，确定整体方案，并进行参数设计计算2天2 根据实验条件进行全部或部分程序的编写与调试，并完成基本功能7天3 总结编写课程设计报告1天合计2周指导教师签名： 2014年 6 月 10 日系主任（或责任教师）签名：2014 年 6 月 10 日摘要盲信号处理（Blind Signal Processing,BSP）是指从观测到的混合信号中，在没有任何先验条件的情况下，恢复出未知的源信号过程。
盲信号分离已成为信号处理学界和通信工程学界共同感兴趣的一个极富挑战性的研究热点问题，并获得了迅速的发展。
盲分离根据信号源的不同可以分为确定信号盲分离、语音信号盲分离和图像盲分离等，本设计主要讨论语音信号的盲分离。
语音信号的盲分离主要是利用盲源分离（Blind Signal Separation,BSS）技术对麦克风检测到的一段语音信号进行处理，本文重点研究了以语音信号为背景的盲处理方法，在语音和听觉信号处理领域中，如何从混有噪声的的混叠语音信号中分离出各个语音源信号，来模仿人类的语音分离能力，成为一个重要的研究问题。
(完整word版)盲信号总结
盲分离研究背景与数学模型简介：盲信号分离是当前信号处理领域最热门的技术之一。
由于其重要的理论价值和广泛的应用前景 ,盲信号分离在近 20 年引起了广泛的重视和研究。
盲信号分离起源于鸡尾酒会议问题 ,即在很多人同时说话的情况下(通常包含噪声),怎样从多个声音采集设备(如麦克风)采集到的声音信号中分离出所需要的各个说话者的声音?在这个过程中,各个信号源未知,信号混叠参数即传输信道的先验知识也未知,因此我们称这个过程是“盲”的。
目前,以盲信号分离为核心的盲信号处理技术已经成为重要的研究课题,并在许多领域,特别是在语音信号分离与识别、生物信号(如脑电图、心电图)处理、雷达、声纳、遥感、通信系统、噪声控制等领域,吸引了大量的研究和重视。
盲信号分离：是指在不知道源信号和传输信道特性的情况下,从一个传感器阵列的输出信号(也叫观测信号,混叠信号)中分离或估计出源信号的波形。
目标是如何最大化分离信号的独立性。
观测数据：是一组传感器的输出,其中每个传感器接收到的是源信号的不同混合。
源信号混合方式：有线性和非线性两种方式。
当混叠模型为非线性时,一般很难从混叠数据中恢复源信号,除非对信号和混叠模型有进一步的先验知识。
线性模型有三种：（1)线性瞬时混叠(2)延迟无回声混叠(3)回声混叠1，线性瞬时混叠模型：目前主要采用的工具是稀疏成分分析。
2，延迟无回声混叠模型：即每个传感器仅接收到每个源一次。
由于传输距离的远近及传输介质的影响，源信号到达每个传感器的时刻可能并不是同时的。
3，回声混叠：各个传感器不仅直接接收到每个源信号,而且还接收到每个源信号的回声信号。
根据混叠方式对盲信号分离进行分类：如果根据传感器个数M 和源信号个数N 来分类,则把M > N称为超定模型,M = N为适定模型,M < N称为欠定模型。
欠定模型比适定模型和超定模型更难求解。
对适定或者超定模型,只要能够估计出混叠矩阵,就能恢复源信号。
●按照未知信号源的混合形式，可以将盲处理分为线性混合和非线性混合两种类型，其中线性混合包括瞬时混合和卷积混合。
盲信号处理的分类
盲信号处理（Blind Signal Processing）是一种处理信号的方法，不依赖于关于信号和噪声统计信息的先验知识。
盲信号处理技术主要用于信号分离、信号检测和信号估计等场景。
盲信号处理的一些主要技术分类如下：
1. 盲源分离（Blind Source Separation, BSS）：是从混合信号中分离出原始信号的技术，包括独立成分分析（Independent Component Analysis, ICA）和主成分分析（Principal Component Analysis, PCA）等。
2. 盲均衡（Blind Equalization）：是一种消除或减小信道畸变的方法，只依赖于接收信号的统计特性。
常用算法有零引导（Zero Forcing）和最小均方误差（Minimum Mean Square Error, MMSE）等。
3. 盲信道估计（Blind Channel Estimation）：是在缺乏信道输入输出直接观测的情况下，使用接收信号的统计特性来估计信道参数。
这种方法在无线通信系统中尤为重要。
4. 盲多径消除（Blind Multi-path Fading Elimination）：是一种在缺乏信道状态信息的情况下，消除或减小多径效应的方法。
这种技术可以提高无线通信系统的性能。
5. 盲检测（Blind Detection）：是在没有关于信号和噪声统计信息的先验知识的情况下，实现信号检测和识别的技术。
这种方法在通信和雷达系统中具有广泛的应用。
上述技术只是盲信号处理的几个主要类别。
这些技术通常涉及复杂数学模型和算法，并在无线通信、音频处理、图像处理、生物医学信号处理等多个领域有广泛应用。
Matlab盲源分离方法与实例
Matlab盲源分离方法与实例在信号处理领域中，盲源分离是一项重要的任务。
盲源分离即通过对混合信号进行分析和处理，将原始信号从混合信号中分离出来。
这项技术在语音识别、音频处理、图像处理等领域中有着广泛的应用。
在本文中，我们将通过介绍Matlab中的盲源分离方法和实例，帮助读者更好地理解和应用这一技术。
一、盲源分离的基本原理盲源分离的基本原理是利用混合信号中的统计特性来估计信号源的分布。
通过对混合信号的统计特性进行分析，可以得到源信号的估计结果。
这样，就可以实现对混合信号中的源信号的分离和重构。
1.1 盲源分离的前提假设盲源分离的方法一般基于以下两个假设：1) 混合信号是线性叠加的。
2) 源信号之间是相互独立的。
在实际应用中，尽管这两个假设并不总是成立，但是通常可以通过一定的预处理方法来满足这些假设。
例如，可以通过滤波、噪声抑制等方式来满足混合信号是线性叠加的假设。
1.2 盲源分离的方法盲源分离的方法可以分为线性方法和非线性方法两类。
线性方法主要包括独立成分分析（ICA）、主成分分析（PCA）等，而非线性方法包括二次熵最小化（QCM）、最小均方误差（MMSE）等。
在本文中，我们将重点介绍其中的独立成分分析（ICA）方法。
二、Matlab中的盲源分离方法Matlab是一种常用的科学计算软件，提供了丰富的工具箱和函数来支持信号处理任务。
在盲源分离领域，Matlab提供了ICA工具箱，可以方便地实现独立成分分析方法。
下面将介绍Matlab中ICA工具箱的使用方法，并通过一个实例来展示其应用效果。
2.1 Matlab中的ICA工具箱Matlab中的ICA工具箱是一个方便易用的工具，提供了多种ICA算法的实现。
使用该工具箱，可以通过简单的函数调用实现对混合信号的盲源分离。
以下是在Matlab中使用ICA工具箱实现盲源分离的基本步骤：1) 加载混合信号数据：首先，需要将混合信号数据加载到Matlab中。
可以使用Matlab提供的文件读取函数将数据读入到变量中。
盲信号分离
盲信号分离=盲源分离BSS Blind Signal/Source SeparationHerault、Jutten 1985从多个观测到的混合信号中分析出没有观测的原始信号。
观测到的混合信号来自多个传感器的输出，且传感器的输出信号线性不相关。
文献：盲信号分离技术研究与算法综述_周治宇、陈豪1.盲信号分离的“盲”是什么意思？已知原信号和传输通道的先验知识时，通过滤波器的信号处理能够在一定程度上完成信号分离的任务。
但是在没有原信号和传输通道的先验知识时，上述通过滤波的信号处理方法无法完成信号分离的任务，必须通过盲信号分离技术来解决。
“盲”是指（1）原始信号并不知道；（2）对于信号混合的方式也不知道。
也就是仅根据观测到的混合信号估计源信号。
2.什么是“信号分离”？是信号处理中的一个基本问题。
从接收到的混合信号（感兴趣信号+干扰+噪声）中分别分离或恢复出原始信号。
各种时域滤波器、频域滤波器、空域滤波器或码域滤波器都可以看作是一种信号分离器，完成信号分离任务。
3.盲信号分离如何实现的？独立分量分析ICA Independent Component Analysis是为了解决盲信号分离问题而逐渐发展起来的一种新技术，是目前主要采用的方法。
将接收到的混合信号按照统计独立的原则通过优化算法分解为若干独立分量，这些独立分量作为源信号的一种近似估计。
4.盲信号分离结果存在两个不确定性分离结果排列顺序不确定、分离结果幅度不确定。
由于要传送的信息往往包含在信号波形中, 因此这两个不确定性并不影响在实际中的应用。
5.目前主要应用领域目前盲信号处理技术已经在生物医学信号处理、语音信号处理、雷达信号分选、电子侦察、数字波束形成、无线通信、地震信号处理、机械故障诊断、图像处理、数字水印、人脸识别和金融数据分析等领域得到了广泛应用。
独立分量分析ICA Independent Component Analysis一种有效的对高阶数据进行分析的方法不仅可以处理非高斯信号（？），而且可以用于解决非线性、非稳态信号的问题分析，在特征提取方面有着独特的优点和广阔的前景。
语音信号盲分离—ICA算法解剖
与此对应，可以给出BSS的如下定义：对于观测信号矢量，存在线性变换w，使 得全局矩阵G的各行及各列中只有一个非零元素(不妨称之为广义对角矩阵)，即 G=PD。其中P为置换阵；D为对角阵，从而实现信号分离。
(2)如果源信号具有时序结构，则其有非零的时序相关数，从而可以降低对统计 独立性的限制条件，用二阶统计量方法(SOS)就足以估计混合矩阵和源信号。这种 (SOS)方法不允许分离功率谱形状相同或i.id(独立同分布)的源信号。
(3)第三种方法即采用非平稳性(Ns)和二阶统计量(SOS)。由于源信号主要随时间 有不同的变化，就可以考虑利用二阶非平稳性。Matsuoka等人首先考虑了非平稳性， 并证‘明在盲源分离中可以应用简单的解相关技术。与其他方法相比，基于非平稳 性信息的方法能够分离具有相同功率谱形状的有色高斯源，然而，却不能够分离具 有相同非平稳特性的源信号。
研究现状简介
1998年，Taleb、Jutten 和 Olympieff 提出了一种非线性混合信号盲源分 离算法，该算法基于熵，对于分离某些盲混合信号具有良好性能。
2001年，Valpola、Honkela 和 Karhunen提出了贝叶斯集合学习算法 (Bayesian Ensemble Learning Algorithm )，该算法采用多层感知器神经元网络 (MLP )，能够对非线性静态和动态过程实现盲源分离。Tan和Wang提出了基 于遗传算法( Genetic Algorithm)的盲源分离方法，该算法利用遗传算法使信 号非线性混合度最小化，然后对去除非线性后的数据进行线性分离，从而实 现盲源分离。与传统的梯度算法相比，基于遗传算法的盲源分离方法有着更 快的收敛速度和稳定性，能够在全局范围内寻找最优解。Tan、Wang和 Zurada提出了径向基网络算法(Radial Basis Function Network Algorithm)，使 用径向基函数神经网络来逼近非线性混合的逆映射实现盲源分离。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
专业课程设计学习材料源信号分离Source Signal Separation第一部分 简单介绍一、 目标我们的目标就是学习源信号分离理论的基础知识和源信号分离时涉及的相关学科知识，最终从观测信号中将源信号分离开来。
注意：此时信号源和混合形式可能是未知的。
-1.5-1.0-0.50.00.51.01.500.050.10.150.20.250.30.350.40.45-1.5-1.0-0.50.00.51.01.500.050.10.150.20.250.30.350.40.45图1 源信号波形-2.0-1.5-1.0-0.50.00.51.01.52.000.050.10.150.20.250.30.350.40.45-2.0-1.00.01.02.000.050.10.150.20.250.30.350.40.45图2 混合信号波形-2.0-1.5-1.0-0.50.00.51.01.52.0-2.0-1.5-1.0-0.50.00.51.01.52.0图3 分离信号波形二、分离方法1、FFT 法；条件：不同源信号占有不同的频带2、自适应滤波方法；条件：已经信号的某些特征3、盲信号分离方法；条件：遵从某些统计假设条件三、盲分离的基本模型盲信号分离的基本模型如图（1）所示。
)(1t )(2t y )(t y m图1 盲信号分离的基本模型其中：)(1t s ，)(2t s ，……，)(t s n 为n 个源信号；)(1t x ，)(2t x ，……，)(t x m 为m 个观测信号；)(1t y ，)(2t y ，……，)(t y n 为待求解的n 个分离信号；)(1t n ，)(2t n ，……，)(t n m 为m 个噪声信号，T t ,,2,1 =。
将其分别写成矩阵形式为：T 21)](,),(),([)(t s t s t s t n =s （1）T 21)](,),(),([)(t x t x t x t m =xT 21)](,),(),([)(t y t y t y t n =yT 21)](,),(),([)(t n t n t n t m =n向量)(t s 、)(t x 、)(t y 、)(t n 分别称作源信号、观测信号、分离信号、噪声信号。
通常意义的盲信号分离是指只有观测信号)(t x 已知，并且)(t x 中含有目标源信号和混合系统的未知信息，而目标源信号特性、源信号的混合信息、噪声信号对观测者来说都是未知的。
盲信号分离的任务就是利用某些统计假设条件完成从)(t x 中估计源信号波形及参数，使得分离信号满足)()(t t s y ≈。
图（1）的盲信号分离模型可以概括表示为通式（2）和式（3）的数学模型，分别称为系统混合模型和系统分离模型)()]([)(t t t n s f x += （2）)]([)(t t x g y = （3）式中：T 21],,,[][n f f f =⋅f 表示未知混合系统的混合函数；T m 21]g ,,g ,[g ][ =⋅g 表示分离系统的分离函数；没有噪声的情况下，][⋅f 和][⋅g 互为反函数，此时混合系统与分离系统互为逆系统。
依据混合系统的混合方式，盲信号分离问题分为线性瞬时混合盲信号分离、线性卷积混合盲信号分离及非线性瞬时混合盲信号分离三种主要形式，线性瞬时混合盲信号分离是最简单、最经典的盲信号分离模型，其理论和算法的发展最完善、最系统、最成功。
令A f =⋅][,B g =⋅][即得线性瞬时混合模型的数学表达式：)()()(t t t n As x += （4）)()(t t Bx y = （5）其中：A 为n m ⨯混合系数矩阵，称为系统混合矩阵；B 为m n ⨯分离系数矩阵，称为系统分离矩阵。
线性瞬时混合表示接收器“同时”接收到多个源发射来的信号，信号传输过程无延迟滤波仅有缩放作用，本论文主要针对线性瞬时混合模型进行研究。
第2部分 盲信号分离理论基础BSS 是盲信号处理领域的研究内容之一，主要目标是从观测信号中获得源信号的最佳估计。
它是统计信号处理、信息论及神经网络等多学科相结合的综合性分支内容，涉及概率统计、矩阵论、信息论、泛函及人工神经网络等学科基础知识，本章主要总结BSS 理论的基础知识和研究盲信号分离时涉及的相关学科知识，为进一步研究BSS 问题做准备。
2.1 线阵列信号的盲分离数学模型若测量向量)(t x 来自间距为d 的m 个各向同性阵元组成的均匀线列阵，n 个点源向量)(t s 位于远场，来自n θθθ,,,21 方向，记为T 21],,,[n θθθ =θ，如图（2.1）所示。
图2.1线列阵接收模型Fig2.1 The model of linear array receive signals以阵元1x 作为参考阵元，式（1-4）与式（1-5）可写为：)()()()(t t t n s θA x += （2-1）)()()(t t x θB y = （2-2）T n a a a )](,),(),([)(21θθθ =θA （2-3）]e e e 1[)(/c dsin 1)--j(m /c dsin -j2/c dsin -j i i i θωθωθωθ =i a （2-4） )(i a θ表示阵列对第i 个源的方向向量；ω为中心角频率；令c d /sin θτ=，τ表示期望信号波前到达相邻两阵元的时间差。
设)(~t s 、)(~t x 、)(~t n 分别为)(t s 、)(t x 与)(t n 的解析形式。
均匀线列阵接收远场信号，可将式（2-1）表示为：)(~)(~)()(~t t t ns θA x += （2-5） 其中，T 21)](s ~,),(s ~),(s ~[)(~t t t t n =sT 21)](~,),(~),(~[)(~t x t x t x t m =xT 21)](~),(~),(~[)(~t n t n t n t m=n 在水声信号处理领域中系统混合矩阵)(θA 是基阵对n 个目标入射方向的响应向量构成的n m ⨯矩阵，又称为基阵的阵列流形。
相应的系统分离模型可表示为：)(~)()(~t t x θB y = （2-6）)(θB 是m n ⨯的分离矩阵，)(~t y 是分离信号)(t y 的解析形式。
盲信号分离的任务就是寻找合适的分离矩阵)(θB ，使式（2-6）成立，再取)(~t y 的实部，即：))(~(Re )(t al t y y =，)(t y 恰好是独立源信号)(t s 的一个估计，即ˆ()()t t =y s。
2.2 盲信号分离的代价函数及优化准则在BSS 问题中，不仅需要建立系统数学模型，还要考虑BSS 算法的代价函数，使得BSS 的分离系统对应于代价函数的极值点（极大值点或极小值点），再选用某种优化算法寻找代价函数的极值点。
当代价函数达到极值点后，对应的系统即为待求解的分离系统。
BSS 算法的代价函数大都是建立在独立分量分析（Independent complement Analysis ：ICA ）数学模型基础之上，ICA 是为了解决盲分离问题而提出并发展起来的一类信号处理技术，现已成为解决盲分离问题的有力工具。
然而ICA 和BSS 方法并不能完全等同或相互替代，BSS 比ICA 具有更宽广的适用范围，原因是：ICA 只在源信号相互独立的条件下适用，而对BSS 而言，即便源信号之间存在相关甚至完全相关，依然可能采用其它方法分离信号；BSS 的目的是分离源信号，而ICA 的目的是寻找某种变换，保证输出信号的各分量之间尽可能地相互独立；另外，很多情况下BSS 方法经常使用随机向量的二阶统计量（SOS ），而ICA 则常常使用更高阶的统计量（HOS ）。
如果源信号之间满足相互独立的假设条件，ICA 和BSS 方法可以用相似甚至相同的数学模型来描述，并使用相似的或相同的算法实现源信号的分离，因此，BSS 和ICA 二者极其相似而又相互区别。
根据中心极限定理，独立随机变量和的分布比其中任何一个随机变量更接近高斯分布，因此非高斯性可以作为随机信号相互独立性的度量。
目前，ICA 理论的优化准则主要有基于信息论的优化准则和基于高阶累积量的优化准则。
2.2.1 基于信息论的代价函数及优化准则基于信息论的评价准则主要包括最大似然估计准则、最大熵准则、信息最大化法准则、最小互信息准则和负熵最大化准则，分别介绍如下。
2.2.1.1 最大似然准则最大似然估计（maximum likwlihood estimator ：MLE ）是检测理论中常用的一种统计检测方法，它的目标是根据观测数据样本估计信号的参数。
K-L 散度（Kullback-Leibler divergence ）用来度量随机变量概率密度函数的相似程度，也就是衡量各种分布之间的接近程度。
设)(1x p 和)(2x p 是关于随机向量X 的两种不同分布的概率密度函数，则)(1x p 相对于)(2x p 之间的散度定义为：)](log[)( )](log[)()( )](log[)()](log[)( ])()(log[)()](|)([2211211111211121i i Ti i i Ti i i T i i i i Ti i x p X H x p x p X H x p x p x p x p x p x p x p x p x p KL --≈--=-==∑∑∑∑==== （2-7）)](log[)()( 111i Ti i x p x p X H ∑=-= （2-8）当)(1x p 与)(2x p 同分布时，0)](|)([21=x p x p KL ；式（2-8）是X 的自信息量的平均值，称为熵，用来描述随机事件的不确定性程度。
使用K-L 散度作为最大似然估计的似然函数，建立似然函数的代价函数。
针对式（2-1）的混合模型，设)(x p X 为观测向量)(t x 的概率密度，)(s p S 为源信号)(t s 的概率密度，由概率论及矩阵论理论，知)(x p X 与)(s p S 满足：)(det /)()(-1A x A x s x p p = （2-9）则观测信号)(t x 的似然函数定义为：()[][][]()A x x A x xx x x A x x x x det log )(log )()(log )()(log E )(1-===⎰⎰-d p p d p p p L s （2-10）令式（2-2）的分离矩阵满足1-=A B 时，根据矩阵论理论将对数似然函数改写为：[]()[]{}()B Bx B x Bx x B x det log )(log 1det log )(log )()(1+≈+=∑⎰=Ti s s p T d p p L （2-11） T 为独立同分布观测信号的快拍数。