盲源分离(ICA)

盲源分离框图
二、数学模型
盲源分离的数学模型
假设有M个独立的源信号Si(t ), i=1...M ，由其线性混合而成N个不再 独立的观测信号X(t)，对于任何时间t：
S是M维向量，X是N维向量，A是N× M混合矩阵 盲源分离为题就是求解一分离矩阵W，使得通过它可以仅从观测信号 x(t)来恢复出源信号 s(t)。设 y(t)为源信号的估计矢量，则有：
这一过程又称为独立分量分析(Independent Component AnalysisICA)。 如果考虑到时间延迟对观测信号的影响，那么观测到的信号应该是源 信号和通道的卷积，对卷积混迭信号进行盲分离通常被称为盲反卷积 （Blind Deconvolusion）。
二、数学模型
盲源分离的数学模型
Infomax 法的判据：在给定合适的 gi(Yi)后，使输出 r = [r1，r2，…，
rM]的总熵量H(r)极大。
和互信息极小化准则等价
gi 可采用某些单调增长函数 (如: sigmoid 函数、tanh(• )等) ， 只是信源的pdf 需要一律是超高斯型，或一律是亚高斯型。
三、分离算法
二、数学模型
盲反卷积系统的数学模型
二、数学模型
独立分量分析：利用源信号之间的统计独立性对源信号进行有效的估计。
对观测信号及生成信号的假设约束: 各源信号之间统计独立，即源信号的联合概率密度函数是各分量的边缘
密度函数的连乘积。这是独立分量分析的前提和基本准则。
观察信号数N大于或等于源信号数M，即N≥ M。如为欠定盲分离类型， 需要利用源信号的其他特征如稀疏性进行分离。 源信号中至多只有一个高斯信源。 源信号的各分量为零均值的平稳随机过程。
三、分离算法
三、分离算法
白化这种常规的方法作为ICA的预处理可以有效地降低问题的复杂度， 而且算法简单，用传统的主分量分析(PCA)就可完成。 用PCA对观测信号进行白化的预处理使得原来所求的解混合矩阵退化
成一个正交阵，减少了ICA的工作量。
PCA本身具有降维功能，当观测信号的个数大于源信号个数时，经过 白化可以自动将观测信号数目降到与源信号维数相同。
Analysis, FastICA）。
批处理+自适应结合的方法，比批处理甚至一 部分自适应算法有更快
的处理速度。
目标函数的准则是 “分离后数据的概率密度函数距离高斯分布最 远”。
三、分离算法
优化算法： 确定分离矩阵 B(或球化阵 W 和正交阵 U)
由于线性变换连接的是两个白色随机矢量Z t 和 yt ，可以得出U一定 是一个正交变换。
基于负熵的， 提取多个源信号的固定点算法步骤如下：
四、仿真结果
四、仿真结果
源信号只含一个随机噪声分离后得到的波形图
源信号含两个随机噪声分离后得到的波形图
在同一个ICA系统中，信号的非高斯性 越强，分离出来的信号越接近源信号， 分离效果越好；反之，分离效果越差。
次序不确定性
五、问题
ICA中存在固有的模糊性(ambiguities)或不确定性： 具体有幅值不确定(scaling)和次序不确定性(permutation)两类。
为亚高斯分布。
三、分离算法
负熵：信息论中的“熵” 是随机变量的随机性越大，熵就越大，高斯 变量是所有等方差的随机变量中熵最大的。负熵是任意随机变量与高 斯随机变量之间的相对熵，定义如下：
J[p(y)]值越大表示它距离高斯分布越远，可用来作为非高斯性的度量。
三、分离算法
（2）互信息极小化准则（Minimization of Mutual Information, MMI） 当 y中各分量统计独立时，互信息 I ( y ) =0，互信息定义如下：


自适应算法
常规的随机梯度法 自然梯度与相对梯度法 扩展的Infomax法 非线性PCA的自适应算法


逐次提取法
梯度算法 固定点算法（Fixed-point algorithm）
三、分离算法
（三）快速独立分量分析 （a Fast algorithm of Independent Component
采用负熵作为度量的FastICA算法
由于 z 是球化数据，通过近似和代数简化后有:
三、分离算法
为了保证每次提取出来的都是尚未提取过的信源，必须在重复前述算 法前添加一步正交化步骤，把已提取过的分量去掉。由于 U 是正交归 一阵，所以可采用 Gram-schmidt正交分解法来实现。
三、分离算法
（4）极大似然准则
（二）优化算法


常用方法：批处理算法、自适应算法、逐次提取法
批处理
成对数据旋转法（Jacobi法）及极大峰值法（Maxkurt法） 特征矩阵的联合近似对角化 (Joint Approximate Diagonalization of Eigenmatrices ,JADE) 四阶盲辨识（FOBI法）
斯最大化准则有四阶累积量准则和基于负熵的准则两种。
四阶累积量（峭度(kurtosis)）： 定义代价函数为J (yi)=k4 (yi)，则当yi 为高斯分布时有J (yi)=0，通过J
(yi)的最大化来完成分离。
如果连续随机变量是高斯随机信号，其峭度为零。若是非高斯信号， 当其峭度大于零(kurt>0)则为超高斯分布。当其峭度小于零(kurt<0)则
源信号的各分量具有单位方差。
三、分离算法
（一）目标函数 采用基于独立性测度的分离准则。
非高斯最大化准则
互信息极小化准则
信息极大化 极大似然准则
三、分离算法
（1）非高斯最大化准则 根据大数定理，多个相互独立的随机变量之和趋向于高斯分布。因此， 分离信号的非高斯性可以作为衡量是否成功分离的准则。常用的非高
盲 源 分 离
一、引言
起源：鸡尾酒会问题。从酒会嘈杂的人群中提取所关心对 象的语言。
“盲”
源信号不可观测 混合系统的特性事先不可知
一、引言
盲源分离(Blind SourceSeparation-BSS)：是指在不知源信号和传输 通道的参数的情况下,根据输入源信号的统计特性,仅由观测信号恢复 出源信号各个独立成分的过程。
更深入难题的解决：
各信号传递过程中有延迟或与通道发生卷积 系数时变 稀疏组合 非线性、非平稳
单通道
谢
谢！
假设可线性变换Y = BX，基于互信息最小化的目标函数为：
三、分离算法
将概率密度函数按级数ຫໍສະໝຸດ Baidu开后有
信号的pdf较对称，k3值较小时
三、分离算法
（3）信息极大化准则（Infomax 或 ME (maximization of entropy) ） 在输出 y 之后逐分量地引 入一个非线性函数 ri=gi(Yi) 来代替对高阶统 计量的估计 。