独立分量分析

1v1uM 112v2uM 12. ..m vm 1 uMM ...1v1N uM 12v2N uM 2. ..m vM uM N M
独立分量分析概述
列向量u反应在不同通道的分量，空间模式； 列向量v反应在不同时刻的贡献，时间模式。 在均值为0时，其协方差阵可表示为：
C x X T U X V T V U T U U T
多变量： xX
性质：（1）J[p(x) ]≥0，p(x)=pG(x)：当且仅当J[p(x)]=0代表高斯分布。
N
（2）
N
I(x)J(x)
i1
J(xi)12lo
Cii gi1
Cx
Cx是行列式 互信息与负熵的关系。
ICA的优化判据
一、概述
解混系统B
s(t)
混合系统 x(t)
A
球化
Z(t) 正交系统
N
I(x)K[L p(x),
def
p(xi)]
p(x) p(x)log N
dx
i1
p(xi)
i1
称为互信息I（mutual information).
性质：（1）I(x) ≥0，I(x)=0，x 中各分量相互独立。
N
p(X) p(xi)可作为独立程度度量。 i1 N
（2）与信息熵的关系：I(x) H(xi)H(x) i1
独立分量分析概述
（一）前提：一般假设S中各分量相互独立；零均值， 且方差为1。
以多导信号处理为基础，即：必须借助于一组把信源 按不同比例组合起来的多通道信号同步观察。 多导 信号包括：主分量分析（PCA）；
奇异值分解（SVD）。
S
X
H
独立分量分析概述
（二）多导信号处理基础
对于M通道的观察值（每通道N点采样数据）组成数
注：不确定性是指被估计信号任意比例伸缩，排序和 时滞。依然保留了原信号的波形，是可以被BSP 接收的，对于BSP不是最关键的。
盲信号处理导论
三个主要方向： ＊盲信号分离与提取（BSS：Blind Signal Separation）
确定一个或几个具有特殊统计或性质的子分量，舍弃不 感兴趣的信号或噪声。 用二阶统计量可以完成。 ＊独立分量分析（ICA：Independent Component Analysis) 得到相互独立的输出分量。在实际应用中应作一定的处 理。 用高阶统计量来进行分析。 ＊多通道盲解卷积和均衡（MBD）
基本概念（与ICA相关）
（三）联合矩，联合累计量 性质：（1）当x各分量相互独立，互累计量必为0。
（2）比例性： cum(w1x1,w2x2,w3x3,w4x4)=w1w2w3w4cum(x1,x2,x3,x4)
联合矩：
(s)
0
sn1n11!sn2n22!...sn ..M n3M .!Mn1n2..n.M
第二特征函数
(s)log (s)
k1 m1 均值
k2m2m12 方差
k3m33m2m12m13 k 4 m 4 3 m 2 2 4 m 3 m 1 1m 2 m 2 1 2 6 m 1 4
基本概念（与ICA相关）
说明： (1)对单变量高斯型信号，二阶以上的矩和累计量或为 0，或可由一，二阶推导，是冗余的，因此，高斯型随 机变量可由一，二阶统计特征来完整描述。 (2)当pdf关于原点偶对称，m3=k3=0。 (3) k4>0 超高斯, k4<0 亚高斯, k4 常用于对非高斯，但 对称的pdf分类。 用︱k4︱大小作为衡量信号距离高斯型程度的度量。
v1N
.
.
2 0
0
.
.
.
.
xM 1 xM2 . . . xMN uM 1 uM2 . . . uMM
m ...0vN1 vN 2 ...
vNN
u11 uM1
u12 uM2
... u1M1v11
... uMM mvm1
1v12 mvm2
... 1v1N
...
mvM
N
1 v1u 1 1 12v2u 1 1 2. ..m vm 1 u 1M ...1v1N u 1 12v2N u 1 2. ..m vM u 1M N
是独立的。
测量
盲信号处理导论
（2）声音提取： 典型例子：“鸡尾酒会”的问题。 人的大脑可以很快辨出或集中听某种需要关注声音。
s1 (ຫໍສະໝຸດ Baidu )
s2 (t)
a 11
a12 a 21 a 22a 13
a 23
a 31 a 32
麦克风1 x1 (t)
麦克风2 x2 (t)
xx21((tt))aa1211ss11((tt))aa1222ss22((tt))aa123s3s33((tt)) x3(t)a31s1(t)a32s2(t)a33s3(t)
T D [1 2 ,i 2 2 ,a . M 2 ] .D g .[ 1 ,2 i ,a m .].g .
m m2为特征值，是对C x 的主分量分解 。
分解出的分量是按能量大小排序的12...M0。
主分量分解: PU TX VT
PPT 是按能量大小进行排序，反映信号主要分量。
独立分量分析概述
大值都给了一个独立分量。
独立分量分析概述
对X求协方差阵（假设各导记录的均值皆为0），则有：
C x X T U X V T VT U T U U T
T D [ 1 2 ,i 2 2 ,a . M 2 ] . D g .[ 1 ,2 i ,. M a ] .. g
m m2为特征值，上式是对Cx的主分量分解。
分解出的分量按能量大小排序 12...M0。如果原始数据的
秩小于M，则某些奇异值，特征值将等于0。
SVD，PCA分解, 保证分解出来的各分量不相关，不能保证分量 相互独立。 ICA最早是针对“鸡尾酒会问题”，从酒会嘈杂人声中提取所关 心 对象的语音，针对CDMA把各用户码分解开来。
独立分量分析概述
s3 (t)
a 33
麦克风3 x3 (t)
归结为 a ij 的设计，声音识别，可以识别微弱声音信号。
Y
盲信号处理导论
（3）数字通信系统：M1M0均衡器，滤波器。
Y
Y
符合盲信号处理对多通道的要求，
Y
Y 不需要有干扰信号的训练样本。
Y
Y
盲信号处理导论
（4）图像处理：建立一系列具有独立特征的组合，去 掉高阶关联性。 降噪，识别，压缩。
反映了p(x),q(x) 在某种意义下的距离。KL[p,q] ≠KL[q,p] 与距离对
称性不同，不宜称为距离。 重要应用：用来度量任意多变量概率密度函数中各分量相互独立程度。
基本概念（与ICA相关）
（六）互信息：定义当p(X)为多变量[x1,x2,…xN]的联合 pdf，p(xi)为各分 量边际pdf.
http://www.brain.riken.jp/lab/mns/amari
独立分量分析概述
（3）芬兰赫尔辛基工业大学神经网络研究中心 www.cis.hut.fi/~oja www.cs.helsinki.fi/aapo.hyvarinen 高阶统计量引入PCA，提出了立足于逐次提取独立分 量的固定点算 法（fixed point algorithm) 。fast ICA :使提取信号 非高斯性极大化。 计算量小，收敛速度快。
盲信号处理导论
（三）应用：医学，语音增强，无线通信
（1）生物医学处理：非侵入式评估人体器官不同生
理变化。
典型：胎儿心电图信号提取。
测量方法：在母体腹部放置若干体表电极，测
量电位差信号ECG：包括MECG，FECG。
母体心电图信号=胎儿心电图信×N（N=1.5～100）
自适应滤波；胎儿的心率与母体心率不同的，可看作
s0
二阶均方 四阶峰度
xnp(x)d xE[xn]
(s) p(x)esxdx
E[esx]
统计估计时，偏斜度，峰度是对标准化了的数据x (均值
为0，方差为1）进行的。
（二）n阶累计量：kn （cumulant）
dndsn(s) s0
(1s)mn
Taylor展开(s)n 0snn!kn log(s)
（三）ICA最简单框图说明
S
X=AS
A
B
Y=BX
混合矩阵
解混矩阵
ICA任务：S，A均未知，求B，使Y=BX是S的最优逼迫。
分解基本原则：
（1）非线性去相关。求B，使任意两输出yi, yj(i≠j)不相
关；且经非线性变换g(yi), h(yj)也不相关（高阶统计 量）。
（2） 使输出尽可能非高斯化,Y方差恒定，y bixi。
各分量信息熵的总和—联合熵
（3）反映了每个分量携带另一分量信息的含量。
基本概念（与ICA相关）
（七）负熵：任意pdf p(x)和具有相同协方差阵的高斯分布pG(x)的KL散 度，作为该pdf 非高斯程度的度量。 负熵（negentropy)
单变量： J[p(x) ]H K G[(p xL ()x )H p ,G ((xx )) ]p(x)lop p G g ((x x ))[]d x
（4）法国学者：J.F.Cardoso http://tsi.enst.fr/~cardoso. JADE 算法 批数据处理算法 近年来引人注意的稀疏分量分析。
优化判据 优化算法 应用
基本概念（与ICA相关）
（一）n阶矩：mn E(xn) 一阶均值 三阶偏斜度 特征函数
（moment）
d n (s) ds n
Mn1,n2..n.Ms1n1,sn2n2(,s.).s.M nMs1s2...sM0
基本概念（与ICA相关）
k
（四）熵：H pi logpi反映平均信息量。 i1
Hp(x)lopg (x)dx
（1）当随机变量取值一定范围时，其取值作均匀分布将具有最大熵值。
（2）当随机变量的功率一定时，高斯分布具有最大熵值
ICA的简单思路 ICA的任务明确为：在S，A均未知的情况下，求B，使Y=BX是 S的最优逼迫。
S
X=AS
Y=BX
A
B
混合矩阵
解混矩阵
基本原则: (1)非线性去相关。求B，使任意两输出yi, yj(i≠j)不相 关; 且经非线性变换g(yi), h(yi)也不相关（高阶统计量）。 (2) 使输出尽可能非高斯化。Y的非高斯性的每个局部极
据阵X
XUV
MN MMMNNN
其中 U ，V是正交归一阵，UTUUTU IM, VTVVVTIN
是准对角阵，MN
1
2
M
M
不失一般性；通常设 12.N..M0, i 为奇异值。
独立分量分析概述
x11 x12 . . . x1N u11 u12 . . . u1M1 0 0 ... 0 v11 v12 ...
盲信号处理导论
（二）处理方法和思路（四个） （1）HOS：高阶统计量衡量信号的独立性和高斯性， 或稀疏性（ICA）。 （2）SOS：有时序结构用二阶统计量（SOS）即可， 不能分离具有相同功率谱形状或独立同分布信号。 （3）NS+SOS：利用非平稳信息和SOS结合，能够分 开功率谱形状相同的源信号。但若非平稳性也相 同就不可以分离。 （4）STF多样：运用信号不同多样性：时域多样性， 频域多样性，空域多样性。 TDMA， FDMA， SDMA
独立分量分析
• 1 盲信号处理导论 • 2 独立分量分析概述 • 3 基本概念 • 4 ICA的优化判据 • 5 ICA的优化算法
盲信号处理导论
（一）盲信号处理（BSP，Blind Signal Processing）
问题：当传输信道特性未知时，从一个传感器或转换器 的输出信号分离或估计原信号的波形。
Y的非高斯性的每一个局部极大值给出了一个i独立分量。
独立分量分析概述
主要研究结构: (1)美国加州大学生物系，计算神经生物实验室，提出 信息极大化( infomax )。 http://www.cnl.salk.edu. (2)日本Riken的数量神经科学实验室，互信息极小化 （minimization of mutual information MMI)采用人 工神经网络优化。
y(t)
W
U
系统简图
ICA的优化判据
独立分量分析的实质是优化，即在某一衡量独立性判据 最有意义下寻求近似解。解是近似解，且排列次序 上， 幅度上允许不同 步骤：两步法解混 （1）球化：
确定线性变换W使z(t)的各分量zi(t)的方差为1，且不
相关（未必相互独立）
ICA的优化判据
（2）正交变换：
干扰最佳形式
（五）KL散度: 描述的是两个概率密度函数间相似程度（kullback-leibler 散度）
单变量： K[L p(x)q ,(x)]p(x)loq p g ((x x))dx
多变量： K[L p(X)q ,(X)] p(X)lopg (X)dXX代表矩阵
q(X)
KL≥0；p(x)=q(x), KL=0.