独立分量分析(ICA)
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
EX(t)= X (t ) N
i i=1
DX(t)=
( X (t ) EX(t)) N
i i=1
1 0.5 0 -0.5 -1 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
问题的提出：3、独立分量分析法的基本问题
假设源信号若干个统计上相互独立的信号组成的，它们在 空间中形成交叠，独立分量分析(Independent Component Analysis，ICA)是借助于多个信道同步观察交 叠信号，将观察信号经过解混分解成若干独立成分，作为 对源信号的一组估计。 观察信号 估计信号 信号源
n (s) n1 s1 , s 2 n 2 , , sM nM
n n1 nM
d ( s) kn ds n
n
s 0
多变量（联合累计量）
期望 k1 m1 方差 k 2 m2 m12 k 3 m3 3m2m1 2m13 k 4 m4 3m2 2 4m3m1 12m2m12 6m14
注意：各道数据间不相关，不一定独立，除非是高 斯信号
独立分量法具体算法: 一、主要步骤——主成分分析与球化 协方差矩阵： CX XX UΛU CX iuiui T i 1 特征值分解： U:特征向量矩阵，正交归一，每一列称为一特征向量
y 2(t ) y 3(t )
sM (t )
A
信道n
xM (t )
B
yM (t )
问题的提出：3、独立分量分析法的基本问题
问题的提出：3、独立分量分析法的基本问题
几点说明：
1、解出来的Y只要求各分量独立，因而解不是唯 一的，可以有相移、次序颠倒、幅值变化等 2、要解出Y，需要对Y各分量是否独立进行判断。 确切地说，需要找到某种判断函数G，使Y个分量 独立时G(Y)达到最大或最小值。 3、由于独立判据函数G的不同，以及求解Y的步 骤不同，有不同的独立分量分析法。
ye
F (2) ( y ) :
( y 2 / 2)
e
( y 2 / 2)
y
预备知识：四、信号通过线性系统信息特征的变化
信号通过线性系统 熵关系：
H (y ) H (x) log B
x(t )
线性系统
y(t ) Bx(t )
B
|B|=1，即系统正交归一时，熵不变
KL散度关系：
问题的提出：4、独立分量分析法的历史与应用
应用： 信号处理
码分多址通信，雷达信号分选等
生物医学
心电图(胎儿)，脑电图等
图像处理
图像压缩，数字识别，图像融合等
其他
地震勘探、遥感遥测等，总之包含了信息、通讯、 生命、材料、电力、机械、化学等各个学科
目录
目录 问题的提出 预备知识 一、统计数学知识 二、信息论基本知识 三、概率密度函数的展开 四、信号通过线性系统信息特征的变化 独立分量法介绍 总结与展望
Gram-Charlier展开
1 J [ p( x)] [4k 32 k 4 2 3k 34 18k 32 k 4] 48
缺点： 大值野点会引 起较大误差
预备知识：三、概率密度函数的展开
非多项式函数的加权和形式：
文献提到，当 p( y ) 与标准高斯分布 pG ( y) 相差不太大时， p( y )可用若干个非多项式函数 F (i) ( y )(i 1 ~ N ) 的加权和来逼 近： N
3、互信息
I (x) KL[ p(x), p( xi )]
可见 I (x) 0 ，当仅但当各分量独立时， I (x) 0 互信息是各分量独立程度的最直接的量度！
i =1
N
预备知识：二、信息论基本知识
4、负熵
任意概率密度函数p(x)
J [ p( x)]=KL[p(x),pG (x)] HG (x ) H (x )
各分量独立时：
(s)= ( si )
i =1 M
(s)= ( si )
i =1
M
预备知识：一、统计数学知识
3、矩
n阶矩：单变量
d n ( s) mn ds n
s 0
E( xn )
s1 s 2 sM 0
4、累计量
n阶累计量：
单变量
（联合矩）
多变量 Mn1, n 2 , , nM
X(t ) AS(t ) Y(t ) BX(t )
信号源
s1(t )
s 2(t ) s 3(t )
N点采样
M N
X A S
M M M M
M N M N
M N
Y B X
观察信号
混合 矩阵
信道1
信道2 信道3
估计信号
y1(t )
x1(t )
x 2(t ) x3(t )
解混 矩阵
预备知识：一、统计数学知识
1、特征函数
单变量 多变量
j x
( ) p ( x)e
替换
dx E[e
j x
]
(ω) p(x)e
jωT x
dx E[e
jωT x
]
s j
(s)
(s )
2、第二特征函数
单变量 (s) log (s) 多变量 (s) log (s)
探查性投影追踪
为了使近似性能较好，F(y)除了上述性质外，最好能有以下 性质： (1)、统计特性E[F(y)]不难求得 2 (2)、当y增大时，F(y)的增长速度不能快于 y ，以使E[F(y)] 对野点不太敏感。 通常N取1或2。有以下函数形式可用： 1 (1) log cosh ay F ( y) : 1 a 2, 通常取a 1 a
s1 s 2 sM 0
n n1 nM
只有 n1, n2,, nM 中一个非零，其他皆为零时， Kn1, n 2, , nM 不为零。 即互累计量为零。 (可作为检验独立的一个判据)
预备知识：二、信息论基本知识
1、熵
信号中平均所含有的信息量。随机信号 x x H ( x) p ( x) log p ( x)dx E (log p ( x)) 单变量： 多变量： 联合熵：H (x) p(x) log p(x)dx E (log p(x))
独立分量法具体算法：一、主要步骤 独立分量分析： 对交叠信号X，求解混矩阵B，使Y=BX各分量尽 量相互独立。独立判据函数G。
主要步骤： 预处理部分（简化计算） 核心算法部分
独立分量法具体算法：一、主要步骤
预处理部分： 1、对X零均值处理 √ 2、球化分解（白化）
即：乘球化矩阵S，使Z=SX各行正交归一，即ZZ’=I 意义：消除原始各道数据间二阶相关，以后只需要 考虑高阶矩量(因为独立时各阶互累积量为0)，使 很多运算过程简化。
s1(t ) s 2(t ) s 3(t )
混合 系统
信道1
信道2 信道3
x1(t )
x 2(t ) x3(t )
y1(t )
解混 矩阵
y 2(t ) y 3(t )
sM (t )
A
信道n
xM (t )
B
yM (t )
S (t)
X(t)
Y (t)
问题的提出：3、独立分量分析法的基本问题
简化假设： 1、A是线性系统，可用矩阵表示. (实际仿真时是随机阵) 2、信道对信号无影响，观察信道数与信号数相同，(A，B方阵)
独立分量分析法
报告人：巫书航 导师：山秀明 苏威积
目录
目录 问题的提出 数学准备 独立分量法具体算法 总结与展望
目录
目录 问题的提出 一、时域雷达信号分选 二、信号与随机变量间的关系 三、独立分量分析法(ICA)的基本问题 四、独立分量分析法(ICA)的历史与应用 数学准备 独立分量法具体算法 总结与展望
问题的提出：4、独立分量分析法的历史与应用
历史： 是盲信号处理的一种，是90年代后期发展 信道 起来的 S (t ) X (t )
H
ICA是盲信号处理的一个组成部分，20世纪 90年代后期(1986、1991)发展起来的一项 新处理方法，最早是针对“鸡尾酒会问题” 这一声学问题发展起来的
鸡尾酒会问题：从酒会的嘈杂的声音中，如何分 辨出所关心的声音
i 1
i 1
负熵关系：
J [ p(y)]=J [ p(x)]
目录
目录 问题的提出 数学准备 独立分量法具体算法 一、主要步骤 二、各类ICA算法简介 三、Fast ICA算法 总结与展望
目录：独立分量法具体算法
独立分量法具体算法 一、主要步骤 二、各类ICA算法简介 三、Fast ICA算法
预备知识：三、概率密度函数的展开
高阶统计量形式：
设x零均值，方差1（白化数据）
Edgeworth展开
p( x) k3 k4 1 H 3( x) H 4( x) Hn( x), Hermite多项式 pG ( x) 3! 4! 1 J [ p( x)] [4k 32 k 4 2 7k 43 6k 32 k 4] 48
各分量独立时： H (x) H ( xi )
i 1
N
在协方差矩阵相同的概率密度函数中，高斯分布的 熵最大。
预备知识：二、信息论基本知识
2、Kullback-Leibler散度
两个概率密度函数间相似程度的度量。 概率密度函数：p(x),q(x) p( x) dx 单变量： KL[ p( x), q( x)] p( x) log
pG(x): 与p(x) 其具有相同协方差阵的高斯分布 因为在协方差矩阵相同的概率密度函数中，高斯分 布的熵最大，所以负熵非负。
Vii 1 I ( px ) J ( px ) J ( pxi ) log 2 det V i 1
N
V 是协方差阵
负熵用来度量p(x)的非高斯程度。 非高斯性另一种衡量方法：四阶累计量k4,峰度 (kurtosis)，单变量。 |k4| 高斯信号k4 =0 k4 >0,超高斯 k4 <0,亚高斯
q( x)
多变量： 特点：
p ( x) KL[ p(x), q(x)] p(x) log dx q ( x)
KL[ p( x), q( x)] 0
KL=0 p( x) q( x)
y Bx, B 0 KL[p(y ),q(y )] KL[p(x),q(x)]
预备知识：二、信息论基本知识
答：独立重复试验，得到试验样本集{Xi}。 由这组数据样本点可以估计出随机变量 的各阶矩，近而估计出pdf等全部统计信息。
问题的提出：2、信号与随机变量间的关系
对一个信号X(t)：
独立重复试验 ———— 抽样ti， i=1,2, …N 样本集 ———— {X(ti)} 因而信号X(t)可以看成是一个随机变量, 并可估算它的各阶矩， 以及谈论它的pdf，独立、相关等统计特性。 例如： 1 N 1 N 2
p( y ) pG ( y )[1 ciF (i ) ( y )]
i 1
F (i) ( y) 需要满足以下条件： (i ) ( j) p G( y)F ( y ) F ( y )dy ij (1)、正交归一性 k (i ) p G( y) y F ( y )dy 0, k 0,1, 2 (2)、矩消失性
问题的提出：1、时域雷达信号分选
一、时域雷达信号分选
数学模型：时间、幅度图像
雷达信号1 雷达信号2 雷达信号3 交叠信号 交叠信号2：
PRI变换：单组混叠信号且只考虑TOA 独立分量分析：多组同步混叠信号
问题的提出：2、信号与随机变量间的关系
二、信号与随机变量间的关系 问题：随机变量X在实际中的体现？
s1 s 2 sM 0
Kn1, n 2, , nM
n (s) n1 s1 , s 2 n 2 ,, sM nM
n n1 nM
预备知识：一、统计数学知识
当各分量独立时：
Kn1, n 2, , nM n (s) n1 s1 , s 2 n 2 ,, sM nM
KL[ p(x), p(y )] log B
|B|=1，即系统正交归一时，KL散度为0
预备知识：四、信号通过线性系统信息特征wenku.baidu.com变化
互信息关系：
I ( y ) I ( x) log B H ( yi) H ( xi)
N N
I ( x, y ) H ( y ) H ( y x ) H ( x ) H ( x y )
i i=1
DX(t)=
( X (t ) EX(t)) N
i i=1
1 0.5 0 -0.5 -1 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
问题的提出：3、独立分量分析法的基本问题
假设源信号若干个统计上相互独立的信号组成的，它们在 空间中形成交叠，独立分量分析(Independent Component Analysis，ICA)是借助于多个信道同步观察交 叠信号，将观察信号经过解混分解成若干独立成分，作为 对源信号的一组估计。 观察信号 估计信号 信号源
n (s) n1 s1 , s 2 n 2 , , sM nM
n n1 nM
d ( s) kn ds n
n
s 0
多变量（联合累计量）
期望 k1 m1 方差 k 2 m2 m12 k 3 m3 3m2m1 2m13 k 4 m4 3m2 2 4m3m1 12m2m12 6m14
注意：各道数据间不相关，不一定独立，除非是高 斯信号
独立分量法具体算法: 一、主要步骤——主成分分析与球化 协方差矩阵： CX XX UΛU CX iuiui T i 1 特征值分解： U:特征向量矩阵，正交归一，每一列称为一特征向量
y 2(t ) y 3(t )
sM (t )
A
信道n
xM (t )
B
yM (t )
问题的提出：3、独立分量分析法的基本问题
问题的提出：3、独立分量分析法的基本问题
几点说明：
1、解出来的Y只要求各分量独立，因而解不是唯 一的，可以有相移、次序颠倒、幅值变化等 2、要解出Y，需要对Y各分量是否独立进行判断。 确切地说，需要找到某种判断函数G，使Y个分量 独立时G(Y)达到最大或最小值。 3、由于独立判据函数G的不同，以及求解Y的步 骤不同，有不同的独立分量分析法。
ye
F (2) ( y ) :
( y 2 / 2)
e
( y 2 / 2)
y
预备知识：四、信号通过线性系统信息特征的变化
信号通过线性系统 熵关系：
H (y ) H (x) log B
x(t )
线性系统
y(t ) Bx(t )
B
|B|=1，即系统正交归一时，熵不变
KL散度关系：
问题的提出：4、独立分量分析法的历史与应用
应用： 信号处理
码分多址通信，雷达信号分选等
生物医学
心电图(胎儿)，脑电图等
图像处理
图像压缩，数字识别，图像融合等
其他
地震勘探、遥感遥测等，总之包含了信息、通讯、 生命、材料、电力、机械、化学等各个学科
目录
目录 问题的提出 预备知识 一、统计数学知识 二、信息论基本知识 三、概率密度函数的展开 四、信号通过线性系统信息特征的变化 独立分量法介绍 总结与展望
Gram-Charlier展开
1 J [ p( x)] [4k 32 k 4 2 3k 34 18k 32 k 4] 48
缺点： 大值野点会引 起较大误差
预备知识：三、概率密度函数的展开
非多项式函数的加权和形式：
文献提到，当 p( y ) 与标准高斯分布 pG ( y) 相差不太大时， p( y )可用若干个非多项式函数 F (i) ( y )(i 1 ~ N ) 的加权和来逼 近： N
3、互信息
I (x) KL[ p(x), p( xi )]
可见 I (x) 0 ，当仅但当各分量独立时， I (x) 0 互信息是各分量独立程度的最直接的量度！
i =1
N
预备知识：二、信息论基本知识
4、负熵
任意概率密度函数p(x)
J [ p( x)]=KL[p(x),pG (x)] HG (x ) H (x )
各分量独立时：
(s)= ( si )
i =1 M
(s)= ( si )
i =1
M
预备知识：一、统计数学知识
3、矩
n阶矩：单变量
d n ( s) mn ds n
s 0
E( xn )
s1 s 2 sM 0
4、累计量
n阶累计量：
单变量
（联合矩）
多变量 Mn1, n 2 , , nM
X(t ) AS(t ) Y(t ) BX(t )
信号源
s1(t )
s 2(t ) s 3(t )
N点采样
M N
X A S
M M M M
M N M N
M N
Y B X
观察信号
混合 矩阵
信道1
信道2 信道3
估计信号
y1(t )
x1(t )
x 2(t ) x3(t )
解混 矩阵
预备知识：一、统计数学知识
1、特征函数
单变量 多变量
j x
( ) p ( x)e
替换
dx E[e
j x
]
(ω) p(x)e
jωT x
dx E[e
jωT x
]
s j
(s)
(s )
2、第二特征函数
单变量 (s) log (s) 多变量 (s) log (s)
探查性投影追踪
为了使近似性能较好，F(y)除了上述性质外，最好能有以下 性质： (1)、统计特性E[F(y)]不难求得 2 (2)、当y增大时，F(y)的增长速度不能快于 y ，以使E[F(y)] 对野点不太敏感。 通常N取1或2。有以下函数形式可用： 1 (1) log cosh ay F ( y) : 1 a 2, 通常取a 1 a
s1 s 2 sM 0
n n1 nM
只有 n1, n2,, nM 中一个非零，其他皆为零时， Kn1, n 2, , nM 不为零。 即互累计量为零。 (可作为检验独立的一个判据)
预备知识：二、信息论基本知识
1、熵
信号中平均所含有的信息量。随机信号 x x H ( x) p ( x) log p ( x)dx E (log p ( x)) 单变量： 多变量： 联合熵：H (x) p(x) log p(x)dx E (log p(x))
独立分量法具体算法：一、主要步骤 独立分量分析： 对交叠信号X，求解混矩阵B，使Y=BX各分量尽 量相互独立。独立判据函数G。
主要步骤： 预处理部分（简化计算） 核心算法部分
独立分量法具体算法：一、主要步骤
预处理部分： 1、对X零均值处理 √ 2、球化分解（白化）
即：乘球化矩阵S，使Z=SX各行正交归一，即ZZ’=I 意义：消除原始各道数据间二阶相关，以后只需要 考虑高阶矩量(因为独立时各阶互累积量为0)，使 很多运算过程简化。
s1(t ) s 2(t ) s 3(t )
混合 系统
信道1
信道2 信道3
x1(t )
x 2(t ) x3(t )
y1(t )
解混 矩阵
y 2(t ) y 3(t )
sM (t )
A
信道n
xM (t )
B
yM (t )
S (t)
X(t)
Y (t)
问题的提出：3、独立分量分析法的基本问题
简化假设： 1、A是线性系统，可用矩阵表示. (实际仿真时是随机阵) 2、信道对信号无影响，观察信道数与信号数相同，(A，B方阵)
独立分量分析法
报告人：巫书航 导师：山秀明 苏威积
目录
目录 问题的提出 数学准备 独立分量法具体算法 总结与展望
目录
目录 问题的提出 一、时域雷达信号分选 二、信号与随机变量间的关系 三、独立分量分析法(ICA)的基本问题 四、独立分量分析法(ICA)的历史与应用 数学准备 独立分量法具体算法 总结与展望
问题的提出：4、独立分量分析法的历史与应用
历史： 是盲信号处理的一种，是90年代后期发展 信道 起来的 S (t ) X (t )
H
ICA是盲信号处理的一个组成部分，20世纪 90年代后期(1986、1991)发展起来的一项 新处理方法，最早是针对“鸡尾酒会问题” 这一声学问题发展起来的
鸡尾酒会问题：从酒会的嘈杂的声音中，如何分 辨出所关心的声音
i 1
i 1
负熵关系：
J [ p(y)]=J [ p(x)]
目录
目录 问题的提出 数学准备 独立分量法具体算法 一、主要步骤 二、各类ICA算法简介 三、Fast ICA算法 总结与展望
目录：独立分量法具体算法
独立分量法具体算法 一、主要步骤 二、各类ICA算法简介 三、Fast ICA算法
预备知识：三、概率密度函数的展开
高阶统计量形式：
设x零均值，方差1（白化数据）
Edgeworth展开
p( x) k3 k4 1 H 3( x) H 4( x) Hn( x), Hermite多项式 pG ( x) 3! 4! 1 J [ p( x)] [4k 32 k 4 2 7k 43 6k 32 k 4] 48
各分量独立时： H (x) H ( xi )
i 1
N
在协方差矩阵相同的概率密度函数中，高斯分布的 熵最大。
预备知识：二、信息论基本知识
2、Kullback-Leibler散度
两个概率密度函数间相似程度的度量。 概率密度函数：p(x),q(x) p( x) dx 单变量： KL[ p( x), q( x)] p( x) log
pG(x): 与p(x) 其具有相同协方差阵的高斯分布 因为在协方差矩阵相同的概率密度函数中，高斯分 布的熵最大，所以负熵非负。
Vii 1 I ( px ) J ( px ) J ( pxi ) log 2 det V i 1
N
V 是协方差阵
负熵用来度量p(x)的非高斯程度。 非高斯性另一种衡量方法：四阶累计量k4,峰度 (kurtosis)，单变量。 |k4| 高斯信号k4 =0 k4 >0,超高斯 k4 <0,亚高斯
q( x)
多变量： 特点：
p ( x) KL[ p(x), q(x)] p(x) log dx q ( x)
KL[ p( x), q( x)] 0
KL=0 p( x) q( x)
y Bx, B 0 KL[p(y ),q(y )] KL[p(x),q(x)]
预备知识：二、信息论基本知识
答：独立重复试验，得到试验样本集{Xi}。 由这组数据样本点可以估计出随机变量 的各阶矩，近而估计出pdf等全部统计信息。
问题的提出：2、信号与随机变量间的关系
对一个信号X(t)：
独立重复试验 ———— 抽样ti， i=1,2, …N 样本集 ———— {X(ti)} 因而信号X(t)可以看成是一个随机变量, 并可估算它的各阶矩， 以及谈论它的pdf，独立、相关等统计特性。 例如： 1 N 1 N 2
p( y ) pG ( y )[1 ciF (i ) ( y )]
i 1
F (i) ( y) 需要满足以下条件： (i ) ( j) p G( y)F ( y ) F ( y )dy ij (1)、正交归一性 k (i ) p G( y) y F ( y )dy 0, k 0,1, 2 (2)、矩消失性
问题的提出：1、时域雷达信号分选
一、时域雷达信号分选
数学模型：时间、幅度图像
雷达信号1 雷达信号2 雷达信号3 交叠信号 交叠信号2：
PRI变换：单组混叠信号且只考虑TOA 独立分量分析：多组同步混叠信号
问题的提出：2、信号与随机变量间的关系
二、信号与随机变量间的关系 问题：随机变量X在实际中的体现？
s1 s 2 sM 0
Kn1, n 2, , nM
n (s) n1 s1 , s 2 n 2 ,, sM nM
n n1 nM
预备知识：一、统计数学知识
当各分量独立时：
Kn1, n 2, , nM n (s) n1 s1 , s 2 n 2 ,, sM nM
KL[ p(x), p(y )] log B
|B|=1，即系统正交归一时，KL散度为0
预备知识：四、信号通过线性系统信息特征wenku.baidu.com变化
互信息关系：
I ( y ) I ( x) log B H ( yi) H ( xi)
N N
I ( x, y ) H ( y ) H ( y x ) H ( x ) H ( x y )