独立成分分析成1
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2.混合矩阵
A ∈ R m×n
,为列满秩的矩阵，即rank( A )=
k。
3.在 s (t ) 的分量中，服从高斯分布的分量不超过一个。 分离结果的不确定性： 分离结果的不确定性： 1：幅值的不确定性；2：排列次序的不确定性
目录
目录 问题的提出 预备知识 一、统计数学知识 二、信息论基本知识 三、概率密度函数的展开 四、信号通过线性系统信息特征的变化 独立分量法介绍 总结与展望
预备知识： 预备知识：二、信息论基本知识
1、熵
信号中平均所含有的信息量。随机信号 x x H 单变量： ( x) = − ∫ p( x) log p( x)dx = − E (log p( x)) 多变量： 联合熵：H (x) = − ∫ p(x) log p(x)dx = − E (log p(x)) 各分量独立时： H (x) = ∑ H ( xi )
码分多址通信，雷达信号分选等
生物医学
心电图(胎儿)，脑电图等
图像处理
图像压缩，数字识别，图像融合等
其他
地震勘探、遥感遥测等，总之包含了信息、通讯、生命、材料、电力、 机械、化学等各个学科
s =∈1R ),×sn2 (t),L, sk (t)]T A [s (tm
模型与假定
设某个混合系统由个k传感器和m个信号源组成，其混合模型可以表述如下：
ye
F ( y) :
(2)
− ( y 2 / 2)
−e
− ( y 2 / 2)
y
预备知识： 预备知识：四、信号通过线性系统信息特征的变化
信号通过线性系统 熵关系：
H (y ) = H (x) + log B
线性系统
x(t )
y (t ) = Bx(t )
B
|B|=1，即系统正交归一时，熵不变
KL散度关系：
M ×N
观察信号
混合 矩阵
信 道1
信道2
估计信号
y1(t )
x1(t )
x 2 (t ) x3(t )
解混 矩阵
y 2 (t ) y 3(t )
s 3(t )
信道3
M
sM (t )
A
M
信道n
M
xM (t )
B
M
yM (t )
问题的提出： 、 问题的提出：2、独立分量分析法的基本问题
信号的分离
图像的分离
q( x)
多变量： 特点：
p ( x) KL[ p (x), q (x)] = ∫ p(x) log dx q ( x)
KL[ p ( x), q ( x)] ≥ 0
KL=0 ⇔ p( x) = q( x)
y = Bx, B ≠ 0 ⇒ KL[p (y ),q(y )] = KL[p (x),q (x)]
问题的提出： 、 问题的提出：1、信号与随机变量间的关系
一、信号与随机变量间的关系 问题：随机变量X在实际中的体现？ {X } 答：独立重复试验，得到试验样本集{Xi}。 由这组数据样本点可以估计出随机变量 的各阶矩，近而估计出pdf（probability distribution function)等全部统计信息。
预备知识： 预备知识：二、信息论基本知识
3、互信息
I (x) = KL[ p(x), ∏ p( xi )]
可见 I ( x) ≥ 0 ，当仅但当各分量独立时， I (x) = 0 互信息是各分量独立程度的最直接的量度！
i =1 N
预备知识： 预备知识：二、信息论基本知识
4、负熵
任意概率密度函数p(x)
问题的提出： 、 问题的提出：1、信号与随机变量间的关系
对一个信号X(t)： 独立重复试验 ———— 抽样ti， i=1,2, …N 样本集 ———— {X(ti)} 因而信号X(t)可以看成是一个随机变量, 并可估算它的各阶矩， 以及谈论它的pdf，独立、相关等统计特性。 例如： 1 N 1 N 2
EX(t)=
∑ X (t ) N
i i=1
DX(t)=
∑ ( X (t ) − EX(t)) N
i i=1
1 0.5 0 -0.5 -1 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
问题的提出： 、 问题的提出：2、独立分量分析法的基本问题
假设源信号若干个统计上相互独立的信号组成的，它们在 空间中形成交叠，独立分量分析(Independent Component Analysis，ICA)是借助于多个信道同步观察交 叠信号，将观察信号经过解混分解成若干独立成分，作为 对源信号的一组估计。 信号源 观察信号 估计信号
i =1 N
在协方差矩阵相同的概率密度函数中，高斯分布的 熵最大。
预备知识： 预备知识：二、信息论基本知识
2、Kullback-Leibler散度
两个概率密度函数间相似程度的度量。 概率密度函数：p(x),q(x) p( x) dx 单变量： KL[ p( x), q( x)] = ∫ p( x) log
简化假设： 1、A是线性系统，可用矩阵表示. (实际仿真时是随机阵) 2、信道对信号无影响，观察信道数与信号数相同，(A，B方阵)
X(t ) = AS(t ) Y(t ) = BX(t )
信号源
s1(t )
s 2 (t )
N点采样
M ×N
X = A× S
M ×M
M ×N
Y = B × X
M ×M
M ×N
N
V是协方差阵
负熵用来度量p(x)的非高斯程度。 非高斯性另一种衡量方法：四阶累计量k4,峰度 (kurtosis)，单变量。 |k4| 高斯信号k4 =0 k4 >0,超高斯 k4 <0,亚高斯
预备知识： 预备知识：三、概率密度函数的展开
高阶统计量形式：
设x零均值，方差1（白化数据）
Edgeworth展开
独立分量分析法
目录 问题的提出 数学准备 独立分量法具体算法 总结与展望
目录
目录 问题的提出 一、信号与随机变量间的关系 独立分量分析法(ICA)的基本问题 二、独立分量分析法(ICA)的基本问题 独立分量分析法(ICA)的历史与应用 三、独立分量分析法 的历史与应用 数学准备 独立分量法具体算法
s1(t )
s 2(t )
混合 系统
信 道1
x1(t )
x 2 (t )
y1(t )
信道2
信道3
解混 矩阵
y 2(t )
s 3(t )
x 3(t )
y 3(t )
M
sM (t )
A
M
信道n
M
xM (t )
B
M
yM (t )
S(t)
X(t)
Y(t)
问题的提出： 、 问题的提出：2、独立分量分析法的基本问题
当各分量独立时：
Kn1, n 2, L , nM
∂ nψ (s) = n1 ∂s1 , ∂s 2 n 2 ,L , ∂sM nM
s1= s 2 =L= sM = 0
n = n1 +L nM
只有 n1, n 2, L , nM 中一个非零，其他皆为零时， Kn1, n 2 , L , nM 不为零。 即互累计量为零。 (可作为检验独立的一个判据)
J [ p ( x)]=KL[p (x),pG ( x)] = HG ( x) − H ( x)
pG(x): 与p(x) 其具有相同协方差阵的高斯分布 因为在协方差矩阵相同的概率密度函数中，高斯分 布的熵最大，所以负熵非负。
1 ∏Vii I ( px ) = J ( px ) − ∑ J ( pxi ) + log 2 det V i =1
KL[ p ( x), p (y )] = log B
|B|=1，即系统正交归一时，KL散度为0
鸡尾酒会问题：从酒会的嘈杂的声音中，如何分 辨出所关心的声音
问题的提出： 、 问题的提出：4、独立分量分析法的历史与应用
应用：盲分离问题的研究在短短的二十年时间里，已经取 得显著的成效，也正因为信号盲分离技术具有如此广阔的 应用前景，促使国内外广大的科研工作者迅速投身这一领 域的研究，盲分离技术也因此获得了飞速的发展。然而， 这一领域的研究工作还远不能满足工程的需要，特别在单 路混叠信号的盲分离与应用方面，是一个基本的、极富挑 战性的研究课题。 信号处理
（联合矩）
多变量 Mn1, n 2 , L , nM
∂ nφ (s) = n1 ∂s1 , ∂s 2 n 2 , L, ∂sM nM
4、累计量
n阶累计量：
单变量
n = n1 +L nM
d ψ ( s) kn = ds n
n
s =0
多变量 （联合累计量）
Kn1, n 2, L , nM
∂ nψ (s) = n1 ∂s1 , ∂s 2 n 2 ,L , ∂sM nM
期望 k 1 = m1 方差 k 2 = m 2 − m12 k 3 = m3 − 3m 2 m1 + 2m13 k 4 = m 4 − 3m 2 2 − 4m3m1 + 12m 2 m12 − 6m14
s1= s 2 =L= sM = 0
n = n1 +L nM
预备知识： 预备知识：一、统计数学知识
源图像
混合后的图像
分离后的图像
问题的提出： 、 问题的提出：3、独立分量分析法的基本问题
几点说明：
1、解出来的Y只要求各分量独立，因而解不是唯 一的，可以有相移、次序颠倒、幅值变化等 2、要解出Y，需要对Y各分量是否独立进行判断。 确切地说，需要找到某种判断函数G，使Y个分量 独立时G(Y)达到最大或最小值。 3、由于独立判据函数G的不同，以及求解Y的步 骤不同，有不同的独立分量分析法。
x(t)=As(t)
x = [x1(t), x2 (t),L, xm (t)]T s = [s1(t), s2 (t),L, sk (t)]T
为了保证上式的可分解性。需有如下的假设限制（约束条件） ： 1.每个源信号之间是统计独立的，其联合概率密度函数可分解为边缘密度的 乘积。
P( s1 , s2 ,..., sn ) = p1 ( s1 ) p2 ( s2 )... pn ( sn ) A
缺点： 大值野点会引wenku.baidu.com起较大误差
预备知识： 预备知识：三、概率密度函数的展开
非多项式函数的加权和形式：
文献提到，当 p ( y ) 与标准高斯分布 pG ( y ) 相差不太大时， p ( y )可用若干个非多项式函数 F (i) ( y )(i = 1 ~ N ) 的加权和来逼 近： N
p ( y ) = pG ( y )[1 + ∑ ciF ( i ) ( y )]
问题的提出： 、 问题的提出：4、独立分量分析法的历史与应用
历史： 是盲信号处理的一种，是90年代后期发展 信道 起来的 S (t ) X (t )
H
ICA是盲信号处理的一个组成部分，20世纪 90年代后期(1986、1991)发展起来的一项 新处理方法，最早是针对“鸡尾酒会问题” 这一声学问题发展起来的
预备知识： 预备知识：一、统计数学知识
1、特征函数
单变量 多变量
jω x jω x
φ (ω ) = ∫ p( x)e dx = E[e
替换
]
φ (ω) = ∫ p(x)e
φ (s)
jωT x
dx = E[e
jωT x
]
s = jω
φ ( s)
2、第二特征函数
单变量 ψ ( s ) = log φ ( s )
i=1
F (i) ( y ) 需要满足以下条件：
(1)、正交归一性 (2)、矩消失性
pG ( y ) F ( i ) ( y ) F ( j ) ( y )dy = δ ij ∫ pG ( y ) y k F (i ) ( y )dy = 0, k = 0,1, 2 ∫
探查性投影追踪
为了使近似性能较好，F(y)除了上述性质外，最好能有以下 性质： (1)、统计特性E[F(y)]不难求得 2 (2)、当y增大时，F(y)的增长速度不能快于 y ，以使E[F(y)] 对野点不太敏感。 通常N取1或2。有以下函数形式可用： 1 (1) log cosh ay F ( y) : 1 ≤ a ≤ 2, 通常取a = 1 a
多变量 ψ (s) = log φ (s)
M
各分量独立时：
φ (s)=∏ φ ( si )
i =1 M
ψ (s)= ∑ψ ( si )
i =1
预备知识： 预备知识：一、统计数学知识
3、矩
n阶矩：单变量
d nφ ( s ) mn = ds n
s =0
= E( xn )
s 1= s 2 =L= sM = 0
p ( x) k3 k4 ≈ 1 + H 3( x) + H 4( x) Hn( x), Hermite多项式 pG ( x) 3! 4! 1 ⇒ J [ p( x)] ≈ [4k 32 + k 4 2 + 7k 43 − 6k 32 k 4] 48
Gram-Charlier展开
1 J [ p( x)] ≈ [4k 32 + k 4 2 − 3k 34 − 18k 32 k 4] 48
A ∈ R m×n
,为列满秩的矩阵，即rank( A )=
k。
3.在 s (t ) 的分量中，服从高斯分布的分量不超过一个。 分离结果的不确定性： 分离结果的不确定性： 1：幅值的不确定性；2：排列次序的不确定性
目录
目录 问题的提出 预备知识 一、统计数学知识 二、信息论基本知识 三、概率密度函数的展开 四、信号通过线性系统信息特征的变化 独立分量法介绍 总结与展望
预备知识： 预备知识：二、信息论基本知识
1、熵
信号中平均所含有的信息量。随机信号 x x H 单变量： ( x) = − ∫ p( x) log p( x)dx = − E (log p( x)) 多变量： 联合熵：H (x) = − ∫ p(x) log p(x)dx = − E (log p(x)) 各分量独立时： H (x) = ∑ H ( xi )
码分多址通信，雷达信号分选等
生物医学
心电图(胎儿)，脑电图等
图像处理
图像压缩，数字识别，图像融合等
其他
地震勘探、遥感遥测等，总之包含了信息、通讯、生命、材料、电力、 机械、化学等各个学科
s =∈1R ),×sn2 (t),L, sk (t)]T A [s (tm
模型与假定
设某个混合系统由个k传感器和m个信号源组成，其混合模型可以表述如下：
ye
F ( y) :
(2)
− ( y 2 / 2)
−e
− ( y 2 / 2)
y
预备知识： 预备知识：四、信号通过线性系统信息特征的变化
信号通过线性系统 熵关系：
H (y ) = H (x) + log B
线性系统
x(t )
y (t ) = Bx(t )
B
|B|=1，即系统正交归一时，熵不变
KL散度关系：
M ×N
观察信号
混合 矩阵
信 道1
信道2
估计信号
y1(t )
x1(t )
x 2 (t ) x3(t )
解混 矩阵
y 2 (t ) y 3(t )
s 3(t )
信道3
M
sM (t )
A
M
信道n
M
xM (t )
B
M
yM (t )
问题的提出： 、 问题的提出：2、独立分量分析法的基本问题
信号的分离
图像的分离
q( x)
多变量： 特点：
p ( x) KL[ p (x), q (x)] = ∫ p(x) log dx q ( x)
KL[ p ( x), q ( x)] ≥ 0
KL=0 ⇔ p( x) = q( x)
y = Bx, B ≠ 0 ⇒ KL[p (y ),q(y )] = KL[p (x),q (x)]
问题的提出： 、 问题的提出：1、信号与随机变量间的关系
一、信号与随机变量间的关系 问题：随机变量X在实际中的体现？ {X } 答：独立重复试验，得到试验样本集{Xi}。 由这组数据样本点可以估计出随机变量 的各阶矩，近而估计出pdf（probability distribution function)等全部统计信息。
预备知识： 预备知识：二、信息论基本知识
3、互信息
I (x) = KL[ p(x), ∏ p( xi )]
可见 I ( x) ≥ 0 ，当仅但当各分量独立时， I (x) = 0 互信息是各分量独立程度的最直接的量度！
i =1 N
预备知识： 预备知识：二、信息论基本知识
4、负熵
任意概率密度函数p(x)
问题的提出： 、 问题的提出：1、信号与随机变量间的关系
对一个信号X(t)： 独立重复试验 ———— 抽样ti， i=1,2, …N 样本集 ———— {X(ti)} 因而信号X(t)可以看成是一个随机变量, 并可估算它的各阶矩， 以及谈论它的pdf，独立、相关等统计特性。 例如： 1 N 1 N 2
EX(t)=
∑ X (t ) N
i i=1
DX(t)=
∑ ( X (t ) − EX(t)) N
i i=1
1 0.5 0 -0.5 -1 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
问题的提出： 、 问题的提出：2、独立分量分析法的基本问题
假设源信号若干个统计上相互独立的信号组成的，它们在 空间中形成交叠，独立分量分析(Independent Component Analysis，ICA)是借助于多个信道同步观察交 叠信号，将观察信号经过解混分解成若干独立成分，作为 对源信号的一组估计。 信号源 观察信号 估计信号
i =1 N
在协方差矩阵相同的概率密度函数中，高斯分布的 熵最大。
预备知识： 预备知识：二、信息论基本知识
2、Kullback-Leibler散度
两个概率密度函数间相似程度的度量。 概率密度函数：p(x),q(x) p( x) dx 单变量： KL[ p( x), q( x)] = ∫ p( x) log
简化假设： 1、A是线性系统，可用矩阵表示. (实际仿真时是随机阵) 2、信道对信号无影响，观察信道数与信号数相同，(A，B方阵)
X(t ) = AS(t ) Y(t ) = BX(t )
信号源
s1(t )
s 2 (t )
N点采样
M ×N
X = A× S
M ×M
M ×N
Y = B × X
M ×M
M ×N
N
V是协方差阵
负熵用来度量p(x)的非高斯程度。 非高斯性另一种衡量方法：四阶累计量k4,峰度 (kurtosis)，单变量。 |k4| 高斯信号k4 =0 k4 >0,超高斯 k4 <0,亚高斯
预备知识： 预备知识：三、概率密度函数的展开
高阶统计量形式：
设x零均值，方差1（白化数据）
Edgeworth展开
独立分量分析法
目录 问题的提出 数学准备 独立分量法具体算法 总结与展望
目录
目录 问题的提出 一、信号与随机变量间的关系 独立分量分析法(ICA)的基本问题 二、独立分量分析法(ICA)的基本问题 独立分量分析法(ICA)的历史与应用 三、独立分量分析法 的历史与应用 数学准备 独立分量法具体算法
s1(t )
s 2(t )
混合 系统
信 道1
x1(t )
x 2 (t )
y1(t )
信道2
信道3
解混 矩阵
y 2(t )
s 3(t )
x 3(t )
y 3(t )
M
sM (t )
A
M
信道n
M
xM (t )
B
M
yM (t )
S(t)
X(t)
Y(t)
问题的提出： 、 问题的提出：2、独立分量分析法的基本问题
当各分量独立时：
Kn1, n 2, L , nM
∂ nψ (s) = n1 ∂s1 , ∂s 2 n 2 ,L , ∂sM nM
s1= s 2 =L= sM = 0
n = n1 +L nM
只有 n1, n 2, L , nM 中一个非零，其他皆为零时， Kn1, n 2 , L , nM 不为零。 即互累计量为零。 (可作为检验独立的一个判据)
J [ p ( x)]=KL[p (x),pG ( x)] = HG ( x) − H ( x)
pG(x): 与p(x) 其具有相同协方差阵的高斯分布 因为在协方差矩阵相同的概率密度函数中，高斯分 布的熵最大，所以负熵非负。
1 ∏Vii I ( px ) = J ( px ) − ∑ J ( pxi ) + log 2 det V i =1
KL[ p ( x), p (y )] = log B
|B|=1，即系统正交归一时，KL散度为0
鸡尾酒会问题：从酒会的嘈杂的声音中，如何分 辨出所关心的声音
问题的提出： 、 问题的提出：4、独立分量分析法的历史与应用
应用：盲分离问题的研究在短短的二十年时间里，已经取 得显著的成效，也正因为信号盲分离技术具有如此广阔的 应用前景，促使国内外广大的科研工作者迅速投身这一领 域的研究，盲分离技术也因此获得了飞速的发展。然而， 这一领域的研究工作还远不能满足工程的需要，特别在单 路混叠信号的盲分离与应用方面，是一个基本的、极富挑 战性的研究课题。 信号处理
（联合矩）
多变量 Mn1, n 2 , L , nM
∂ nφ (s) = n1 ∂s1 , ∂s 2 n 2 , L, ∂sM nM
4、累计量
n阶累计量：
单变量
n = n1 +L nM
d ψ ( s) kn = ds n
n
s =0
多变量 （联合累计量）
Kn1, n 2, L , nM
∂ nψ (s) = n1 ∂s1 , ∂s 2 n 2 ,L , ∂sM nM
期望 k 1 = m1 方差 k 2 = m 2 − m12 k 3 = m3 − 3m 2 m1 + 2m13 k 4 = m 4 − 3m 2 2 − 4m3m1 + 12m 2 m12 − 6m14
s1= s 2 =L= sM = 0
n = n1 +L nM
预备知识： 预备知识：一、统计数学知识
源图像
混合后的图像
分离后的图像
问题的提出： 、 问题的提出：3、独立分量分析法的基本问题
几点说明：
1、解出来的Y只要求各分量独立，因而解不是唯 一的，可以有相移、次序颠倒、幅值变化等 2、要解出Y，需要对Y各分量是否独立进行判断。 确切地说，需要找到某种判断函数G，使Y个分量 独立时G(Y)达到最大或最小值。 3、由于独立判据函数G的不同，以及求解Y的步 骤不同，有不同的独立分量分析法。
x(t)=As(t)
x = [x1(t), x2 (t),L, xm (t)]T s = [s1(t), s2 (t),L, sk (t)]T
为了保证上式的可分解性。需有如下的假设限制（约束条件） ： 1.每个源信号之间是统计独立的，其联合概率密度函数可分解为边缘密度的 乘积。
P( s1 , s2 ,..., sn ) = p1 ( s1 ) p2 ( s2 )... pn ( sn ) A
缺点： 大值野点会引wenku.baidu.com起较大误差
预备知识： 预备知识：三、概率密度函数的展开
非多项式函数的加权和形式：
文献提到，当 p ( y ) 与标准高斯分布 pG ( y ) 相差不太大时， p ( y )可用若干个非多项式函数 F (i) ( y )(i = 1 ~ N ) 的加权和来逼 近： N
p ( y ) = pG ( y )[1 + ∑ ciF ( i ) ( y )]
问题的提出： 、 问题的提出：4、独立分量分析法的历史与应用
历史： 是盲信号处理的一种，是90年代后期发展 信道 起来的 S (t ) X (t )
H
ICA是盲信号处理的一个组成部分，20世纪 90年代后期(1986、1991)发展起来的一项 新处理方法，最早是针对“鸡尾酒会问题” 这一声学问题发展起来的
预备知识： 预备知识：一、统计数学知识
1、特征函数
单变量 多变量
jω x jω x
φ (ω ) = ∫ p( x)e dx = E[e
替换
]
φ (ω) = ∫ p(x)e
φ (s)
jωT x
dx = E[e
jωT x
]
s = jω
φ ( s)
2、第二特征函数
单变量 ψ ( s ) = log φ ( s )
i=1
F (i) ( y ) 需要满足以下条件：
(1)、正交归一性 (2)、矩消失性
pG ( y ) F ( i ) ( y ) F ( j ) ( y )dy = δ ij ∫ pG ( y ) y k F (i ) ( y )dy = 0, k = 0,1, 2 ∫
探查性投影追踪
为了使近似性能较好，F(y)除了上述性质外，最好能有以下 性质： (1)、统计特性E[F(y)]不难求得 2 (2)、当y增大时，F(y)的增长速度不能快于 y ，以使E[F(y)] 对野点不太敏感。 通常N取1或2。有以下函数形式可用： 1 (1) log cosh ay F ( y) : 1 ≤ a ≤ 2, 通常取a = 1 a
多变量 ψ (s) = log φ (s)
M
各分量独立时：
φ (s)=∏ φ ( si )
i =1 M
ψ (s)= ∑ψ ( si )
i =1
预备知识： 预备知识：一、统计数学知识
3、矩
n阶矩：单变量
d nφ ( s ) mn = ds n
s =0
= E( xn )
s 1= s 2 =L= sM = 0
p ( x) k3 k4 ≈ 1 + H 3( x) + H 4( x) Hn( x), Hermite多项式 pG ( x) 3! 4! 1 ⇒ J [ p( x)] ≈ [4k 32 + k 4 2 + 7k 43 − 6k 32 k 4] 48
Gram-Charlier展开
1 J [ p( x)] ≈ [4k 32 + k 4 2 − 3k 34 − 18k 32 k 4] 48