wk-5独立成分分析

非高斯性的度量—负熵
已经证明下面的函数是很好的选择:
史振威 宇航学院图像中心
Slide 38
ICA的估计原理
前面提到独立成分分析的一种思路： 最大化数据投影（相当于估计的源信号或独立
成分）的非高斯性。
在此之前，一般的，我们还需要数据的预处理。
史振威 宇航学院图像中心
Slide 39
ICA有用的预处理 第一步：数据的中心化
独立成分假设是非高斯的
如语音信号一般服从Laplace分布（超高斯分布）
史振威 宇航学院图像中心
Slide 23
ICA的估计原理
独立成分分析需要两个基本假设： 1、源信号（独立成分）是相互统计独立的；
2、源信号（独立成分）是服从非高斯分布的（最 多一个是服从高斯分布的）。
史振威 宇航学院图像中心
史振威 宇航学院图像中心
Slide 8
盲信号分离的简单图示
独立成分分析是解决盲信号分离的一种方法
史振威 宇航学院图像中心
Slide 9
ICA（或BSS）的一些应用领域



生物医学 计算神经科学 语音、图像处理 地质、遥感 通讯 生物信息学
史振威 宇航学院图像中心
Slide 10
二、独立成分分析（ICA）模型
史振威 宇航学院图像中心 Slide 30
非高斯性的度量—峰度
峰度： 由于计算和理论上的简单, 峰度或它的绝对值 函数作为非高斯性的度量已经在ICA和相关的 领域得到了广泛的应用(峰度对于独立的随机 变量具有线性性质).
史振威 宇航学院图像中心
Slide 31
非高斯性的度量—峰度
前面提到用峰度来度量随机变量的非高斯性, 它的优点是计算简单, 但在实际计算中, 它的 缺陷是对于野点相当敏感. 而负熵是一种更稳 定的度量非高斯性的方法, 但是它的计算较为 复杂. 负熵是基于信息论中熵的概念, 而随机 变量的熵与它所给出的信息有关, 随机变量越 没有结构, 越无序, 它的熵越大.
史振威 宇航学院图像中心
Slide 28
非高斯性的度量
为了使用非高斯性，我们必须对于随机变量的非高 斯性有一个量上的度量。
常用的有两种：峰度和负熵
史振威 宇航学院图像中心
Slide 29
非高斯性的度量—峰度
峰度： 随机变量的非高斯性可以用峰度的绝对值来刻 画, 对于高斯变量, 它的值是零, 对于绝大多 数的非高斯变量, 它的值大于零(也有非高斯 随机变量的峰度值为零, 但这种情况认为是相 当罕见的). 随机变量的峰度大于零称为超高斯； 随机变量的峰度小于零称为亚高斯。 如：绝大多数语音信号为超高斯分布。
白化的随机向量y指的是它的各分量是不相关 的, 并且具有单位方差. 换句话说, 随机向量y的 协方差矩阵是单位阵: 白化意味着我们将观测数据向量x进行线性变 换, 使得新向量 是白化的随机向量. 白化 有时称为球化.白化变换总是可行的. 白化的一 个流行方法是协方差矩阵的特征值分解(EVD):
史振威 宇航学院图像中心
史振威 宇航学院图像中心
Slide 36
非高斯性的度量—负熵
负熵的一个近似表达式(随机变量假设为零均 值且具有单位方差):
其中, v是具有零均值且与y具有相同单位方差 的高斯随机变量, G是非二次函数, 实算中, 人们 可以选择不要增长太快的函数, 以获得稳定的 估计.
史振威 宇航学院图像中心 Slide 37
史振威 宇航学院图像中心
Slide 3
引言
问题引出 9幅混合图像， 是9幅源图像 的线形混合。 盲源分离问题： 怎样得到原始 的9幅图像？
史振威 宇航学院图像中心
Slide 4
引言
假设原图像之间是统计 独立的，利用独立成分 分析（independent component analysis, ICA）所得到的原图像。
史振威 宇航学院图像中心
Slide 15
ICA的解释
考虑两个独立成分服从如下分布：
史振威 宇航学院图像中心
Slide 16
ICA的解释
用如下混合矩阵进行混合，得到x：
平行四边形包含了混合矩阵列的信息
史振威 宇航学院图像中心 Slide 17
独立性、不相关
独立性定义（以两个随机变量为例）：
对于任意函数h：
史振威 宇航学院图像中心
Slide 18
独立性、不相关
不相关是独立的较弱形式 两个随机变量不相关—协方差为零
独立意味着不相关，不相关不意味着独立
史振威 宇航学院图像中心
Slide 19
独立性、不相关
独立意味着不相关，不相关不意味着独立 例如：假设 是二维离散随机向量，在下 面的4个点处取值，概率均为0.25： 和 是不相关的，但
史振威 宇航学院图像中心 Slide 42
实现独立成分分析有两个主要部分：
史振威 宇航学院图像中心
Slide 43
非高斯性最大化
如前所述，最大化数据投影（相当于估计的源 信号或独立成分）的非高斯性，相当于度量源 信号的统计独立性的一种方法，它给出一个独 立成分或一个源信号。
而度量非高斯性有峰度和负熵两种方法。 用峰度或负熵作为最优化目标函数，来求解 最优化问题。
史振威 宇航学院图像中心
Slide 26
“非高斯是独立”
考虑标准的独立成分分析的数学模型, 独立成分的 估计可以通过寻找混合变量正确的线性组合来实 现, 既然我们可以如下式来进行逆处理: 这样, 为了估计一个独立成分, 我们考虑x的线性 组合:
上式可以表示为:
史振威 宇航学院图像中心 Slide 27
观测数据（随机向量）： 独立成分（随机向量）： 假设成分（源信号）之间相互统计独立：
ICA模型：
问题：仅观测到x，利用成分之间的独立性条件， 求解混合矩阵A，源信号s
史振威 宇航学院图像中心 Slide 11
仿真例子
史振威 宇航学院图像中心
Slide 12
仿真例子
史振威 宇航学院图像中心
Slide 13
1、假设混合变量和独立成分都是零均值的. 2、如果零均值并不成立, 我们可以通过预处 理来达到这个条件. 一般的, 我们使用中心 化观测变量这一技术, 即减去样本均值. 这 意味着在用ICA算法处理数据之前, 原始的 观测混合数据可以通过下式进行预处理:
史振威 宇航学院图像中心
Slide 40
ICA有用的预处理 第二步：数据的白化
Slide 41
三、ICA估计原理和算法
一般的, 对于标准的独立成分分析, 求混合矩阵 A等价于求它的逆矩阵W, 则独立成分就可以通 过下列表达式求出:
对于独立成分分析来说, 需要找到度量统计独 立性的一些方法或者说目标函数, 也就是说, 当目标函数达到极大或极小时, 可认为达到了 独立成分分析解的要求, 这可以用不同的优化 算法来实现.
解决思路
假设混合矩阵A是方阵，并且我们已经估计得到 了矩阵A，独立成分（源信号）可以通过A的逆 矩阵W计算得到，即： s=Wx
则ICA求解问题转化为寻找解混矩阵（分离矩阵） W的问题。
史振威 宇航学院图像中心
Slide 14
ICA的不确定性
1、不能确定源信号的方差（幅度）
2、不能确定源信号输出的顺序
史振威 宇航学院图像中心
Slide 5
一个应用实例
史振威 宇航学院图像中心
Slide 6
胎儿心电信号
史振威 宇航学院图像中心
Slide 7
鸡尾酒会问题
●盲源分离问题（blind source separation, BSS）（鸡尾酒会问 题）: 在人声嘈杂的 鸡尾酒会上，人们利 用耳朵这两个传感器 ，即能从混合在一起 的背景噪声、音乐、 同时讲话的多个话音 中，听到他们想要听 的话音。
数学方法在信息处理中的应用 •第三章 独立成分分析
史振威 北京航空航天大学宇航学院图像中心 shizhenwei@buaa.edu.cn
纲 要
一、引言 二、独立成分分析模型 三、ICA估计原理和算法 四、FastICA算法demo 五、ICA的应用
史振威 宇航学院图像中心
Slide 2
参考文献
1、 A. Hyvarinen, J. Karhunen, E. Oja, Independent Component Analysis, Wiley, New York, 2001. 2、A. Hyvarinen and E. Oja. Independent component analysis: Algorithms and applications. Neural Networks, 13(4-5):411– 430, 2000.
基于峰度的独立成分分析学习算法
峰度： 以它的绝对值作为最优化目标函数，可得最优 化问题（z是白化后的数据）：
T kurt ( w z) 目标函数： max
约束条件：
s.t.
w 1
2
史振威 宇航学院图像中心
Slide 46
基于峰度的独立成分分析学习算法
梯度上升学习算法：
这就是基于峰度的独立成分分析算法. 为了估计 几个独立成分, 可采用收缩策略(deflationary orthogonalization using Gram-Schmidt method) 或对称正交化过程(symmetric orthogonalization).
Slide 24
ICA的估计原理
―非高斯是独立” 直观的讲：估计ICA模型的关键在于非高斯性。
实际上，没有非高斯性，ICA估计根本不可能。
这可能是ICA模型近年才兴起的主要原因，经
典的统计理论通常假设随机变量是服从高斯的。
史振威 宇航学院图像中心
Slide 25
“非高斯是独立”
中心极限定理是概率论中的一个经典结果, 其 内容是说, 在一定的条件下, 相互统计独立的 随机变量的和的分布趋向于正态(高斯)分布. 不严格的说, 两个相互统计独立的随机变量的 和比其中任何一个参与求和的随机变量更加靠 近正态分布.
事实上，这表明高斯随机变量是 “最随机”的，
或在所有的分布中是最缺乏结构的。对于某些
随机变量，如，Laplace分布，它集中于某个值， 有很清晰的聚类效果，所以它的熵相对较小。 为度量非高斯性，可以采用负熵。负熵J定义为 是与y具有相同方差的高斯随机变量。 负熵总是非负，为零时当且仅当y是高斯分布。
史振威 宇航学院图像中心
Slide 32
非高斯性的度量—负熵
离散随机变量y 的熵定义为 连续值随机变量y 的熵定义为
信息论中的一个重要的结果是说, 在所有具有 相同方差的随机变量中, 高斯随机变量具有最 大熵。这意味着熵可以作为非高斯性的度量。
史振威 宇航学院图像中心
Slide 33
非高斯性的度量—负熵
由此可知，它们并不统计独立。
史振威 宇航学院图像中心 Slide 20
独立成分假设是非高斯的
高斯分布：不相关=独立，不能决定混合矩阵的列
史振威 宇航学院图像中心
Slide 21
独立成分假设是非高斯的
典型的非高斯分布：Laplace分布（超高斯分布）
概率密度
函数：
史振威 宇航学院图像中心
Slide 22
“非高斯是独立”
由中心极限定理, 就像上面所提到的, 两个独立随 机变量的和比其中任何一个随机变量更加具有高 斯性, 知y 通常比任何一个独立成分s更加靠近高 斯分布, 只有当这个随机变量恰好等于其中一个 独立成分时, y离高斯分布最远. 在这种情况下, 很 显然, 向量q中仅有一个元素非零. 也就是说, 极大化 的非高斯性给出了一 个独立成分。
史振威 宇航学院图像中心 Slide 47
基于负熵的著名ICA算法--FastICA
基于负熵的目标函数（为简单起见，还设x为
白化后的数据）： 约束条件： s.t. 根据K-T条件：
max
利用牛顿法求解： 数据已经白化，有近似： 这样，有牛顿算法：
史振威 宇航学院图像中心
Slide 44
学习算法简述
求解： min f(w) 1、梯度下降迭代学习算法（线性收敛）：
f ( w) w w w
2、牛顿迭代学习算法（二次收敛）：
2 f ( w) 1 f ( w) w w( ) 2 w w
史振威 宇航学院图像中心 Slide 45
史振威 宇航学院图像中心 Slide 34
非高斯性的度量—负熵
高斯分布：
1维：
D维：
史振威 宇航学院图像中心
Slide 35
Leabharlann Baidu
非高斯性的度量—负熵
负熵总是非负的, 当且仅当随机变量y服从高 斯分布时, 负熵为零. 负熵作为非高斯性的度 量从统计理论的角度来说, 是一个好的标准, 因为它在某些判据下是非高斯性的最优估计器. 但因为负熵的计算较为复杂, 难以直接应用, 所 以必须用某些方法来逼近它.